Искусственный интеллект может помочь каршеринговым сервисам и таксопаркам сделать поведение водителей на дороге безопаснее. Например, предупреждать их, если они отвлеклись от дороги. В этой статье мы делимся идеей, как с помощью свёрточных нейросетей отследить небезопасную деятельность за рулём и предотвратить возможные ДТП.
Все автомобилисты так или иначе сталкиваются с пробками на дорогах. Монотонное движение побуждает лишний раз достать смартфон и написать в чат о своих проблемах, полистать новостную ленту или отвлечься разговором. Невинные на первый взгляд занятия могут стоить человеческой жизни. В США по этим причинам происходят 20% аварий. В русскоязычной терминологии проблема носит название «рассеянное вождение».
В новой статье MIT экспериментально показано, что наиболее сильным фактором, влияющим на аварийность, являются проблемы периферийного зрения. Другими словами, простое отведение глаз на 20 градусов от центра дороги снижает реакцию на порядок сильнее, чем высокая когнитивная нагрузка, например, при распараллеливании мышления.
Что, если научиться выделять небезопасное поведение и вовремя предупреждать о нём водителей во избежание происшествий? Звучит, как неплохая задача классификации для свёрточных нейронных сетей.
Рассмотрим, как создать отслеживающую рассеянных водителей нейросеть с помощью Python, Keras и Tensorflow. Если раньше вы не работали с этими инструментами, рекомендуем сначала ознакомиться с нашей статьёй «Как начать работу с Keras, Deep Learning и Python». В конце материала можно скачать и посмотреть исходный код.
В качестве бэкэнда нейросети будем использовать Keras и Tensorflow. Импортируем необходимые библиотеки:
import os
import tensorflow
os.environ['KERAS_BACKEND'] = 'tensorflow'
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3' # 3 = Сообщения INFO, WARNING и ERROR не печатаются
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from keras.preprocessing.image import ImageDataGeneratorСтрока 3 устанавливает tensorflow как бэкэнд для keras, а строка 4 скрывает все логи.
Файл driver_imgs_list.csv содержит список всех изображений из обучающей выборки, а также ссылки на людей и имена классов. Имя класса указывает на вид активности человека на фотографии.
dataset = pd.read_csv('driver_imgs_list.csv')
dataset.head(5)
Перед обработкой изображений полезно хотя бы частично просмотреть датасет, поэтому отобразим по одной фотографии из каждого класса. Метки classname не содержат никакого информативного описания. Чтобы понимать, что означают классы c0, c1 и так далее, создадим словарь и добавим заголовки к каждому из них:
import os
from IPython.display import display, Image
import matplotlib.image as mpimg
activity_map = {'c0': 'Safe driving',
'c1': 'Texting - right',
'c2': 'Talking on the phone - right',
'c3': 'Texting - left',
'c4': 'Talking on the phone - left',
'c5': 'Operating the radio',
'c6': 'Drinking',
'c7': 'Reaching behind',
'c8': 'Hair and makeup',
'c9': 'Talking to passenger'}Каталог train содержит в себе 10 вложенных папок, каждая из которых соответствует изображениям одного из классов. Итеративно пройдём по всем каталогам и отобразим первые фотографии в них.
plt.figure(figsize = (12, 20))
image_count = 1
BASE_URL = 'imgs/train/'
for directory in os.listdir(BASE_URL):
if directory[0] != '.':
for i, file in enumerate(os.listdir(BASE_URL + directory)):
if i == 1:
break
else:
fig = plt.subplot(5, 2, image_count)
image_count += 1
image = mpimg.imread(BASE_URL + directory + '/' + file)
plt.imshow(image)
plt.title(activity_map[directory])Строка 10 выводит 10 изображений, организованных в коллаж (5 по вертикали и 2 по горизонтали). image_count определяет число отображаемых фотографий в диапазоне от 1 до 10.
Создадим свёрточную нейронную сеть с тремя слоями Conv2D (за каждым располагается слой MaxPooling2D), 1 слоем Flatten и 3 слоями Dense. Поскольку проблема является многоклассовой, последний слой Dense содержит 10 нейронов, а потери определяются с помощью categorical_crossentropy (категориальной кроссэнтропии).
classifier = Sequential()
classifier.add(Conv2D(filters = 128, kernel_size = (3, 3), activation = 'relu', input_shape = (240, 240, 3), data_format = 'channels_last'))
classifier.add(MaxPooling2D(pool_size = (2, 2)))
classifier.add(Conv2D(filters = 64, kernel_size = (3, 3), activation = 'relu'))
classifier.add(MaxPooling2D(pool_size = (2, 2)))
classifier.add(Conv2D(filters = 32, kernel_size = (3, 3), activation = 'relu'))
classifier.add(MaxPooling2D(pool_size = (2, 2)))
classifier.add(Flatten())
classifier.add(Dense(units = 1024, activation = 'relu'))
classifier.add(Dense(units = 256, activation = 'relu'))
classifier.add(Dense(units = 10, activation = 'sigmoid'))
classifier.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
classifier.summary()
Дополним обучающую выборку с помощью функции ImageDataGenerator. Также используем метод flow_from_directory, чтобы считывать соответствующие каждому классу изображения из нужной папки. Разделяем данные на обучающие и тестовые в соотношении 80% и 20%. Обратите внимание, что все изображения масштабируются в вещественный диапазон [0…1] (rescale).
train_datagen = ImageDataGenerator(rescale = 1.0/255,
shear_range = 0.2,
zoom_range = 0.2,
horizontal_flip = True,
validation_split = 0.2)
training_set = train_datagen.flow_from_directory('imgs/train',
target_size = (240, 240),
batch_size = 32,
subset = 'training')
validation_set = train_datagen.flow_from_directory('imgs/train',
target_size = (240, 240),
batch_size = 32,
subset = 'validation')Теперь обучим модель и посчитаем точность и потери.
Используем функцию fit_generator:
classifier.fit_generator(training_set,
steps_per_epoch = 17943/32,
epochs = 10,
validation_data = validation_set,
validation_steps = 4481/32)
Модель достигает точности в 97%.
Используя простую свёрточную нейросеть, мы смогли обучить модель и достигнуть 97% точности обнаружения небезопасного поведения водителей. В качестве следующего шага можно улучшить решение, повысив сложность и добавив новые слои в архитектуру сети. Предлагайте свои идеи и делитесь результатами в комментариях!
Датасет можно найти здесь ( ~4 ГБ).
С оригинальной статьёй можно ознакомиться на портале towardsdatascience.com. Другие решения можно посмотреть в соревновании от Kaggle.
Многие предприниматели жалуются на сложный и слишком изобильный документооборот: много документов приходится оформлять. Но при…
Чтобы легально пользоваться результатами чужого труда в своем бизнесе, нужно за это заплатить. И неважно,…
Франшизы предоставляют предпринимателям возможность использовать популярные бренды, эффективные бизнес-модели и поддержку со стороны материнской компании.…
Некоторые компании сосредотачивают в своих руках и производственные мощности, и права на то, что на…
У любой компании есть адрес, по которому она «прописана», то есть зарегистрирована в ЕГРЮЛ. Но…
Подросток может заниматься бизнесом, но с учетом важных условий, прописанных в законе. Разбираемся, как несовершеннолетнему…