ИИ скажет, что люди подумают о ваших фото

Новый искусственный интеллект Photofeeler-D3 предсказывает первые впечатления людей от фото или видео. Теперь не придётся долго мучиться с выбором самой удачной фотографии для Instagram.

Photofeeler-D3 получил своё название за то, что выдаёт оценки трёх черт («ум», «доверие», «привлекательность») для категории Dating (фотографии для знакомств) на сайте Photofeeler.

Может показаться, что использовать искусственный интеллект для прогнозирования привлекательности фотографий — уже не новая идея. Она реализовывалась много раз и даже получила название в литературе: «распознавание красоты лица» (Facial Beauty Prediction). 

Но существующие методы работают плохо и соотносятся с оценками реальных людей примерно на 52%. Photofeeler использует более точные алгоритмы, основанные на человеческих мнениях. 

Точность на основе усреднённых мнений 15 людей

Photofeeler основан на нейросети, которая обучалась на 100 миллионах реальных мнений. Благодаря обширному набору данных, оценка Photofeeler будет примерно такой же, как среднее мнение о фото 15 случайных людей. Оценка показывает, насколько умным (smart), заслуживающим доверия (trustworthy) и привлекательным (attractive) выглядит человек на снимке. До сих пор ни одно из существующих решений не было сопоставимо с суждениями реальных людей на таком же уровне.

На момент написания статьи Photofeeler-D3 достигает следующих соотношений:

Обратите внимание, что мужскую привлекательность спрогнозировать значительно сложнее, чем женскую. Это связано с сильным разбросом мнений реальных женщин о мужчинах.

Примеры использования

Photofeeler-D3 продолжает развиваться, но даже его текущая версия предлагает несколько вариантов использования:

Найдите лучшую фотографию из множества похожих

Мы часто делаем несколько похожих снимков, а потом тратим много времени на выбор лучшего. Почему бы не использовать нейросеть для этого? Больше никаких мучений с поиском удачной аватарки! А фотографы-портретисты смогут быстрее выбирать хорошие кадры фотосессий.

Получите обратную связь при съёмке

Искусственный интеллект может высказывать своё мнение прямо во время съёмки, чтобы помочь вам выбрать наиболее подходящий угол, позу и выражение лица, например:

Несколько интересных фактов:

— обратите внимание, насколько «ум» выделяется среди остальных черт, пока человек не снял очки;

— без очков оценка привлекательности возрастает;

— баллы падают при моргании;

— самые высокие оценки достигаются после искренней улыбки в самом конце видео.

Создайте рекомендательную систему для интернет-магазинов

Как в видео-демонстрации выше, Photofeeler-D3 можно использовать поверх визуальной примерочной для выбора стиля очков, ювелирных украшений и макияжа.

Обрабатывайте фото автоматически

Нейросеть может найти наилучший вариант редактирования фотографии (обрезка, яркость, контраст), чтобы она создавала самое приятное впечатление. Это поможет избавить от долгих выборов нужного фильтра в Afterlight или VSCOcam.

Сделайте таргетинг изображений по визуальным предпочтениям

С помощью модели поиска предпочтений Photofeeler предскажет подходящую аудиторию для снимка, ответив на вопросы вроде: «Вызовет ли эта фотография положительную реакцию молодых или старых избирателей? Мужчин или женщин? Американцев или европейцев?»

Эта функция может использоваться рекламными агентствами для выбора изображений рекламных кампаний.

Находите людей в приложениях для знакомств на основе личных предпочтений

Искусственный интеллект поможет идентифицировать пары пользователей, которые покажутся друг другу наиболее привлекательными. 

Почему же Photofeeler-D3 так хорош?

В отличие от других существующих решений, Photofeeler моделирует индивидуальные впечатления от фото, а не пытается предсказать точную оценку. Не существует универсального балла за привлекательность, и можно спрогнозировать только среднее из многих мнений, как это делает Photofeeler. Его алгоритм VoterStyles учитывает также тот факт, что люди оценивают друг друга по-разному.

Методы Photofeeler могут применяться к любым небольшим и зашумлённым наборам данных для повышения надёжности. Можно использовать их для оценки товаров, общественных опросов, краудсорсинга и тому подобное. 

Заменит ли Photofeeler-D3 оценки реальных людей на сайте Photofeeler?

Пока нет. Нейросеть всё ещё может допускать ошибки на каких-либо странных или непредвиденных фотографиях. По этим причинам исследователи планируют продолжать повышать точность Photofeeler-D3 на основе реальных человеческих оценок.

Что дальше?

В дальнейшем разработчики хотят создать нейросеть, выдающую оценку для 9 показателей. Помимо ума, доверия и привлекательности в категории Dating они добавят ещё 6 параметров в категориях Social и Business. Также планируется улучшить алгоритм VoterStyles. Ограниченная демонстрация Photofeeler-D3 пока доступна только для исследователей по запросу.С оригинальной статьёй можно ознакомиться в блоге Photofeeler.