Общий обзор архитектуры сервиса для оценки внешности на основе нейронных сетей

[Matshishkapeu]

Если на двух приведенных картинках 7.71 и 5.46 это показатель няшности, можно запостить несколько примеров с оценкой >9.5 и <2.5?

[morozovsk]

Тоже стало интересно, поэтому загуглил «самая красивая девушка» — нашёл мисс вселенную и загуглил «самая страшная девушка» — нашёл рекордсменку из книги рекордов Гиннесса (но это не точно).

Ну вы наверно уже сами догадались насколько круто и точно работает алгоритм

UPDATE: ааа, я понял, простите, что не сразу догадался

#BlackLivesMatter

трансвистит

Тестируем дальше:

путин женщина мем

8.38

медведев-женщина фейс ап

6.93

[erqups]

Первая картинка ~200x200, кроп лица еще меньше. Попробуйте загрузить изображение с приемлемым разрешением.

Начет второго — боюсь, в таких случаях сетка и правда может работать не совсем корректно, т.к в обучающей выборке были лица «обычных» людей. Тем не менее, 5.41 — это меньше, чем 10-й перцентиль по обучающей выборке (распределение оценок при этом гауссово, но немного «сдвинуто» вправо).

Третье, с вашего позволения, комментировать не буду :)

[morozovsk]

Ок, взял фотку с википедии побольше.

оценка стала лучше аж на ... на 10%!

Есть подозрение, что более высокую оценку получают более «глянцевые» фотки, а не более красивые лица.

[Matshishkapeu]

Ну теперь то у мисс мира хотя бы выше чем у официально самой страшной, было же меньше :)

[morozovsk]

Это просто у самой страшной теперь разрешение фотки ниже :)

нашёл большее разрешение... угадайте оценку :)

[Matshishkapeu]

Алгоритм ширину фотки в пикселях на 100 делит?

[Matshishkapeu]

Но все еще уступает по няшности Валуеву. Он, конечно, красавчик, но любим все таки не за это. Опять же если мисс мира не дотягивает внешностью до боксера-тяжеловеса, это какой-то альтернативный конкурс красоты.

Хотя, Валуев тут конечно - шикарен

[alexey_c]

Но здесь, на конкретно этом фото, дейтвительно, если скропить только лицо и убрать серьги, то эта «мисс» сильно похожа на мужика.
Что даёт к её привлекательности минус 100500%

[Matshishkapeu]

Трансвестит, ну если не знать, кабы не симпатишнее мисс мира (кто ее выбрал?). К слову самой страшноватой красавицей пока признан паренек в боковом мониторе слева от трансвестита, по шкале женской сипатишности ему дали 4.

[morozovsk]

Причём если просто мужиков загружать, то оценка не выставляется. А здесь его на стене нашло и оценило :)

[erqups]

На самом деле сетка и мужчин оценивает. В обучающей выборке у мужчин и женщин равная доля. Вероятно, в вашем случае просто face detection не сработал.

[Matshishkapeu]

Не-не-не, если не оценило то просто качество низкое. Вот у меня брутального Карелина посчитало нечеловечески (Übermensch?) брутальным, вот а Валуева выше вполне себе сьела, больше чем Мисс-Мира баллов получил.

Брутальный Карелин

[morozovsk]

Итоги моего эксперимента.

Алгоритм на первое место ставит толирантность и политкорректность:
самая страшная женщина мира — 9,15
трансвистит — 8,47
чернокожая женщина — 7,21
мисс вселенная — 5,78

PS: зато не засудят :)
PPS: за статью всё равно спасибо, особенно за телеграмм-бота. Всем бы так делать демки. Ловите 3 плюса.

[Matshishkapeu]

Может это не оценка, а штрафные балы? Или там гандикап, который надо прибавлять к объективной оценке выданной безжалостным искусственным интеллектом?

[FEgor04]

чернокожая женщина — 7,21

Не думаю, что алгоритм обращает внимание на цвет кожи — скорее всего, картинки перед «оценкой» становятся черно-белыми.

[ramzes2]

Вообще не понятно, на каких данных учили, как размечали и что эти оценки значат? Возможно тут классический garbage in — garbage out.

[algotrader2013]

Да. Намного интереснее было бы почитать о том, как датасет собрали, чем почему docker-swarm вместо k8s и подробные штуки.
Задача ведь реально нетривиальная. База условного тиндера с фотками и историей лайков была бы кстати, но фиг достанешь (хотя, хз, может в слитых базах Ashley Madison и были фотки).
Наверное, сразу ещё приходит мысль инстаграм парсить, но, тоже, очень сомнительная тема. Там лайкают далеко не за идеальность лица

[adictive_max]

Наверное, сразу ещё приходит мысль инстаграм парсить

И тогда самой красивой девушкой будет тарелка борща или чашка кофе с круасанами :)

[El_Kraken_Feliz]

Самой красивой девушкой тогда будет кот же!

[adictive_max]

Не, кот будет, если обучать на видео с ютуба.

[erqups]

Ответил на вопрос о структуре обучающей выборки в другой ветке.

[VladPutin]

Интересна другая сторона сервиса)
Как отреагируют некоторые слои населения на то, что нейросеть поставила низкие оценки их внешности и позволят ли это выкатить на рынок?
В телеграме это, конечно, возможно, но скорее всего многие активисты не оценят такую инициативу)

[algotrader2013]

Да, это боль последних лет. Общество неблагодарно. Делаешь бесплатную фичу по распознаванию фоток и их описанию, описываешь людям сотни миллионов фоток, но стоит на одной фотке афроамериканцев дать описание "гориллы", как тебя заваливает говном пол интернета

[horovody]

Не совсем понятно, как делалось обучение сети. Как делалась изначальная разметка данных? Привлекательность — это ну очень субъективный параметр, один человек скажет 4, другой 8, кто прав?

[erqups]

Хотел уделить время на описание таких подробностей в следующей публикации, но что-то уж слишком много вопросов по даней теме.

Обучающая выборка основана на кропах лиц из публичного некоммерческого датасета “SCUT-FBP5500”, который был обогащен дополнительными данными для привидения распределения оценок к нормальному. Дополнительные данные были получены, в основном, при помощи Semi-supervised подхода (обучаемся на датасете -> скорим картинки без рейтинга -> самые адекватные добавляем в обучающую выборку -> замеряем метрики на тестовой выборке -> если необходимо, повторяем цикл)

Насчет субъективности — вы абсолютно правы, но все-таки есть определенные “стандарты красоты”, навязываемые обществом. Например, датасет, о котором я писал выше, основан на перекрестной оценке (N разметчиков разных полов, каждый из них оценивает каждое фото в выборке) и позволяет увидеть следующую картину:

[algotrader2013]

5500 фоток всего, из которых 4000 это азиаты, — да, ниочем. Понятно, почему результаты столь слабые

[morozovsk]

Спасибо за развёрнутый ответ.

[Mobile1]

Хороший, добрый бот…
5.11 — обычная внешность:

[vlad_bo]

Довольно странные критерии оценки у бота: если модель наклонила голову — оценка будет меньше. Проверьте на заглавном фото из этой статьи.

Зато «симулякр» с симметричными чертами лица, который держит голову максимально ровно, способен получить балл даже выше максимального!