Распознавание красоты лиц


    «Свет мой, зеркальце! скажи
    Да всю правду доложи:
    Я ль на свете всех милее,
    Всех румяней и белее?»


    А.С. Пушкин

    Волшебные вещи из сказок мало-помалу реализуются в настоящей реальности за счет использования новых технологий и научных открытий. Уже реализованы и активно применяются такие девайсы как ковер-самолет (авиация), сапоги-скороходы (автомобили), яблочко на блюдечке (нетбук с интернетом), клубочек который показывает дорогу (GPS-навигатор) и другие нужные вещи. Мы попытались реализовать упомянутую в «сказке о мертвой царевне и о семи богатырях» систему оценки красоты лица человека с помощью методов искусственного интеллекта и машинного зрения, так как считаем, что автором эпиграфа на самом деле подразумевался планшет с фронтальной камерой и специальным установленным софтом.

    Вопрос о том, что именно делает лицо человека привлекательным, является темой исследований физиологов, биологов, философов, искусствоведов, специалистов по пластической хирургии на протяжении длительного времени. В настоящее время считается установленным факт, что на людей, помимо индивидуальных предпочтений, влияют и общие биологически-мотивированные принципы оценки красоты [1-2]. Среди возможных кандидатов на типичные признаки физиологи выделяют симметричность черт лица [3], отличие изображения лица от усредненного изображения лиц большого множества людей [4], соответствие пропорций лица «золотому сечению» [5] и др. Например, в [4] показано, что, с одной стороны, симметричные черты лица соответствуют менее подверженным мутациям генам и поэтому люди с такими чертами лица более устойчивы к мутациям и заболеваниям, а с другой – люди с более симметричными чертами лица получают более высокие рейтинги красоты при оценке их фотографий экспертами.

    В последние годы появилось несколько пионерских работ, посвященным компьютерным системам распознавания красоты на основе использования систем машинного зрения [6-8] и обучаемых классификаторов. Эти работы могут рассматриваться как попытка наделения робототехнических систем способности «видеть красивое». В [6] в качестве признаков используются пропорции черт лица, при этом ключевые точки на лице выделялись вручную. В [7] в дополнение к пропорциям был применен метод главных компонент для выделения признаков. В [8] для задачи распознавания красоты использовали глубокие нейронные сети.

    Мы разработали автоматическую систему оценки красоты, работающую на основе метода выделения ключевых точек на лице с помощью средств библиотеки машинного зрения OpenCV и нейронной сети, обученной целевой задаче на данных экспертных оценок и провели экспериментальную оценку качества ее работы.

    База изображений для обучения


    Мы собрали собственную базу изображений, состоящую из 180 фотографий лиц молодых женщин, изображения были взяты из открытых источников. Были отобраны фотографии лиц во фронтальной проекции с нейтральным выражением лица, без очков и украшений. Для придания выборке репрезентативности мы постарались включить в базу данных примеры как красивых, так и некрасивых лиц (рис. 1).



    Рис. 1. Пример фото лиц из базы изображений

    В отличие от работы [7], собранная база включает в себя фотографии женщин разной расы, цвета кожи, а их возраст колеблется от 18 до 35 лет. После того, как изображения были собраны, группе экспертов было предложено выставить субъективные рейтинги эстетической привлекательности для каждой из фотографий по шкале от 1 до 7. Всего для маркировки фотографий было привлечено 8 экспертов, 4 мужчины и 4 женщины в возрасте от 16 до 63 лет, оценки выставлялись независимо. По условиям эксперимента, перед началом процесса выставления оценок каждому эксперту были предъявлены все фотографии для первичного ознакомления. Для проверки согласованности выборки был проведен корреляционный анализ, его результаты представлены в табл. 1.

    Таблица 1. Попарные корреляции оценок различных экспертов



    Средняя корреляция выборки оказалась на уровне 0,7, что делает возможным обучение нейросети на таких данных и примерно соответствует результатам других исследователей [4,7].

    Общая схема работы алгоритма


    Система распознавания красоты получает на вход изображение, содержащее фронтальное фото лица человека (рис. 2).



    Рис. 2. Схема работы алгоритма распознавания красоты лиц

    Перед началом работы алгоритма мы предполагаем, что лицо на изображении уже было выделено ранее и занимает большую часть площади изображения. Далее с помощью стандартного бустингового классификатора Виолы-Джонса, входящего в состав библиотеки средств машинного зрения OpenCV, выделяются области на лице, соответствующие правому и левому глазу, носу и рту.
    На основе этих координат рассчитываются основные пропорции лица, которые затем используются в качестве вектора признаков для нейронной сети. Нейронная сеть сначала обучается на этих входных данных с использованием оценок экспертов в качестве целевой выборки, а затем может использоваться для распознавания на новых, ранее не виденных сетью данных.

    Выделение признаков


    Мы условно разделили выделяемые нами признаки на две группы: отношение расстояний между выделенными ключевыми точками и соотношения найденных размеров лица.

    Группа признаков 1 показана на рис. 3, слева: AB/CD, AC/BC, AD/BD, EC/ED, EC/AB, AC/AD, BC/BD. Группа признаков 2 показана на Рис. 3, справа: L/R, Mw/Mh, Nw/Nh, Mw/Nw, Mh/Nh. Итоговый вектор признаков состоит из объединенных признаков обеих групп. Перед подачей на нейронную сеть данные были приведены к диапазону [1;1].



    Рис. 3. Расчет векторов признаков по выделенным ключевым точкам на лице

    Обучение нейросетей


    В качестве обучаемой нейронной сети мы использовали стандартный многослойный персептрон [10, с. 219] с одним скрытым слоем, содержащим 5 нейронов в скрытом слое. В качестве активационных функций нейронов скрытого и выходного слоя использовались функция гиперболического тангенса. Нейросеть была обучена методом расширенного фильтра Калмана [10, с. 219], [11], который является на сегодняшний день одним из самых эффективных методов обучения второго порядка для нейросетей. Перед обучением выборка была разделена на 2 части: обучающую (110 примеров, 60 % выборки) и экзаменационную (70 примеров, 40 % выборки). Результаты обучения представлены в табл. 2.

    Таблица 2. Результаты обучения нейросети на задаче распознавания красоты



    Мы считаем, что полученный результат корреляции 0.5 на не использовавшейся при обучении экзаменационной выборке очень хорошим для того небольшого количества информации, подаваемой на нейросеть в качестве признаков. Фактически, нейросеть принимает решение на основе анализа строения костей черепа, игнорируя прочие данные, которые принимает во внимание человек при решении аналогичной задачи.
    В дальнейшем мы планируем улучшить алгоритм путем расширения базы изображений для обучения, выделения новых ключевых точек на лице и включения в него детектора гладкости кожи.

    Оригинал статьи (нашей): Чернодуб А.Н., Пащенко Ю.А., Головченко К.А. Нейросетевая система определения привлекательности лица человека // XV Всероссийская научно-техническая конференция «Нейроинформатика-2013», Москва, 21-25 января 2013, c. 254 — 259.

    Список литературы


    1. Kovach, F. J. Philosophy of beauty//Norman: University of Oklahoma Press. 1974.
    2. Grammer K, Thornhill R. Human (Homo sapiens) facial attractiveness and sexual selection: the role of symmetry and averageness. // J Comp Psychol, 1994. V. 108. № 3. P. 233-242.
    3. Rhodes G. The Evolutionary Psychology of Facial Beauty // Annu. Rev. Psychol. 2006. V. 57. P. 199-226.
    4. Sheib J.E., Gangestad S. W., Thornhill R. Facial attractiveness, symmetry and cues of good genes // Proc Biol Sci. 1999 September 22; 266(1431). Р. 1913-1917.
    5. Holland E. Marquardt’s Phi Mask: Pitfalls of Relying on Fashion Models and the Golden Ratio to Describe a Beautiful Face //Aesthetic Plastic Surgery, 2008. V. 32, № 2. P. 200-208.
    6. Aarabi, P., Hughes, D., Mohajer, K., Emami, M. The automatic measurement of facial beauty // IEEE International Conference on Systems, Man, and Cybernetics, 710 October 2001, Tucson, USA. V. 4. P. 2644-2647.
    7. Eisenthal Y., Dror G., Ruppin E. Facial Attractiveness: Beauty and the Machine // Neural Computation, 2006. V. 18. № 1. P. 119-142.
    8. Gan J., Li L., Zhai Y. Deep self-taught learning for facial beauty prediction // Neurocomputing. DOI: 10.1016/j.neucom.2014.05.028
    9. Gray D., Yu K., Xu W., Gong Y. Predicting Facial Beauty without Landmarks // Computer Vision – ECCV 2010, Lecture Notes in Computer Science, 2010, V. 6316/2010. P. 434-447.
    10. Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2006.
    11. Chernodub A.N. Training Neural Networks for classification using the Extended Kalman Filter: A comparative study // Optical Memory and Neural Networks, 2014. Vol. 23, Issue 2, pp 96-103.
    Поделиться публикацией

    Комментарии 56

      +9
      Скоро фейсконтроль в клубах отменят, и будут пускать по ID в котором будут прошиты государственные коэффициэнты красоты индивидуума.
        +37
        в одноклассниках оценки фоточкам будут ставится автоматически
          +2
          … и тогда если научиться извлекать энергию из ударяющихся о маршрутизатор техподдержки «одноклассников» сетевых пакетов, с инкапсулированной в них ненавистью пользовательниц, можно будет перевести дата-цантр этой соц. сети на самообеспечение.
        +9
        Надеялся найти ссылку на демо =)
        +6
        >>110 примеров, 60 % выборки

        Это прямо как-то даже совсем-совсем негусто.
          0
          У конкурентов (ссылки на них есть в статье) выборки примерно такого же порядка. В том числе, в упомянутой статье 2014 года на основе deep learning.
          +11
          Теперь Мисс Вселенная превратиться в соревнование хакеров.
            +2
            Побеждать будет человекоподобный робот.
            +1
            Хм… этож какую можно обучающую выборку вконтактике и однокласниках набрать....)
              0
              Набрать-то не проблема. А вот как разметить?
                +1
                Так по лайкам же)
                  0
                  По лайкам тяжело на самом деле, т.к. априорное распределение лайкующих неравномерное (
                    0
                    Можно как-то нормализовать, наверное. Например, по количеству друзей.
              +6
              Я сначала подумал что на фотке с/без косметики…
                +8
                Йа, йа, зер гут, майн фюрер!
                  0
                  Если так уж хотите постебаться насчет расизма — тогда вам лучше обратить внимание на другую нашу статью:

                  habrahabr.ru/post/221137/

                    –1
                    Хм, поясню. С одной стороны, все красиво и правильно — напишем теорию, научим нейронную сеть искать оптимум заданной целевой функции, определим самых красивых, конкурсы, будущее, технологии. А с другой стороны, технологии отличаются от группы экспертов тем, что могут иметь массовое применение. Кто гарантирует, что через дцать лет не будет такого результата — «Посмотрите, пожалуйста, в камеру. Спасибо, ваш результат отрицательный, с целью улучшения генофонда нации вам не позволено иметь детей. До свидания.» А то и что похуже.
                    • НЛО прилетело и опубликовало эту надпись здесь
                        +11
                        С таким подходом можно смело всю науку запретить и вернуться к первобытному-общинному строю.
                        Но с практической точки зрения вариант «ваш IQ < 100, вам не позволено иметь детей» выглядит куда более полезным для генофонда.
                          +5
                          Положительный отбор по IQ приведет к существенному увеличению наследственных заболеваний центральной нервной системы. Такой отбор действовал у евреев-ашкеназы. Результат — средний IQ выше примерно на 10, плюс целый букет так называемых еврейских болезней: en.wikipedia.org/wiki/Medical_genetics_of_Jews#Ashkenazi_diseases

                          Само описание этого феномена (положительного отбора по когнитивным способностям у ашкеназы) и соответствующего исследования тут: macroevolution.livejournal.com/141838.html

                          Так что все имеет свою цену, и я не уверен что всегда разумно эту цену платить.
                            +5
                            А это точно из-за положительного отбора по IQ, а не от длительного скрещивания внутри ограниченной популяции?
                              +3
                              Болезни можно вылечить. А низкий IQ не лечится.
                                0
                                Многие болезни сейчас неизлечимы, особенно генетические.
                                В отдалённом светлом будущем, когда их таки научатся лечить, надеюсь, научатся и увеличивать количество нейронов, или от чего там IQ зависит.
                                Вообще всё это уже было — и «высшая раса», и евгеника. Ни к чему хорошему это не приводило никогда.
                                  +1
                                  Не смешивайте два разных понятия. «Высшая раса» = «мы (белые, чёрные, азиаты, чукчи, люди с родинкой на правом плече) лучшие, а остальные биомусор». Евгеника = искусственный отбор.
                                  Евгеника была широко популярна в первые десятилетия XX века, но впоследствии стала ассоциироваться с нацистской Германией, отчего её репутация значительно пострадала. В послевоенный период евгеника попала в один ряд с нацистскими преступлениями, такими как расовая гигиена, эксперименты нацистов над людьми и уничтожение «нежелательных» социальных групп. Однако к концу XX века развитие генетики и репродуктивных технологий снова подняли вопрос о значении евгеники и её этическом и моральном статусе в современную эпоху.
                                  Википедия

                                  Гитлер, знаете ли, ещё воду пил. И дышал.
                                    –1
                                    При чём здесь упоминания «Гитлер воду пил и дышал»? Применяете «Защиту Чубаки»?
                                    Евгеника, расизм, нацизм, «богоизбранный народ» и прочее объединены простым фактом — определение положения человека в обществе не по его деяниям, а по каким-то другим признакам, чаще всего, не зависящим от него. А Гитлер — самый известный идеолог попыток такого отбора.
                                    Возможно, евгеника слегка выбивается из этого понятия, но только в теории — на практике она становилась продолжением того же расизма. Ошибка здесь простая — попытка отдельных людей играть в бога и решать судьбу человечества. Да и нет такого показателя, который сможет определить положение человека в обществе и пользу, которую он принесёт. IQ определяет далеко не всё.
                                    Фактически, человечество много лет шло к тем социальным лифтам, которые есть сейчас — ещё никогда не было у человека столько возможностей изменить свой статус в обществе исключительно своими силами. И IQ здесь играет хоть и важную роль, но не предопределяет судьбу человека.
                                    Естественный отбор неплохо справляется, не надо пытаться делать его работу. Да и наследственность предопределяет мозг человека далеко не на 100%.
                                    • НЛО прилетело и опубликовало эту надпись здесь
                                        0
                                        Наверное, мне следовало бы уточнить. Я говорю о евгенике именно как о стерилизации тех, кто, по чьим то параметрам, не должен иметь детей. К тому, что называют «новой евгеникой», я отношусь исключительно положительно.
                                          0
                                          На самом деле там еще вскрывается куча вопросов и проблем.
                                          Наглядный пример, есть статистика указывающая что доля людей, страдающих какой-либо аллергией, с течением времени растёт.
                                          Так как аллергия может передаваться по наследству.
                                          Некоторые медики уже утверждают, что здоровых людей практически не осталось.
                                          С другой стороны, многие аллергии проявляют себя слабо или только в каком-то возрасте, чаще всего в младенчестве или в пожилом возрасте. В частности, именно поэтому детское мыло должно являться гипоаллергенным.
                                          И вот спрашивается что делать, если у эмбриона есть вероятность заболевания аллергией?
                                      +1
                                      Вообще всё это уже было — и «высшая раса», и евгеника. Ни к чему хорошему это не приводило никогда.
                                      — Вы не путайте теплое с мягким.
                          +7
                          собранная база включает в себя фотографии женщин разной расы, цвета кожи, а их возраст колеблется от 18 до 35 лет

                          Боюсь, что этот подход мог привести к «зашумлению» вашей статистики. Ведь экспертов-то вы выбирали, скорее всего, одного цвета кожи и расы? Известно, что для европейцев, грубо говоря, «все китайцы на одно лицо», потому что наш мозг не натренирован в улавливании между ними различий. Поэтому экспертные оценки таких малознакомых типов лица могут сильно колебаться.
                            +11
                            А если так, то что есть красота И почему ее обожествляют люди?

                            С определением красоты не всё так просто. Может быть есть смысл говорить не о красоте, а о привлекательности? Нравится или не нравится лицо — это сугубо индивидуально, что и предполагает определение привлекательности: «индивидуальные представления о пропорциях и красоте».

                            Может быть я пропустила, не подскажете, почему вы определяли красоту только женских лиц? Как быть с мужской красотой? Она подчиняется тем же закономерностям, что и женская красота, или другим?

                            Могу поделиться моим собственным вариантом определения привлекательности лица на фото: сравниваем его с эталоном привлекательности. Для того, чтобы найти этот эталон женской красоты, который считают привлекательным абсолютное большинство мужчин, были сведены воедино лица тысяч предпочтений пользователей. Самое удачное фото то, сходство которого с эталоном наибольшее. Для сравнения я использую сервис www.pictriev.com/fc.php. Научности в этом способе никакой, зато результат получается неплохой. Те фото, которые приведены в статье в качестве примера лиц из базы изображений, сервис оценил в 62% и 22% соответственно.

                            Что касается «отличия изображения лица от усредненного изображения лиц большого множества людей», как критерия красоты, мне кажется всё обстоит с точностью до наоборот. Убедиться в этом можно здесь: www.faceresearch.org/demos/famous. В результате объединения нескольких симпатичных лиц, как правило, получается более привлекательный образ, чем каждое из них в отдельности.
                            Взгляните, здесь типичные портреты жительниц разных стран, полученные в результате объединения множества снимков разных людей. Это проект «face of tomorrow». Фотограф хотел выявить внешние отличия разных народов. Обращает внимание, что все «усреднённые» изображения в то же время являются привлекательными и отображают национальные особенности красоты.

                              +1
                              Это, конечно, мой субъективный взгляд, но все же из этих типичных портретов жительниц привлекательны от силы два.

                              Да и если смешивать много знаменитостей, то тоже получается не очень красиво. Если двух-трех похожих, то да, а больше — уже хуже.
                                0
                                Вот еще в «Коммерсанте» было, аж в далеком 2005 году: Лицо русской национальности. Тогда накладывать это на карту казалось «забавным»…
                                • НЛО прилетело и опубликовало эту надпись здесь
                                  0
                                  А скатерть-самобранку слабо запилить?
                                    0
                                    Не она? )
                                      0
                                      Даже не знаю, вроде она…
                                      Напомнило «молекулярную еду» из комедии «Шеф» с Ж. Рено…
                                    0
                                    >Нейросеть была обучена методом расширенного фильтра Калмана [10, с. 219], [11], который является на сегодняшний день одним из самых эффективных методов обучения второго порядка для нейросетей.

                                    Расскажите в двух словах, EKF для фильтрации шумов обучающей выборки?
                                      0
                                      Нет, EKF используется в качестве алгоритма оптимизации, по сути действует как квази-Ньютоновский метод. Кроме указанных ссылок есть еще книжка чисто на эту тему: S. Haykin, «Kalman filtering and neural networks», 2001.
                                      +6
                                      Использовать случайные фотографии неправильно. На примере одно лицо полностью отрисовано гримером, а после съемки обработано в графическом редакторе. Нужно самостоятельно делать фотографии с определенными требованиями, типа рассеянного света, отсутствия грима, возможно с закрытыми глазами.
                                        +1
                                        Интересно, конечно, но «что русскому хорошо, то немцу — смерть». Вот тут человек пошел «от противного» и попросил людей отфотошопить одно и то же лицо под идеал красоты. Представлены результаты из множества стран, некоторые — довольно неожиданны.
                                          0
                                          По-моему, там все очень зависело от навыков работы в фотошопе и предпочтений конкретных людей. На какие-то усредненные результаты это не тянет, имхо.
                                          +12
                                          image
                                            0
                                            У нас почему-то по этой формуле семерка получается. Определенно ее надо дорабатывать, чтобы значение всегда попадало в пятибалльный интервал.
                                            +2
                                            После эпиграфа вспомнилось:
                                            И услушала в ответ:
                                            Ты достала, я планшет!
                                              +2
                                              А не пробовали проанализировать полученные веса признаков, чтобы понять, какие из них вносят наибольший вклад в привлекательность?

                                              Как вариант, можно прогнать обучающую выборку через простую модель (например, линейную регрессию), где веса признаков сразу будут видны.
                                                0
                                                Не пробовали пока, но хотим этим заняться, спасибо. Правда, с линейной регрессией оно работало сильно «не очень».
                                                +1
                                                Интересно, а сколько баллов в этой программе набирает Тильда Суинтон? А Саша Грей?
                                                Или они уже в базе и по ним строили выборку?
                                                  0
                                                  Хорошая идея ) попробуем!
                                                  +2
                                                  Отправил девушке ссылку на эту статью. С подписью: «Вот так мы с друзьями обсуждаем девушек».
                                                    +2
                                                    Тоже отправил, а потом вспомнил, что нету девушки.

                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                  Самое читаемое