![](https://habrastorage.org/webt/ee/tf/nz/eetfnz8dwbhofyvt-kupfwbwmkk.png)
В этой статье будет рассказан опыт создания нейросети по распознаванию лиц, для сортировки всех фотографий из беседы ВК на поиск определённого человека. Без какого-либо опыта написания нейросетей и минимальными знаниями Python.
Введение
Есть у нас друг, которого зовут Сергей, который очень любит себя фотографировать в необычном образе и отправлять в беседу, а так же приправляет эти фотографии фирменными фразами. Так вот в один из вечеров в дискорде у нас появилась мысль — создать паблик в вк, куда мы могли бы постить Сергея с его цитатами. Первые 10 постов в отложку дались легко, но потом стало понятно, что перебирать руками все вложения в беседе — нет смысла. Так и было принято решение написать нейросеть для автоматизации этого процесса.
План
- Получить ссылки на фотографии из беседы
- Скачать фотографии
- Написание нейросети
Перед началом разработки
В статье не будут рассказаны базовые вещи, такие как установка Python и pip. А также хочется сказать, что это не написание нейросети с 0, а будет использоваться специальная библиотека, которая упростит решение конкретно этой задачи
1. Получение ссылок на фотографии
Так мы хотим получить все фотографии с беседы нам подходит метод messages.getHistoryAttachments, который возвращает материалы диалога или беседы.
С 15 февраля 2019 Вконтакте запретил доступ к messages, для приложений не прошедших модерацию. Из вариантов обхода могу предложить vkhost, который поможет получить токен от сторонних мессенджеров
С полученным токеном на vkhost можем, собирать нужный нам запрос к API, при помощи Postman. Можно конечно и без него всё заполнить ручками, но для наглядности будем использовать его
![](https://habrastorage.org/webt/z2/ed/ot/z2edotb4l7bif_ib6ksjud-lpee.png)
Заполняем параметры:
- peer_id — идентификатор назначения
Для беседы: 2000000000 + id беседы (можно увидеть в адресной строке).
Для пользователя: id пользователя. - media_type — тип материалов
В нашем случае photo
- start_from — смещение, для выборки нескольких элементов.
Пока что оставим пустым
- count — количество получаемых объектов
Максимум 200, столько и будем использовать
- photo_sizes — флаг для возвращение всех размеров в массиве
1 или 0. Мы используем 1
- preserve_order — флаг указывающий нужно ли возвращать вложения в оригинальном порядке
1 или 0. Мы используем 1
- v — версия vk api
1 или 0. Мы используем 1
Заполненные поля в Postman
![](https://habrastorage.org/webt/60/ct/lx/60ctlxo79pa-vrhl8dkg_nrq0ec.png)
Переходим к написанию кода
Для удобства весь код будет разбит на несколько раздельных скриптов
Будет использовать модуль json (для декодирования данных) и библиотеку requests (чтобы делать http запросы)
Листинг кода если в беседе/диалоге менее 200 фотографий
import json
import requests
val = 1 # Переменная для счётчика
Fin = open("input.txt","a") # Создаём файл для записи ссылок
# Отправляем GET запрос на API и записываем ответ в response
response = requests.get("https://api.vk.com/method/messages.getHistoryAttachments?peer_id=2000000078&media_type=photo&start_from=&count=10&photo_size=1&preserve_order=1&max_forwards_level=45&v=5.103&access_token=ВАШ_ТОКЕН")
items = json.loads(response.text) # Считываем ответ от сервера в формате JSON
# Так как по GET запросу сервер возвращает в каждом элементе массив с картинкой в разных размерах, будем перебирать всё циклом
for item in items['response']['items']: # Перебираем массив items
link = item['attachment']['photo']['sizes'][-1]['url'] # Записываем самый последний элемент, так как он самого максимального расширения
print(val,':',link) # В консоли выводим лог по проделанной работе
Fin.write(str(link)+"\n") # Записываем новую строку в файл
val += 1 # Увеличиваем значение счётчика
Если же фотографий более 200
import json
import requests
next = None # Переменная в которую будем записывать ключ смещения
def newfunc():
val = 1 # Переменная для счётчика
global next
Fin = open("input.txt","a") # Создаём файл для записи ссылок
# Отправляем GET запрос на API и записываем ответ в response
response = requests.get(f"https://api.vk.com/method/messages.getHistoryAttachments?peer_id=2000000078&media_type=photo&start_from={next}&count=200&photo_size=1&preserve_order=1&max_forwards_level=44&v=5.103&access_token=ВАШ_ТОКЕН")
items = json.loads(response.text) # Считываем ответ от сервера в формате JSON
if items['response']['items'] != []: # Проверка наличия данных в массиве
for item in items['response']['items']: # Перебираем массив items
link = item['attachment']['photo']['sizes'][-1]['url'] # Записываем самый последний элемент, так как он самого максимального расширения
print(val,':',link) # Лог перебора фотографий
val += 1 # Увеличиваем значение счётчика
Fin.write(str(link)+"\n") # Записываем новую строку в файл
next = items['response']['next_from'] # Записываем ключ для получения следующих фотографий
print('dd',items['response']['next_from'])
newfunc() # Вызываем функцию
else: # В случае отсутствия данных
print("Получили все фото")
newfunc()
Ссылки получили пора качать
2. Скачивание изображений
Для скачивания фотографий используем библиотеку urllib
import urllib.request
f = open('input.txt') # Наш файл с ссылками
val = 1 # Переменная для счётчика
for line in f: # Перебираем файл построчно
line = line.rstrip('\n')
# Скачиваем изображение в папку "img"
urllib.request.urlretrieve(line, f"img/{val}.jpg")
print(val,':','скачан') # В логи выводим сообщение о загрузке
val += 1 # Увеличиваем счётчик
print("Готово")
Процесс загрузки всех изображений не самый быстрый, тем более если фотографий 8330. Место под это дело тоже требуется, если фотографий по количеству как у меня и более, рекомендую освободить под это 1,5 — 2 Гб
![](https://habrastorage.org/webt/mn/bd/mq/mnbdmq1vdohhetaccuclhdmpunq.png)
Черновая работа закончена, теперь можно приступать к самому интересному — написанию нейросети
3. Написание нейросети
Просмотрев много различных библиотек и вариантов, было решено использовать библиотеку
Face Recognition
Что умеет ?
Из документации рассмотрим самые основные возможности
Поиск лиц на фотографиях
Может найти любое количество лиц на фото, даже справляется с размытыми
![](https://habrastorage.org/webt/ni/uk/a_/niuka_10-oblsdue1eisymce32e.png)
Идентификация лиц на фотографии
Может распознать кому принадлежит лицо на фотографии
![](https://habrastorage.org/webt/ur/4h/11/ur4h11jsx_pj3c_w6xpn3vkdrds.png)
Для нас самый подходящим способом будет являться идентификация лиц
Подготовка
Из требований к библиотеке необходим Python 3.3+ или Python 2.7
По поводу библиотек — будет использоваться выше упомянутая Face Recognition и PIL для работы с изображениями.
Официально библиотека Face Recognition не поддерживается на Windows, но у меня всё заработало. С macOS и Linux всё работает стабильно.
Объяснение происходящего
Для начала нам необходимо задать классификатор для поиска человека, по которому уже будет происходить дальнейшая сверка фотографий.
Рекомендую выбрать максимально чёткую фотографию человека в анфасПри загрузке фотографии библиотека разбивает изображения на координаты черт лица человека (нос, глаза, рот и подбородок)
![](https://habrastorage.org/webt/19/bu/w5/19buw5org5lcbb83pusfnne9suo.png)
Ну, а дальше дело за малым, остаётся только применять подобный метод к фотографии на которую хотим сравнить с нашим классификатором. После чего даём нейросети сравнить черты лиц по координатам.
Ну и собственно сам код:
import face_recognition
from PIL import Image # Библиотека для работы с изображениями
find_face = face_recognition.load_image_file("face/sergey.jpg") # Загружаем изображение нужного человека
face_encoding = face_recognition.face_encodings(find_face)[0] # Кодируем уникальные черты лица, для того чтобы сравнивать с другими
i = 0 # Счётчик общего выполнения
done = 0 # Счётчик совпадений
numFiles = 8330 # Тут указываем кол-во фото
while i != numFiles:
i += 1 # Увеличиваем счётчик общего выполнения
unknown_picture = face_recognition.load_image_file(f"img/{i}.jpg") # Загружаем скачанное изображение
unknown_face_encoding = face_recognition.face_encodings(unknown_picture) # Кодируем уникальные черты лица
pil_image = Image.fromarray(unknown_picture) # Записываем изображение в переменную
# Проверяем нашла ли нейросеть лицо
if len(unknown_face_encoding) > 0: # Если нашли лицо
encoding = unknown_face_encoding[0] # Обращаемся к 0 элементу, чтобы сравнить
results = face_recognition.compare_faces([face_encoding], encoding) # Сравниваем лица
if results[0] == True: # Если нашли сходство
done += 1 # Увеличиваем счётчик общего выполнения
print(i,"-","Нашли нужного человека !")
pil_image.save(f"done/{int(done)}.jpg") # Сохраняем фото с найденным человеком
else: # Если не нашли сходство
print(i,"-","Не нашли нужного человека!")
else: # Если не нашли лицо
print(i,"-","Лицо не найдено!")
Также есть возможность прогонять всё по глубинному анализу на видеокарте, для этого надо добавить параметр model= «cnn» и изменить фрагмент кода для изображения с котором хотим искать нужного человека:
unknown_picture = face_recognition.load_image_file(f"img/{i}.jpg") # Загружаем скачанное изображение
face_locations = face_recognition.face_locations(unknown_picture, model= "cnn") # Подключаем ускорение GPU
unknown_face_encoding = face_recognition.face_encodings(unknown_picture) # Кодируем уникальные черты лица
Результат
Без GPU. По времени нейросеть перебрала и отсортировала 8330 фотографий за 1 час 40 минут и при этом нашла 142 фотографии из них 62 с изображением нужного человека. Конечно бывали ложные срабатывания, на мемы и других людей.
C GPU. Времени на обработку заняло гораздо больше, 17 часов и 22 минуты и нашла 230 фотографий из которых 99 нужный нам человек.
В заключение можно сказать, что работа проделана была не зря. Мы автоматизировали процесс сортировки 8330 фотографий, что гораздо лучше чем перебирать это самому
Также можете скачать весь исходный код с github