Недавно прошла очередная, зимняя защита выпускников трёх наших технопроектов — Технопарка (МГТУ им. Баумана), Техносферы (МГУ им. Ломоносова) и Технотрека (МФТИ). Команды представили как реализации своих собственных идей, так и решения настоящих бизнес-задач, предложенных разными подразделениями Mail.ru Group.

Среди проектов:

Сервис по продаже подарков с дополненной реальностью.
Сервис, агрегирующий акции, скидки и предложения из почтовой рассылки.
Визуальный поиск одежды.
Сервис для электронного буккроссинга с возможностью аренды.
Умный сканер еды.
Современный аудио-гид.
Проект «Задачи Mail.ru»
Мобильное телевидение будущего.

Мы хотим подробнее рассказать о шести проектах, которые были особенно выделены членами жюри и менторами.

Визуальный поиск одежды

Проект представлен командой выпускников Техносферы. По данным аналитиков, fashion-рынок в России за 2018 год составил почти 2,4 трлн рублей. Ребята создали сервис, который позиционируется как интеллектуальный помощник для совершения покупок в условиях огромного разнообразия товаров. Это B2B-решение, расширяющее функциональность интернет-магазинов.

В ходе UX-тестирования авторы проекта выяснили, что под «похожим платьем» люди понимают схожесть не по цвету или рисунку, а по атрибутам одежды. Поэтому ребята разработали систему, которая не просто сравнивает две картинки, а понимает семантическую близость. Загружаешь изображение интересующего предмета одежды, а сервис подбирает релевантные его атрибутам товары.

Технически система работает следующим образом:

Для детекции и классификации обучена нейросеть Cascade Mask-RCNN. Для определения атрибутов и похожести одежды применяется нейросеть на основе ResNext-50 с несколькими головами для групп атрибутов, и Triplet loss для фотографий одного товара. Весь проект реализовали на основе микросервисной архитектуры.

В дальнейшем планируется:

Запустить сервис для всех категорий одежды.
Разработать API для интернет-магазинов.
Улучшить манипуляцию атрибутами.
Научиться понимать запросы на естественном языке.

Команда проекта: Владимир Беляев, Петр Зайдель, Эмиль Богомолов.

Мобильное телевидение будущего

Проект команды Технопарка. Студенты создали приложение с расписанием телепередач для основных российских каналов цифрового вещания, к которому добавлена функция просмотра каналов с помощью IPTV (онлайн-каналы) или антенны.

Сложнее всего было присоединить антенну к Android-устройству: для этого использовался тюнер, для которого авторы самостоятельно написали драйвер. В итоге получили на Android возможность смотреть телевизор и пользоваться программой телепередач в одном приложении.

Команда проекта: Константин Митраков, Сергей Ломачев.

Сервис, агрегирующий акции, скидки и предложения из почтовой рассылки

Это проект на стыке рекламных и почтовых технологий. Наши ящики полны спама и рассылок. Каждый день приходят письма с персональными скидками, однако мы всё реже открываем их, воспринимая как «бесполезную рекламу». Из-за этого теряют выгоду пользователи и несут убытки рекламодатели. Исследование Почты Mail.ru показало, что пользователи хотят увидеть сводку, имеющихся у них скидок.

Проект maildeal собирает информацию о скидках и акциях из вашей рассылки и показывает в виде ленты карточек, из которых можно перейти на сайт акции или в письмо. Программа умеет работать сразу с несколькими почтовыми ящиками. Есть список избранных акций.

Проект имеет микросервисную архитектуру и состоит из трех основных частей:

OAuth-авторизация для удобного подключения ящиков.
Сбор и анализ писем с акциями.
Хранение и отображение карточек со скидками.

В проекте используется технология обработки естественного языка с использованием ресурсов GPU: графические ускорители позволили увеличить скорость обработки в 50 раз. Алгоритм основан на вопросно-ответной системе, что позволяет быстро добавлять категории акций в соответствии с новыми бизнес-требованиями.

Эта команда завоевала не только место в топе команд по мнению жюри, но и победила на конкурсе «Цифровые вершины 2019». Это конкурс российских разработчиков, которые создают IT-инструменты для повышения эффективности бизнеса и государственных структур, а также для повышения личной продуктивности. Наша команда победила в студенческой номинации.

У студентов большие планы по дальнейшему развитию проекта, ближайшие:

Интеграция с почтовыми сервисами.
Внедрение системы анализа изображений.
Запуск проекта на широкую аудиторию.

Команда проекта: Максим Ермаков, Денис Зиновьев, Никита Рубинов.

Отдельно хотим рассказать про три команды, которые были отмечены менторами Mail.ru Group, работавшими со студентами во время всего семестра. Особое внимание при выборе проектов уделялось сложности проекта, реализации и командной работе.

Проект «Задачи Mail.ru»

Проект был отмечен как жюри, так и менторами.

«Задачи Mail.ru» — это первый самостоятельный сервис для ведения списка дел, разработанный в компании. В ближайшие месяцы Задачи заменят списки задач в Календаре Mail.ru, а после включения проекта для всех пользователей он будет интегрирован в мобильную и веб-Почту Mail.ru.

Проект реализован с применением подходов Offline-first и Mobile-first. То есть пользоваться веб-приложением можно когда угодно, где угодно и на чём угодно. Наличие доступа к интернету не имеет значения: данные будут сохранены и синхронизированы. Для большего удобства можно «установить» приложение из браузера, и оно будет выглядеть как нативное.

Умный сканер еды

В продуктовом магазине мы не всегда можем быстро определить, подходит нам пищевой продукт или нет, насколько он безопасен и полезен. Ситуация усложняется, если у человека есть ограничения по питанию, различные аллергии, или он соблюдает диету. Android-приложение Foodwise позволяет отсканировать штрих-код продукта и без особых усилий понять, стоит ли
его употреблять.

В приложении есть три основных раздела: «Профиль», «Камера» и «История».

В «Профиле» задаются ваши предпочтения: в разделе «Ингредиенты» вы можете исключить из рациона любой из занесённых в базу 60 000 ингредиентов и прочитать информацию о E-добавках. «Группы» позволяют исключить сразу целый блок ингредиентов. Например, если указать «Вегетарианство», то все продукты, содержащие мясо, будут подсвечены красным.

В разделе «Камера» есть два режима: сканирование штрих-кодов и распознавание овощей и фруктов. После сканирования штрих-кода вы получите всю информацию о продукте. Исключённые вами ингредиенты будут подсвечены красным.

В «Истории» будут сохраняться все ранее отсканированные продукты. Этот раздел оснащён текстовым и голосовым поиском.

Режим распознавания фруктов и овощей позволяет получить информацию об их пищевой и энергетической ценности. Например, в одном яблоке содержится приблизительно 25 гр.
углеводов, что неприемлемо для людей с низкоуглеводной диетой.

Приложение написано на Kotlin, в «Камере» использован ML Kit для сканирования штрих-кодов и определения фруктов и овощей. Бекенд состоит из двух сервисов: API сервера с базой данных, в
которой хранятся 60 000 ингредиентов и составы 100 000 продуктов, а также нейросеть, написанная на Python и Tensorflow.

Команда проекта: Артём Андрюхов, Ксения Глазачёва, Дмитрий Сальман.

Сервис по продаже подарков с дополненной реальностью

Каждый человек хотя бы раз в жизни получал символические подарки. Часто для людей важнее сам факт внимания, чем полученный презент. Такие подарки не приносят пользы, но их производство и утилизация оказывают негативное влияние на природу нашей планеты. Так у авторов проекта родилась идея по созданию сервиса по продаже подарков с дополненной реальностью.

Чтобы проверить актуальность идеи, провели исследование. 82 % респондентов сталкивались с проблемой выбора подарка. Для 57 % опрошенных основной трудностью при выборе стало опасение, что их подарками не будут пользоваться. 78 % людей готовы меняться для решения проблем экологии.

Авторы выдвинули три тезиса:

Подарки живут в виртуальном мире.
Не занимают места.
Всегда рядом.

Для реализации дополненной реальности в вебе авторы выбрали библиотеку AR.js, которая состоит из двух основных частей:

Первая отвечает за рисование графики поверх потока камеры с помощью A-Frame или Three.js.
Второй частью является ARToolKit, который отвечает за распознавание маркера (специального символа, который можно либо распечатать, либо показывать на экране другого устройства) в выходном потоке камеры. Маркер используется для позиционирования графики. Наличие ARToolKit не позволяет создать безмаркерную дополненную реальность с помощью AR.js.

AR.js скрывает в себе много «подводных камней». Например, его использование вместе с A-Frame может «поломать» стили на всём сайте. Поэтому авторы применили «связку» AR.js + Three.js, благодаря чему удалось решить часть проблем. А для встраивания AR.js на базе Three.js в React, на котором написан сайт проекта, пришлось сделать репозиторий AR-Test-2 (https://github.com/denisstasyev/AR-Test-2), в котором реализован отдельный React-компонент для использования AR.js на базе Three.js. Был реализован просмотр модели в дополненной реальности и в 3D (для устройств без камеры).

Однако позднее выяснилось, что пользователи не понимают, что такое маркер и как его использовать. Поэтому авторы перешли на технологию <model-viewer>, которая сейчас активно разрабатывается Google. Она использует ARKit (iOS) или ARCore (Android) для отображения моделей в дополненной реальности без маркера. Технология основана на Three.js и включает в себя просмотрщик 3D-моделей. Удобство программы значительно улучшилось, однако для просмотра дополненной реальности необходимо устройство с iOS 12 или новее.

Сейчас проект доступен по адресу (https://e-gifts.site/demo), где вы можете получить свой первый подарок.

Команда проекта: Стасьев Денис, Чадов Антон.

Подробнее о наших образовательных проектах вы можете почитать по этой ссылке. И почаще заходите на канал Технострим, там регулярно появляются новые обучающие видео о программировании, разработке и других дисциплинах.

Техновыпуск Mail.ru Group, зима 2019