Привет, Хабр. Сегодня делимся кейсами студентов Инженерно-математической школы (или просто ИМШ) — совместного образовательного проекта VK и НИУ ВШЭ в сфере машинного обучения, развития высоконагруженных систем и технологий ИИ. Здесь студенты участвуют в проектных мастерских: учатся, предлагают и реализуют идеи, которые уже сейчас влияют на будущее ИТ.
Трое студентов школы кратко расскажут о своих проектах, учёбе в ИМШ и опыте работы над реальными задачами в проектах VK.
А ещё вы узнаете:
о том, какие навыки помогает прокачать учёба в ИМШ;
что делает студенческие проекты полноценными научно-прикладными работами, которые хорошо выглядят в резюме;
как попасть в ИМШ.
Кейс: русскоязычный бенчмарк для оценки качества визуально-языковой модели (VLM)
Англоязычные бенчмарки не учитывают российские культурные особенности и контекст, от известных личностей до ключевых исторических событий. Из-за этого большинство популярных бенчмарков не подходит для полной и качественной оценки отечественных моделей.
Под руководством наставников ИМШ я разработал собственный бенчмарк, учитывающий языковую и культурную специфику задач, характерных для нашей страны, а потом с его помощью определил open source-модель, которая лучше всего понимает контекст. Сейчас специалисты VK используют этот бенчмарк для оценки и сравнения моделей.
Подробнее про бенчмарк и его создание можно прочитать в большой статье на Хабре.
Работа над проектом в ИМШ помогла мне усилить компетенции в сфере машинного и глубокого обучения, а ещё — окончательно понять, что я хочу заниматься языковыми моделями. Я проанализировал множество современных статей о VLM, получил много знаний о моделях и современных методах их оценивания.
Результаты учебного проекта и знания, полученные в ИМШ, очень помогли мне на собеседовании в VK. Но школа — это гораздо больше, чем просто строчка в резюме. Мой куратор (а теперь и руководитель) Александр Рогачёв помогал структурировать идеи, направлял в нужное русло, делился опытом и самыми релевантными материалами. Его поддержка на регулярных синках, детальная обратная связь и полное отсутствие давления создали идеальную атмосферу для совместного поиска лучших решений.
Опыт, который можно получить за несколько месяцев в мастерской, сравним с несколькими годами самостоятельной работы. Используйте этот шанс по максимуму: общайтесь с куратором VK и коллегами, перенимайте их опыт и не стесняйтесь предлагать свои идеи. Меньше волнения, больше предвкушения!
В фокусе нашей команды — разработка и применение визуально-языковых моделей для решения широкого спектра внутренних задач поиска, рекомендаций, рекламы и модерации. Разработанные датасеты и метрики позволяют сравнивать разные VLM-модели и отслеживать прогресс при их дообучении. Наличие русскоязычных бенчмарков помогает быстрее понимать, какие модели лучше подходят для реальных продуктов, с чем они могут справляться, а где требуется дополнительное улучшение.
Александр Рогачев, руководитель группы мультимодальных языковых моделей в VK, старший преподаватель НИУ ВШЭ, Департамент больших данных и информационного поиска ФКН
Кейс: оптимизация архитектур нейронных сетей для обработки последовательностей, включая языковые модели
Механизм внимания — ключевой компонент всех современных трансформеров, без которых сегодня невозможно представить мир нейросетей, от LLM и компьютерного зрения до авторегрессионных рекомендательных систем. Но вычислительная сложность почти всех механизмов растёт квадратично, что делает обучение и инференс моделей на их основе очень дорогими.
Мы вместе с командой и преподавателями ИМШ сейчас создаём линейный механизм с поддержкой двунаправленности, который не требует сложной низкоуровневой реализации. Проект ещё в разработке — если всё получится, то новый механизм будет гораздо быстрее своих предшественников, но железа при этом будет требовать меньше, и значит, станет гораздо доступнее для внедрения.
Подробнее о процессе работы над проектом мы с командой рассказали в этой статье на Хабре.
Реализация проекта сильно укрепила моё понимание архитектур нейронных сетей: теперь я понимаю, как они работают и почему ведут себя так, а не иначе. Кроме того, стал более осознанно программировать и чётче понимать, какими задачами хочу заниматься.
В ИМШ ты никогда не остаёшься один: обсуждаешь задачи с руководителем, разбираешь результаты с командой, растёшь с каждой новой встречей. По совету руководителя постоянно задаю себе вопрос: «Почему?». Это очень помогает обращать внимание на неочевидные тонкости и строить интуитивное понимание даже самых сложных вещей.
Работайте с первоисточниками: именно в статьях и официальных реализациях лучше всего видны идеи, допущения и мотивация авторов. От себя могу порекомендовать видеозаписи лекций ПМИ ВШЭ и книгу Андрея Буркова «The Hundred-Page Machine Learning Book».
Кейс: система психолингвистического анализа текстов
Существующие ИИ-решения не видят разницы между фразами «я зол» и «у меня всё плохо», не могут отследить смену настроения внутри одного диалога, потому что не обучены на реальных размеченных экспертами данных из психологической практики. Это делает ИИ бесполезным или даже опасным в таких чувствительных сферах, как психологическая помощь, анализ кризисных состояний или глубокое понимание пользовательских отзывов.
Мы с командой работаем в ИМШ над специализированным инструментом, который будет как психолог оценивать состояние собеседника: выделять и анализировать эмоции и состояния в конкретных фрагментах речи.
В ИМШ я сильно прокачался в переводе сложных, неформализованных психологических концептов на язык, понятный для машинного обучения. Также укрепил свои навыки в fullstack-разработке и научился проектировать сложные системы: полностью разработал архитектуру веб-приложения для разметки (от базы данных до пользовательского интерфейса) с учётом специфических требований, например, многоуровневой разметки, ролевой модели и контроля качества.
Научная работа, основанная на моём проекте, заняла первое место на конкурсе НИРС НИУ ВШЭ в номинации «Лучшая научно-исследовательская работа по психологии». Вместо учебной задачи получился комплексный продукт, который хорошо выглядит в резюме, — меня часто спрашивают об этой разработке на собеседованиях.
В ИМШ очень много талантливых и опытных специалистов. Мне удалось попасть в мастерскую по прикладному искусственному интеллекту и перенять опыт из первых рук — от экспертов VK. Пользуйтесь возможностью пообщаться с умными людьми: не стесняйтесь знакомиться и задавать вопросы. Почаще заглядывайте на Хабр и другие тематические ресурсы, читайте статьи о том, что вам интересно. Периодически проходите технические курсы — это помогает быстро получить необходимые навыки.
Те, кто сможет улучшить показатели понимания психологии моделями, получат существенное расширение задач, для которых можно применять их LLM.
Именно такие задачи пока никто не решал. Ребята прошли полный путь: выяснили технические требования, провели интервью со специалистами, написали и развили приложения для разметки, собрали данные, провели разметку, обучили модель и подготовили её к выкатке. Весь путь команды — это уровень ответственности либо синьора, либо техлида. Они показали себя как уверенные DL-исследователи.
Кирилл Каймаков, ведущий разработчик отдела больших языковых моделей VK и руководитель проектов ИМШ
В этой статье мы рассказали о трёх проектах, реализованных в ИМШ под руководством экспертов VK, но их гораздо больше — мы регулярно делимся ими в нашем блоге на Хабре:
Адаптированные нейросетевые алгоритмы на отечественных процессорах
Защита от невидимого шума: как ломать и чинить мультимодальные модели
Исследуем OSS-инструменты для MLSecOps: цели проекта и промежуточные результаты
Если вас впечатлили работы студентов ИМШ, вы можете испытать свои силы — и внести свой вклад в развитие ИТ!
Как попасть в ИМШ
Участвовать в работе мастерских и проходить учебные курсы от VK могут все студенты НИУ ВШЭ, которые учатся на профильных ИТ-направлениях. Отличная возможность работать над реальными задачами и получать ежемесячно 40 000 рублей.
Участие в проекте бесплатное, но количество мест не безгранично. Следите за новостями о проекте на странице и в соцсетях.
