Pull to refresh

Открытая научная школа хакатона DeepHack.Babel

Reading time3 min
Views2.4K
image

Перед новым годом мы рассказывали, зачем нужен хакатон по машинному переводу. Уже на следующей неделе 50 участников, прошедших отбор, приедут в Долгопрудный, чтобы поучаствовать в обучении системы на непараллельных данных. Помимо многочасового брейншторминга в поиске решения поможет научная школа — серия лекций от ведущих мировых специалистов по машинному переводу. Хабр, приглашаем тебя посетить интересующие выступления! Они пройдут на Физтехе с 29 января по 4 февраля, не забудьте зарегистрироваться. Ну, а если в морозный зимний вечер выходить из дома не хочется, то можно посмотреть трансляции на канале DeepHack.

«Attention is all you need»
Илья Полосухин, основателей стартапа Near.AI и ex-сотрудник Google
30 января, 20:30

Сегодня большая часть обработки естественного языка опирается на свёрточные и рекуррентные модели в схеме кодирования/декодирования. Наиболее успешные модели связывают декодер с энкодером через механизм внимания. Один из основателей стартапа Near.AI Илья Полосухин расскажет о прорывной модели машинного перевода «Transformer», над которой он работал в Google. Она представляет собой простую сетевую архитектуру, построенную только на механизмах внимания. Как показывает опыт, эксперименты с нейронным машинным переводом демонстрируют повышение качества перевода при существенной экономии на обучении по сравнению с ранее предложенными рекуррентными моделями.

«Deep learning for reading comprehension»
Руслан Салахутдинов (Университет Карнеги — Меллона)
2 февраля, 19:00

Руслан Салахутдинов, доцент факультета машинного обучения Университета Карнеги — Меллона, расскажет о применении глубокого обучения для понимания текста. Его исследования направлены на понимание вычислительных и статистических принципов, которые позволяют обнаруживать структуру в больших объёмах данных.

Подробнее об опыте работы Руслана
В 2009 году Руслан получил степень доктора философии по информатике (специализация: машинное обучение) в Торонтском университете, после чего проработал два года в лаборатории искусственного интеллекта Массачусетского технологического института. Затем он вернулся в Торонтский университет на должность старшего преподавателя на факультетах информатики и статистики.

Руслан занимает пост редактора в издании Journal of Machine Learning Research и, кроме того, входил в состав программных комитетов нескольких профильных конференций, в том числе Конференции по нейросетевым системам обработки информации (NIPS) и Международной конференции по машинному обучению (ICML). Руслан получил стипендии фонда Альфреда Слоуна и компании «Майкрософт» и участвует в программе Canada Research Chair по профилю машинного обучения. Он лауреат премии Early Researcher Award, премии Google для членов академического сообщества и премии Nvidia «Первопроходцы ИИ». Руслан занимает должность старшего научного сотрудника в Канадском институте перспективных исследований.

«Neural Machine Translation»
Кёнхён Чо (New York University & Facebook)
2 февраля, 17:30

Кёнхён Чо, старший преподаватель информатики и науки о данных в Нью-Йоркском университете и научный сотрудник в Facebook AI Research, расскажет о своих исследованиях последних 2,5 лет в области нейронного машинного перевода. Используя в качестве отправной точки концепцию нейронного машинного перевода на механизмах внимания, Кёнхён Чо также затронет темы многоязычного перевода, непараметрического нейронного машинного перевода на основе поисковиков и машинного обучения без учителя. Также он коротко расскажет о своей текущей работе в лаборатории, в том числе об неавторегрессивном нейронном машинном переводе и обучаемых жадных декодерах.

«Neural easy-first taggers»
Андре Мартинш, научный сотрудник в лиссабонском офисе компании Unbabel Inc.
4 февраля, 11:00

Андре Мартинш расскажет о своей недавней работе над новой моделью обработки текста под названием neural easy-first tagger. Эта модель обучается решению задач по разметке последовательности — например, аннотированию грамматических и лексических признаков слов в тексте. Модель решает задачу разметки последовательности независимо от порядка объектов в ней. Декодер обновляет «набросок» предсказаний в несколько итераций. Его работа основана на механизме внимания, который определяет, какую часть поступивших данных стратегически выгодно обработать следующей. При решении задач разметки последовательности эта модель превосходит теггеры, использующие двунаправленные сети с долгой краткосрочной памятью (BILSTM).

Подробнее об опыте работы Андре
Андре занимается машинным обучением и обработкой естественного языка. Он является приглашённым профессором на инженерном факультете Лиссабонского университета, научным сотрудником в Институте телекоммуникаций и научным консультантом в Priberam Labs. Получил степень доктора философии в Университете Карнеги — Меллона и Лиссабонском университете, диссертация написана под руководством Марио Фигейредо, Ноа Смита, Педро Агиара и Эрика Сина.
Tags:
Hubs:
Total votes 9: ↑9 and ↓0+9
Comments0

Articles

Information

Website
mipt.ru
Registered
Founded
Employees
1,001–5,000 employees
Location
Россия