Машинное обучение *

Привет, Хабр! Меня зовут Ван, я возглавляю отдел машинного обучения и матчинга торговой площадки Ozon. В нашем IT работает более ста DS-специалистов, чьи алгоритмы ежедневно обрабатывают сотни терабайтов данных для решения важных бизнес-задач и не только. В процессе работы наших алгоритмов задействованы Python, Scala, Go, Hadoop, Spark, PostgreSQL, Kafka и ещё много разных хранилищ и фреймворков.

Чаще всего цели наших ML-алгоритмов в IT-индустрии пересекаются, но технологические траектории достижения результата могут значимо отличаться. На встрече мы поделимся опытом и с коллегами из Яндекс Маркета, AliExpress Россия и Циан выступим с докладами:

— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop

— Го обсудим: продакшен ML на Golang

— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса

— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру

После докладов на круглом столе обсудим процессы и роли в ML-командах крупных IT-компаний.

14 апреля в 17:00 заглядывайте на наш ML Meetup (онлайн и оффлайн). 

Команда Google Arts & Culture представила приложение Giga Manga. Новый инструмент позволяет рисовать аниме-персонажей с помощью искусственного интеллекта. Художнику требуется лишь добавлять новые черты к наброску, а система сама доведет рисунок до приемлемого итога.

Пресс-служба «Яндекса» сообщила редакции Хабра, что сегодня, 30 марта 2022 года, компания запустила интерактивные субтитры для видео на четырех языках. Функция доступна в «Яндекс.Браузере» и поддерживает английский, французский, немецкий и испанский. Отмечается, что новый режим будет полезен, когда нет возможности посмотреть видео с закадровым переводом.

Разработчик технологий разговорного ИИ Just AI выводит в продакшн гибридный синтез речи и представит технологию на бесплатном вебинаре 17 марта. Гибридный синтез позволяет быстро заменять любые фразы в аудиодорожках, записанных диктором для голосового бота, требуется только отредактировать текст. При этом синтезированная речь будет в точности сохранять интонацию, с которой диктор произносил неизмененные части реплики, и экстраполировать ее на новый текст так, чтобы он звучал естественно и не выделялся из контекста. 

В рамках проекта под руководством Массачусетского технологического института исследователи описали методику, позволяющую моделировать сложные взаимосвязанные системы из множества переменных, значения которых со временем изменяются. «Байесовская сеть» сопоставляет соединения в этих множественных временных рядах и учится выявлять аномалии в данных.

Сотрудники РТЛабс разработали и ежедневно развивают робота Макса. Сейчас его ядро выдерживает более 3 млн уникальных пользователей в сутки, асинхронно взаимодействуя с несколькими поисково-диалоговыми механиками, сервисами хранения, логирования и персонализации.⠀

Узнать больше о том, кто такой Робот Макс и какие задачи решает вы сможете на большом онлайн-митапе «Как создаются роботы. Мультиагентная архитектура и фреймворки построения нейронных сетей».
Он пройдет уже на следующей неделе, 24 февраля, в 19:00.

Привет! 22 февраля мы проведем митап Tinkoff.AI Invest. Это мероприятие для всех, кому интересно внутреннее устройство Тинькофф Инвестиций и рекомендательных систем приложения. Мы расскажем не только про ML-алгоритмы, но и про особенности торговли в выходные

Yandex Research открывает набор на программу ML Residency. Программа направлена на развитие научного сообщества в России. Yandex Research организует ML Residency совместно с МФТИ и ВШЭ. 

Yandex Research — это научный центр Яндекса, занимающийся фундаментальными проблемами в областях информатики (computer science) и искусственного интеллекта, таких как компьютерное зрение, Natural Language Processing, речевые технологии, краудсорсинг, поиск и рекомендации. На данный момент он лидирует среди российских технологических компаний по числу публикаций на NeurIPS, ICML, ICLR и других ведущих конференциях по машинному обучению. 

Приглашаем вас принять участие в бесплатных вебинарах для инженеров и разработчиков.

Темы вебинаров:

Машинное обучение для автономных транспортных средств

Разработка и верификация в модельно-ориентированном проектировании

Обучение с подкреплением

В докладе, представленном в декабре на ведущей конференции NeurIPS, Себастьен Бубек из Microsoft Research и Марк Селлке из Стэнфордского университета показали, что нейросети должны быть намного больше, чтобы избежать некоторых проблем в их работе. 

Стартап из Тель-Авива Deepdub предлагает технологию автоматизации части процесса дублирования с помощью технологии искусственного интеллекта. Она позволяет сократить время, необходимое для дубляжа, позволяя владельцам контента и студиям получать готовый продукт озвучки в течение недель, а не месяцев. На фоне роста спроса на дубляж стартап уже привлек $20 млн инвестиций.

Исследователи Массачусетского технологического института создали модель машинного обучения, которая может предсказывать комплекс, образуемый при соединении двух белков. Их метод в 80–500 раз быстрее существующих, и часто предсказывает структуры белков, которые ближе к наблюдаемым экспериментально. 

Хорошая новость для разработчиков — мы открыли доступ к программной библиотеке PyTorch-LifeStream, которая содержит несколько алгоритмов построения эмбеддингов событийных данных. Инструмент может быть использован для подготовки различных массивов обезличенных датасетов.

Событийные данные могут представлять собой самые разные последовательности: истории посещений сайтов, покупок, событий в онлайн-играх и так далее. При этом сгенерированный на основе алгоритмов библиотеки эмбеддинг не будет содержать каких-либо персональных данных.  

Нейробиологи Массачусетского технологического института разработали компьютерную модель, которая может определять источники звуков. Модель включает несколько сверточных нейронных сетей и способна обнаружить происхождение звуков в реальных условиях подобно человеческому уху.

Как сообщили редакции Хабра в пресс-службе Сравни.ру, финансовый маркетплейс запустил новую функцию для выбора кредитного продукта, основанную на алгоритмах машинного обучения. Система анализирует заявку от пользователя на основе его анкетных данных, кредитной истории и поведенческих характеристик внутри платформы. После этого она подбирает предложения от банков, которые чаще всего одобряют кредиты заявителям со схожими характеристиками. Как указал представитель сервиса, до этого финансовые маркетплейсы не использовали AI-алгоритмы в таком контексте.

Обучение современных нейросетей требует тщательной настройки значений миллионов или даже миллиардов параметров, представляющих силу связей между искусственными нейронами. Цель состоит в том, чтобы найти для них почти идеальные значения, но достичь ее непросто. В итоге обучение занимает дни, недели или даже месяцы. Однако Борис Князев из Университета Гвельфа в Онтарио и его коллеги разработали и обучили «гиперсеть», которая может ускорить процесс обучения.

• Динамическое ценообразование — когда компания непрерывно меняет цены, реагируя на изменение спроса/предложения. Видеокарта в магазине может подорожать, пока вы смотрели на форму заказа.
  
• Ценовая дискриминация — когда один и тот же товар одновременно продаётся по разной цене разным людям (например, скидки для новых клиентов или для студентов/школьников/женщин, повышение цены на товар с приближением к магазину и др.).

Google опубликовала исследование, посвященное основным трендам машинного обучения (ML) в 2021 году. Как отметил Джефф Дин, старший научный сотрудник и вице-президент Google Research, в ближайшие несколько лет в отрасли грядет ряд научных прорывов. Дин выделил пять трендов, которые влияют и будут влиять на развитие ML в ближайшие годы.