В этом году мы в шестой раз вручили научную премию в области машинного обучения Yandex ML Prize. Совет премии выбрал 14 лауреатов, представивших наиболее перспективные и значимые работы в области генеративных моделей, обработки естественного языка, компьютерного зрения, информационного поиска, распознавания и синтеза речи, когнитивной робототехники.

Сегодня мы объявляем о продлении Yandex Open Source — программы грантов для поддержки опенсорс‑проектов независимых разработчиков. Победители получат грант на использование Yandex Cloud на 600 тысяч рублей, которые можно потратить на платформу данных, инструменты для разработки и другие сервисы.

Всем привет! Хочу пригласить всех желающих на митап Яндекс Go Product Engineering Meetup #3 для продуктовых бэкенд‑разработчиков. Он пройдёт 17 октября в Москве. Обсудим интеграции систем — сложные задачи, в которых возникают проблемы с совместимостью, коммуникациями, процессами и многим другим. А ещё поделимся кейсами интеграций в Яндекс Go, и советами экспертов, как минимизировать ошибки в своих проектах.

Сегодня хочу поделиться с вами новостью, которую лично я очень ждал. В Переводчике и Браузере заработала новая технология перевода текста на фото и изображениях. Ключевых изменений два. Во-первых, мы впервые используем большую языковую модель, чтобы переводить картинки с учётом контекста. Во-вторых, мы улучшили визуализацию — текст перевода теперь больше похож на оригинальную вёрстку. Это может быть полезно, например, для перевода меню в ресторане, технической документации, дорожных указателей и книг. Под катом расскажу чуть подробнее о новой технологии и покажу несколько примеров новой визуализации.

Привет, Хабр! На связи Евгений Ляпустин из команды компьютерного зрения Яндекса. Сегодня вместе с коллегами из Yandex Research мы представляем новое поколение нашей диффузионной нейросети — YandexART 2.0. Она уже применяется в Алисе, а также доступна всем желающим через API в Yandex Cloud. 

Новая модель умеет создавать надписи прямо на изображениях, придерживаться нескольких стилей на одной картинке, располагать объекты в пространстве и относительно друг друга более естественно и учитывать при генерации больше деталей из текстового запроса.

Под катом — не только новость, но и краткий рассказ о том, как устроена модель на техническом уровне и какие возможности это открывает перед нашими пользователями.

23 октября Яндекс организует (не)конференцию, посвящённую открытому коду и всему, что его окружает. На этот раз — в Санкт‑Петербурге.

Мы в Яндексе любим, ценим и уважаем опенсорс‑культуру — и стараемся делать всё возможное для её развития в России и мире. Поэтому и появился Yandex Open Source Jam — конференция, на которой мы обсуждаем аспекты разработки и использования продуктов с открытым кодом.

На конференции поговорим об опенсорсе и людях, которые его делают. В программе: анонсы продуктов с открытым кодом, экспозона, дискуссии, афтерпати и, конечно же, доклады.

10 октября в Москве во второй раз пройдет PeerLab от экспертов Яндекс Go. Специалисты разберут кейсы, которые предложат участники: поговорят о DI-архитектуре, легаси и скорости сборки, сравнят KMP и Flutter, объяснят, чем отличаются техлиды от фичалидов, и поделятся советами о тестировании.

Сегодня на Yandex Scale мы открываем доступ к облачному сервису Yandex Security Deck. Это CNAPP‑платформа, которая включает набор компонентов для централизованного управления безопасностью облачной инфраструктуры.

О том, какие задачи решает платформа, как в этом помогает LLM, и каковы дальнейшие планы по развитию сервиса, — в посте расскажут архитекторы и инженеры.

Сегодня мы объявляем о начале регистрации на седьмой международный чемпионат по программированию Yandex Cup. В этом году соревнование разделено на три стрима: для начинающих и опытных взрослых программистов, программистов‑юниоров от 14 до 18 лет и сотрудников Яндекса, которые отдельно сразятся за звание чемпиона компании. Призовой фонд турнира увеличился с 8,5 до 12,5 млн рублей.

Участникам доступны шесть направлений: аналитика, фронтенд‑ и бэкенд‑разработка, мобильная разработка, машинное обучение и «Алгоритм», посвящённый спортивному программированию. В «Алгоритме» используются два языка, русский и английский, поэтому принять участие в состязании смогут программисты со всего мира. Юниорам доступно два направления на русском языке — аналитика и «Алгоритм».

Yandex Cup 2024 состоит из трёх этапов. С 14 по 20 октября пройдёт онлайн‑квалификация, а 2 ноября — онлайн‑полуфинал. Финал, а также церемония награждения состоятся со 2 по 6 декабря в Ташкенте. На этапе квалификации участники смогут попробовать свои силы сразу в нескольких направлениях, а к полуфиналу выбрать самое подходящее.

Важным отличием Yandex Cup 2024 от соревнований прошлых лет станет Gold‑финал, в котором победители стримов, включая юниоров и сотрудников Яндекса, будут соревноваться за звание абсолютного чемпиона каждого направления.

Подать заявку на участие можно на сайте чемпионата до 20 октября включительно. Победители получат денежные призы. Участники, показавшие лучшие результаты в каждом направлении, смогут пройти собеседование в Яндекс по упрощённой схеме.

Команда Яндекс Погоды открыла бесплатный API для интеграции погодных данных в системы умного дома. С помощью API пользователи смогут создавать сценарии, которые учитывают погоду на улице — например, чтобы в холодные вечера включался тёплый пол, а в дождливое утро — яркий свет.

Мы продолжаем развивать образовательные форматы, чтобы восполнить дефицит высококвалифицированных кадров в области искусственного интеллекта. Поэтому сегодня команда Яндекс Образования и факультет компьютерных наук НИУ ВШЭ открывают набор на участие в олимпиаде Artificial intelligence and data analysis olympiad (AIDAO).

Это первая совместная олимпиада по искусственному интеллекту ИТ‑компании и университета для студентов разных стран. Участники попробуют свои силы в решении сложных задач из науки и индустрии и познакомятся с экспертами из Яндекса и Вышки, а победители получат денежные призы.

На сайте конференции Practical ML Conf мы опубликовали первый список докладов. Среди тем этого года — сложности разработки мультимодальных нейросетей, технологии синтеза выразительной речи, обучение больших языковых моделей работе с кодом.

В конференции примут участие ведущие ML‑инженеры Яндекса, «Т‑Банка», Сбера, Х5, HH.ru и других компаний. Докладчики выступят в шести секциях, отражающих актуальные тренды в машинном обучении: компьютерное зрение, обработка естественного языка, генерация речи, рекомендательные системы, внедрение и инференс нейросетей, а также сбор и анализ данных.

Яндекс обучил нейросеть на базе YandexGPT самостоятельно проверять сгенерированные тексты на наличие галлюцинаций. Благодаря новому подходу удалось в шесть раз сократить количество неточностей в созданных нейросетью кратких описаниях мест и достопримечательностей в Картах. Кроме того, переход на обновлённую модель позволил использовать меньше вычислительных мощностей и удешевить её работу.

Команда Яндекс Музыки разработала технологию Нитро, которая порекомендует слушателям даже те треки, для которых ещё недостаточно данных о прослушиваниях и лайках. Нитро поможет пользователям сервиса разнообразить плейлист и найти новые, интересные композиции начинающих артистов. Технология может применяться для треков тех исполнителей, аудитория которых не превышает 5 тыс. слушателей в месяц.

Сегодня мы обновили сервис Нейро, о котором ранее уже рассказывали на Хабре. Благодаря обновлённой модели семейства YandexGPT 3 он стал точнее понимать запросы пользователей и отвечать более содержательно. Кроме того, задать вопрос теперь можно не только текстом и картинкой, но и голосом. А ещё сервис адаптировали для программ экранного доступа, которые необходимы для людей с нарушениями зрения.

Мы добавили в нашу виртуальную клавиатуру для мобильных устройств новые функции на основе нейросетей Яндекса. Пользователи Клавиатуры теперь могут использовать их в любом сервисе, где есть текстовый ввод. YandexGPT поможет исправить ошибки в тексте, разнообразить его синонимами и добавить подходящие эмодзи, а YandexART создаст уникальный фон по текстовому описанию.

Новые возможности уже доступны в последней версии Яндекс Клавиатуры для Android и iOS.

На фестивале Young Con Яндекс представил онлайн‑тренажёр CodeRun с каталогом задач для разработчиков и аналитиков. В CodeRun можно проверять и улучшать знания, готовиться к техническим собеседованиям, соревноваться в решении задач и получать награды за свои достижения.

Сегодня мы опубликовали отчёт о прогрессе в области устойчивого развития. Он составлен по международным стандартам GRI Standards и SASB и выпускается ежегодно. Возможно, всё это звучит сложно и непонятно, поэтому скажем проще: отчёт посвящён тому, что было сделано за год в тех направлениях, где мы можем принести наибольшую пользу обществу, компаниям и окружающей среде.

Полную версию отчёта можно найти на сайте. Мы также подготовили специальный раздел для наглядного знакомства с наиболее интересной частью отчёта. Пожалуй, на этом можно было бы и закончить новость, но поскольку вы сейчас читаете её на Хабре, то приведём здесь подборку фактов из отчёта на те темы, о которых вы уже могли читать в нашем блоге. Подборка небольшая и во многом авторская.

Многие пользователи не только читают книги, но и слушают их аудиоверсии. Это бывает удобно в транспорте или в фоновом режиме, а для кого-то речь профессионального диктора и вовсе заменила текст. Спрос на такие версии растёт: более 80% пользователей Букмейта (книжный сервис Яндекс Плюса) хоть раз обращались к аудиоформату для знакомства с литературой. 

К сожалению, далеко не для всех книг такие версии существуют, но мы придумали, как помочь пользователям. В Букмейте появился виртуальный рассказчик. Он позволяет в режиме реального времени слушать книги, у которых нет предзаписанных аудиоверсий. На данный момент рассказчик доступен для 13 000 книг.

Виртуальный рассказчик создан специально для чтения книг вслух. Он разработан на базе комплекса речевых технологий Яндекса с привлечением профессиональных дикторов. Воспроизведение текста максимально приближено к естественной речи, поэтому читателю комфортно слушать произведения на протяжении долгого времени.

Мы впервые применили большую языковая модель YandexGPT для подготовили эталонных примеров текстов, на которых затем обучили нейросеть в Яндекс Переводчике. Это позволило сервису точнее понимать контекст, распознавать фразеологизмы и ориентироваться в профессиональной лексике.

Переводчик стал качественнее справляться с длинными и сложными текстами. Благодаря дообучению он лучше определяет взаимосвязи внутри предложений и между ними. Кроме того, выросло качество перевода статей узконаправленной тематики. Например, сервис теперь поймёт по контексту, что речь идёт о языке программирования или фондовом индексе, и оставит их названия без перевода.