25 сентября состоялась конференция Yandex Scale — большое ежегодное мероприятие Yandex Cloud для тех, кто создаёт цифровые продукты и решения. Событие прошло в гибридном формате: доклады о новинках облака транслировались онлайн, в прямом эфире из МХАТ им. Горького, а на офлайн-площадке команда организовала демо-зоны для живого знакомства с сервисами. 

В репортаже покажем немного закулисья Yandex Scale: какие технологии помогли познакомиться с обновлениями облачной платформы тысячам участников и что интересного будет доступно разработчикам для тестирования в ближайшее время. 

В маркетинге и продажах крупных компаний есть несколько аналитических задач, которые требуют регулярной обработки сотен тысяч и миллионов записей из разных источников. Например, это прогнозирование продаж или планирование рекламных кампаний. Как правило, их решение не обходится без построения длинного пайплайна обработки данных. ML‑инженеру или аналитику данных нужен ансамбль из нескольких моделей и сервисов, чтобы собрать качественный датасет, провести эксперименты и выбрать наиболее подходящие алгоритмы.

Сбор, очистка и агрегация данных занимают большую часть времени и вычислительных ресурсов, а эти затраты хочется оптимизировать. В статье покажем, как мы ускорили построение пайплайнов обработки данных с помощью связки DataSphere Jobs и Apache Airflow™.

Привет! Меня зовут Паша Сушин. Уже больше десяти лет я занимаюсь в Яндексе развитием платформы YTsaurus — нашего внутреннего инструмента, который в марте 2023 года вышел в опенсорс и теперь доступен всем на GitHub по лицензии Apache 2.0. 

Сегодня мой рассказ будет о том, какие ограничения архитектуры мы преодолели, чтобы масштабировать наши кластеры больше чем в сотню раз.

В начале апреля мы запустили первую программу сертификации специалистов по облачным технологиям — до этого не было экзаменов по работе с российскими облачными платформами, которые созданы в соответствии с отечественными и международными стандартами тестирования. За 3 месяца с момента запуска состоялось 12 экзаменов, в них участвовали 88 специалистов разного профиля. Большинство участников — инженеры DevOps.

Мы спросили первых обладателей сертификата про их опыт: как сертификация помогает достичь профессиональных целей, как лучше подготовиться и чего стоит ждать тем, кто только собирается сдавать экзамен. Дадим слово четырём участникам с разной облачной специализацией.

4 июня состоялась infra.conf 2024 — конференция про создание инфраструктуры и эксплуатацию высоконагруженных систем от команды Yandex Infrastructure. На мероприятии мы попросили поделиться своими инфраструктурными историями инженеров не только Яндекса, но и Ozon.Tech, T1, MTS Web Services, Т‑Банка, SberDevices, Альфа‑банка, «Лаборатории Касперского», Selectel, Postgres Pro, СберМаркета и Авито. В результате, по отзывам участников, «хардкор‑концентрат железа и DevOps зашкаливал и летал прямо в воздухе».

В этой статье мы собрали самые интересные моменты по тем докладам, которые вызвали наибольшую реакцию и восторг от полезности в кулуарах и чатах, — чтобы вам было проще сориентироваться, что стоит пересмотреть.

В среду 29 мая мы провели ML2Business — первую конференцию от Yandex Cloud, посвящённую кейсам применения GenAI, NLP, CV и других технологий ML в бизнесе.

Реальный опыт внедрения машинного обучения был представлен в двух треках: GenAI&NLP и GenAI&CV. Их программа была полностью посвящена историям использования ML в разных компаниях. В этой статье мы собрали инсайты спикеров из компаний «Инфосистемы Джет», «ВкусВилл» и Банки.ру, которые могут быть интересны техническим специалистам.

Всем привет. На связи Артём Гойлик @ArtoLord и Владислав Волох @Chillintano из команды DataSphere в Yandex Cloud. Мы создаём инфраструктуру для ML-разработчиков. И сегодня расскажем про одну задачу, которая, как и многие другие, начиналась с болей наших пользователей.

Если вы хоть раз были на экскурсии в дата-центре, то наверняка запомнили длинные галереи сияющих стоек с серверным и сетевым оборудованием. Все, кто знаком с внутренним устройством стойки, также знают о понятии юнита — форм-фактора для оборудования, которое монтируется в стандартную стойку. 

Помимо работы в IT я увлекаюсь звукорежиссурой — и в сфере звука формат юнита открылся новыми гранями. Приборы обработки аудио закономерно унаследовали немало из области связи, в том числе и 19-дюймовый юнит. Но развитие звукового оборудования привело к тому, что юниты здесь зажили своей жизнью — и появились любопытные детали, которые могут заинтересовать даже инженеров дата-центров.

Взглянем на историю юнита вместе с Антоном Кортуновым, экспертом по видеопроизводству и техлидом Yandex Infrastructure — команды, которая создаёт платформу для работы разработчиков Яндекса, от ЦОДов до внутреннего облака. И в конце покажем несколько параллелей с эволюцией этого формата в дата-центрах.   

25–26 сентября состоялся Yandex Scale — ежегодное мероприятие Yandex Cloud, посвящённое новым технологиям облачной платформы. Если хотите узнать, зачем пользователи платформы данных вращали барабан и как Алиса справляется с удалением контейнеров, — этот пост для вас.

Меня зовут Вера, я редактор блога Yandex Cloud & Yandex Infrastructure, и в этом репортаже собрала самое главное с офлайн-площадки конференции для тех, кто не смог присоединиться очно.