Опубликовали полную программу nexthop 2024 — ежегодной конференции по сетевым технологиям 

27 ноября ждём в Москве и онлайн-эфире сетевых инженеров и всех, кто интересуется происходящим в мире сетевых технологий. В этом году для участников nexthop мы приготовили: 

• Больше 20 докладов в двух залах и море места для обмена опытом.

• Мастер-классы по работе с Annet — основным инструментом сетевой автоматизации в Яндексе. Берите с собой ноутбуки — будем пачкать руки.

• Афтепати, где можно продолжить общение и атаковать докладчиков вопросами.

Для тех, кому сложно сходу сориентироваться в двух потоках, наш программный комитет составил подборку из пяти докладов, на которые стоит обратить особое внимание:

1. IP-роутинг в сетях дата-центров, построенных в топологии Dragonfly.

2. DNS: история и развитие в инфраструктуре Яндекса.

3. Annet, у нас diff, возможно, unsafe, по коням! Автоматизация конфигурации сети в облаке. 

4. Сеть в кластере K8s-сервисов сетевой инфраструктуры (NOCDEV).

5. Wi-Fi в Яндексе.

И это ещё не всё — кроме того поговорим про балансировку нагрузки, инфраструктуру для сетевой автоматизации, BGP- и BMP-коллекции, CDN, безопасность и многое другое.

Полная программа и регистрация — уже на сайте конференции. Увидимся 27 ноября!

Открываем приём заявок на конкурс для IT‑стартапов от Яндекса, RITA и «Акселератора ФРИИ»

Startup2B — конкурс перспективных разработок для небольших IT‑команд. По результатам отбора 15 стартапов смогут улучшить свой продукт, протестировать технологии в проектах компаний‑организаторов, и в случае успеха — получить новых бизнес‑заказчиков со стороны Яндекса и компаний в составе Retail Innovation Tech Alliance (RITA).

Все участники финала смогут получить гранты до 1 млн рублей на облачные сервисы по программе Yandex Cloud Boost, а также консультацию IT‑архитекторов Яндекса.

В конкурсе участвуют команды от трёх человек. Количество заявок от одной команды не ограничено, участвовать могут как разработчики программ и приложений, так и производители «железа».

Критерии участия:

• Вы — стартап на стадии готового продукта

• Ваш продукт решает практическую задачу одной или нескольких компаний, входящих в жюри

• Ваш продукт можно быстро масштабировать — решение можно применить в проектах, рассчитанных на десятки тысяч пользователей

Жюри — представители Yandex Cloud, Яндекс 360, Яндекс Еды, Яндекс Лавки, Яндекс Go, Яндекс Драйв, Яндекс Доставки, X5 Group, Hoff, Ленты, РОЛЬФ, Magnum и «Акселератора ФРИИ». Эксперты отберут номинантов по трём направлениям: решения для операционной деятельности; технологии для работы розничных точек и складов; разработки для улучшения обслуживания, развития электронной коммерции и маркетинга.

Приём заявок открыт до 11 октября включительно на сайте конкурса.

Как автоматизировать рассылку транзакционных уведомлений

Настройка уведомлений в сервисе — задача, напрямую не связанная с бизнес‑логикой и написанием кода, к которой часто привлекаются разработчики. Для её решения нужно погрузиться в тонкости настройки DNS‑протоколов (DKIM, DMARC, SPF), протоколов TLS и передачи данных.

Разгрузить команду разработки от непрофильных задач помогает Yandex Cloud Notification Service (CNS) — новый сервис для управления SMS и пуш‑нотификациями. С его помощью можно отправлять уведомления пользователям Android и iOS через FCM, HMS и APNs, передав обновление всех протоколов на сторону провайдера. Сервис включает логирование и мониторинг, его HTTP API совместим с Amazon SNS API.

Возможности для автоматизации email-нотификаций представлены в Yandex Postbox — управляемом сервисе для отправки почтовых уведомлений. Их совместное использование c CNS в облачной экосистеме облегчает мультиканальную коммуникацию с клиентом: если пуш-сообщение не прочитано, можно продублировать его на почту, или же оптимизировать расходы на авторизацию. Вместе сервисы также обеспечивают:

• соответствие стандарту почтовых сообщений RFC5322,

• защищённые протоколы пересылки и наличие настроенных DNS‑записей,

• ролевую модель (RBAC) для безопасного доступа к сервисам на основе политик избирательного управления правами,

• интеграцию с другими облачными сервисами Yandex Cloud (событий, BI),

• возможности выгрузки событий и построения своей аналитики, в том числе с визуализацией в DataLens.

Исследование State of DevOps Russia 2024: 44% российских компаний уже используют искусственный интеллект для разработки и тестирования ПО.

Yandex Cloud совместно с «Экспресс 42» и другими партнёрами выпустили первую часть исследования State of DevOps Russia. В этом году в опросе участвовали более 4000 специалистов — от руководителей до тех, кто напрямую связан с разработкой, тестированием и эксплуатацией систем.

По данным исследования, в 2023 году 33% российских компаний увеличили IT‑бюджет. Больше всего бизнес инвестировал в найм IT‑специалистов и обновление программного обеспечения и лицензий. Для оптимизации работы ПО и DevOps‑процессов компании стали чаще применять технологии искусственного интеллекта — об этом рассказали 44% опрошенных.

DevOps‑специалисты используют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. 47% респондентов отметили, что применение таких технологий положительно повлияло на эффективность работы.

Кроме этого, 41% опрошенных отметили повышение прозрачности работы с данными при работе в облаке. 50% респондентов отметили, что облака помогают повышать соответствие требования регулятора в области информационной безопасности.

Исследование State of DevOps Russia 2024 провели «Экспресс 42» при стратегической поддержке Deckhouse совместно с облачной платформой Yandex Cloud и Head Hunter, AvitoTech, Т‑Банк, JUG Ru Group и OTUS.

Во сколько обходится атака на приложение для предприятий, что хуже — дефейс сайта или отказ в обслуживании, — обсудили в новом подкасте «Безопасно говоря».

В заключительном эпизоде четвёртого сезона ведущие подкаста Алексей Миртов и Рами Мулейс поговорили о тонкостях защиты приложений с Антоном Антоничевым, ИТ-директором METRO Россия, и Владимиром Прокопенко, экспертом по технической защите R-ONE. Поделились реальными историями и опытом, который может быть интересен компаниям разного масштаба и уровня зрелости.

Несколько хайлайтов этого эпизода:

• Time to market или безопасность?

• С какого момента понятно, что пора вкладываться в безопасность, и с чего начать?

• Если ты ещё маленький, могут ли тебя атаковать?

• Сервис не поймал атаку. Вам возместят убытки?

• Способен ли ИИ помочь ИБ?

Смотрите выпуск на YouTube или слушайте на подкаст‑платформах Яндекс Музыке, Apple Podcasts, чтобы узнать ответы на эти и другие вопросы.

Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля

В четверг, 4 июля, состоится главная в России конференция по Kubernetes®.
Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.

В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.

Среди тем:

• инсайты из исследования State of DevOps;

• кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;

• обсуждение текущего состояния инструментов observability;

• опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;

• рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.

Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.

Посмотреть программу и присоединиться

ML против токсичности, чат‑бот «пИИрожок» — и ещё более 10 кейсов внедрения технологий машинного обучения на конференции ML2Business.

29 мая в 14:00 приглашаем на ML2Business — первую конференцию от Yandex Cloud, посвящённую кейсам применения GenAI, NLP, CV и других технологий ML.

Мы поговорим о сложностях внедрения моделей машинного обучения и способах интеграции ML в процессы компаний, а также об оценке реальной пользы для бизнеса. Будет интересно и полезно как ИТ‑руководителям, так и ML‑экспертам — присоединяйтесь к нам в пространстве LOFT#2 в Москве или подключайтесь онлайн.

В программе

• как YandexGPT меняет привычные процессы работы колл‑центра;

• зачем внедрять нейросети для категоризации запросов в техподдержку;

• как улучшить качество сервиса для знакомств благодаря модерации контента с помощью ML‑технологий;

• что умеют современные виртуальные рекрутёры с функцией RPA;

• как чат‑боты помогают покупателям подбирать товары на основании их предпочтений;

• как улучшить поиск информации по внутренней «википедии» с помощью ассистента на базе YandexGPT API и Yandex DataSphere;

  и ещё несколько практических примеров от компаний из разных отраслей.

Участники также могут поучаствовать в нетворкинге и тестировании ML‑сервисов в реальных бизнес‑сценариях на интерактивных площадках.

Участие бесплатное, количество мест ограничено. Регистрация открыта на сайте конференции.

infra.conf 4 июня: обсудим с разработчиками кейсы создания и эксплуатации высоконагруженных систем

Команда Yandex Infrastructure 4 июня проведёт конференцию про создание инфраструктуры и эксплуатацию высоконагруженных систем. Встретимся в Москве и в онлайн‑эфире, чтобы поговорить про платформенную разработку, базы данных и облачные технологии, тестирование и безопасность, ML‑инфраструктуру и опенсорс‑решения.

Только практика от крупных компаний: Авито, Иннотех, Альфа‑Банк, Selectel, СберМаркет и SberDevices, Postgres Pro, Лаборатория Касперского и др.

Среди уже объявленных спикеров:

• Борис Литвиненко, Yandex Infrastructure: расскажет о том, как удобно жить на железе в 2К24 базовой инфраструктуре, о пути сетевого пакета и о специфике обслуживания этой части инфраструктуры. В финале вместе сделаем своё облако с DPDK и попытками преодолеть проблемы монолитной инфраструктуры.

• Дарья Николаенко, Тинькофф: в докладе «Потребитель и железка. Где связь?» расскажет про неочевидные и хитросплетённые зависимости масштабной инфраструктуры и их влияние на выполнение и постановку рабочих задач, а также поделится опытом визуализации и систематизации инфраструктурных компонентов.

• Виктор Корейша, Ozon Tech: расскажет о проектировании собственной S3 поверх Ceph, а также о проблемах, возникших при разработке, миграции и эксплуатации на реальной нагрузке. И, конечно, покажет пути решения и поделится результатами.

Участие бесплатно, следите за обновлениями программы и регистрируйтесь по ссылке.

На Хабре не хватало тёмной темы. Мы помогли это исправить.

Быстрее перейти на тёмную сторону поможет технический квест от Хабра и Yandex Cloud:

Чтобы пройти наш челлендж, нужно помочь компании с загадочным названием Lux ex tenebris решить проблемы с логином, которые возникли при последнем обновлении в прод. В конце квеста вас ждёт не только тёмная тема, но и розыгрыш мерча.

Приходите решать задачи и открывать тёмную тему Хабра → https://dark.habr.io/

А здесь уже можно прочитать пост Хабра о том, как создавалась эта тема.

Мы запустили программу сертификации по облачным технологиям с учётом российских и международных стандартов — и с применением ИИ для прокторинга.

Сертификат Yandex Cloud Certified Engineer Associate подтверждает знания и навыки в шести областях: базовые облачные технологии, хранение и обработка данных, DevOps и автоматизация, бессерверные вычисления, информационная безопасность и биллинг.

Программа тестирования разрабатывалась инженерами, методологами и психометриками и прошла процедуру проверки валидности заданий. Всего в онлайн‑тесте 65 вопросов, ответы на которые проверяются автоматически. Для получения сертификата необходимо правильно ответить на 70% вопросов и более.

Для экзамена предусмотрен прокторинг с применением искусственного интеллекта. Сервис ведёт видео‑ и аудиозапись экзамена, автоматически отслеживает соблюдение правил тестирования, и фиксирует попытки списать. Затем профессиональные наблюдатели изучают записи и дают заключение, не было ли нарушений при тестировании конкретного специалиста.

Первый экзамен пройдёт 11 апреля, запись на тестирование доступна по ссылке. Стоимость прохождения сертификации составляет 7000 рублей. Для первых 250 участников предусмотрена скидка 50%, она действует до 1 июня 2024 года. Подробные рекомендации по подготовке и участию в экзамене также можно изучить на странице программы сертификации.

С чего начать управление метаданными в облаке?

Конвейеры данных — тренд, уже обросший подходами вроде Data Mesh или Data Streaming. Метаданные в них играют особую роль: повышают качество и доступность данных, например, при поиске. Но вне зависимости от подхода, в работе с метаданными важно учесть два запроса: прозрачность/демократизация данных и безопасность.

Для управления этим балансом в Yandex Cloud появился MetaData Hub — сервис для работы с метаданными. Он позволяет реализовать в облаке популярные сценарии:

• Безопасное подключение к БД. Для защиты подключения важно позаботиться о хранении секретов и настройке прав доступа.

  С этим помогает Connection Manager: пользователи могут делиться подключением к СУБД по ссылке, без необходимости вручную указывать логины и пароли. Все секреты хранятся в секретнице Yandex Lockbox. А управление доступами реализовано на основе RBAC и обеспечивает гранулярность прав.

• Гибридная инфраструктура. В сложных сценариях клиенты могут создавать подключения из облака к сторонней базе, например, on premise, — но в этом случае вопрос безопасности ложится на администратора базы. Облегчить настройку доступа к такой БД также можно через Connection Manager, создав on‑premise‑подключение.

В ближайшее время пользователям MetaData Hub будут доступны функции Schema Registry для упрощения структурирования и управления схемами данных, а также Data Catalog — для описания данных и зависимостей между ними. Сервис бесплатен и находится в стадии Preview.

Как организовать в облаке безопасное хранилище данных, запустить собственные ML-модели и системы скоростной аналитики — обсудим на Union All 

20 марта в Москве и онлайн состоится большая конференция Yandex Cloud для руководителей дата‑проектов и дата‑офисов, а также разработчиков и архитекторов баз данных.

Программа Union All будет посвящена технологиям и эффективным решениям для работы с данными: от создания корпоративных хранилищ в облаке до монетизации данных в конкретных отраслях.

Вместе с приглашёнными докладчиками мы обсудим:

• возможности работы с YandexGPT и запуск собственных ML‑моделей;

• безопасное хранение данных в облаке;

• новые возможности сервиса для визуализации данных DataLens.

Будем рады встрече уже в эту среду на площадке «Синема Парк Мосфильм» и в прямом эфире. Подробная программа и регистрация открыты на сайте Union All.

Около 26% компаний в России планируют внедрить ИИ для повышения информационной безопасности

Более половины российских компаний за 2023 год увеличили бюджеты на развитие систем информзащиты в среднем на 20% — свидетельствуют итоги опросов в рамках исследования Yandex Cloud и компании «Деловые решения и технологии». Доля ИБ‑расходов в российском бизнесе составила 15% от общего бюджета на ИТ. Среди основных статей расходов на ИБ: обновление ПО (75%), оборудования (73%) и обучение персонала (43%).

Для защиты инфраструктуры стали чаще использоваться модели машинного обучения, а для безопасной разработки — облачные технологии. При этом ИИ‑алгоритмы чаще применяют для решения двух задач: обнаружения аномалий в большом объёме данных и управления инцидентами. Искусственный интеллект при автоматизации ИБ‑процессов наиболее часто используют компании финансового сектора — это подтвердили 71% опрошенных из отрасли.

Возможность автоматизировать использование ИБ‑сервисов — один из критериев миграции на облачные платформы. 74% компаний оценивают безопасность работы с облачными провайдерами выше среднего. Одновременно с этим оценка рисков при миграции данных в облако стала базовым правилом для компаний, отмечают респонденты.

В исследовании приняли участие более 300 представителей российских компаний. Глубинные и количественные интервью прошли директора по ИТ и информационной безопасности, руководители программ цифровой трансформации, ИБ‑ и ИТ‑специалисты.

Подробности исследования — по ссылке.

Мы выпустили 6-ую версию UIKit — ключевой библиотеки дизайн‑системы Gravity UI.

Что нового:

1. Компонент List 2.0. В UIKit изначально был List, но в нём хотелось кое‑что доработать. При сборе запросов собрали список:

   • поддержка разных размеров и ширины;

   • иконка у элемента списка; разное количество и положение иконок;

   • поддержка стейтов;

   • разный контент в элементах списка (однострочный, многострочный или список пользователей);

   • поддержка разных видов разделителей и группировок.

   Это существенные изменения, поэтому мы создали List 2.0. Пока он выходит в prestable версии, но рекомендуем пользователям переходить на него и приносить фидбек.

2. RTL. Если ваши приложения/сайты должны отображаться на иврите, арабском и других языках с направлением письма справа налево, нужна поддержка RTL‑стандартов. При этом в RTL:

   • вставленное слово на латинице пишется слева направо;

   • цифры пишутся слева направо;

   • знаки препинания в арабском также пишутся слева направо и т. д.

   Во всех компонентах мы поддержали параметр RTL. Чтобы под рукой был полный пример, сделали промостраницу на арабском. Посмотреть, как реализовано, можно в исходном коде landing. Также за примерами можно заглянуть в storybook.

3. Доступность (a11y):

   • добавили в проект плагин eslint;

   • поддержали клавиатуру для clickable и closable состояния компонента Persona;

   • отключили onClick у 15 неинтерактивных компонент;

   • поддержали клавиатуру в компоненте SelectionTable.

Если есть запрос на доработку — приходите к нам в GitHub с issue или даже с PR. И используйте Gravity UI!

Какая облачная конфигурация нужна для работы 1С в связке с PostgreSQL и Microsoft SQL Server

По опыту, нередки 4 варианта:

1. Сервер 1С и managed БД на разных ВМ. Получаем отказоустойчивость и хороший уровень изоляции. Но скорость коммуникации между серверами зависит от сети, особенно, если ВМ в разных зонах доступности.

2. Сервер 1С и ВМ с БД на разных ВМ. У каждой из ВМ полный доступ к ресурсам, что даёт производительность для требовательных задач и возможности тюнинга.

3. Сервер 1С и БД на одной ВМ. Вся обработка данных — на одной машине, что устраняет задержки сети.

4. Сервер 1С и БД на одной ВМ, временные таблицы БД — на RAM‑диске. Так можно ускорить обработку данных, т.к. операции чтения/записи в RAM быстрее, чем на традиционных дисках. Это сокращает время отклика при выполнении операций на временных таблицах.

   Конфигурацию можно оптимизировать:

   • В Microsoft SQL вынести tempdb на RAM‑диск. Если допустимо, рассмотреть вынос других служебных таблиц.

   • Настроить параметры Delayed Durability, Max degree of parallelism, размер автоувеличения файлов БД, shared memory. Если важна персистентность, настроить периодический сброс данных, например, в ImDisk Virtual Disk Driver.

   • В PostgreSQL вынести временные таблицы на RAM‑диск для ускорения обработки, настроить nr_hugepages для сокращения расходов памяти.

   При оценке производительности этой конфигурации тест Гилёва показал более 42 баллов.

На вебинаре 12 марта вместе с «Первым Битом» разберём эти сценарии миграции в облако, дадим рекомендации. Подключайтесь.

Запускаем бесплатный курс по работе с Managed Service for Greenplum

Наша образовательная программа по работе с данными пополнилась курсом Managed Service for Greenplum на платформе Яндекс Практикум. Обучение рассчитано на Data-архитекторов, DevOps-инженеров, разработчиков и администраторов баз данных.

В курсе семь модулей. Вводные лекции дают общее представление о Greenplum и показывают, для каких задач он подходит. Вторая половина курса помогает решить более сложные прикладные задачи. Например, можно узнать, как проводить диагностику запросов, использовать разные опции хранения данных, загружать и выгружать данные с помощью внешних таблиц.

Курс научит:

• создавать инсталляцию Greenplum на облачной платформе и работать с ней;

• использовать особенности СУБД для эффективной работы с Managed Greenplum;

• правильно писать и оптимизировать запросы с учетом специфики Greenplum;

• разбираться в архитектуре Greenplum;

• проектировать оптимальную физическую модель данных.

О программе:

• Обучение рассчитано на 50–80 часов.

• Курс состоит из двух частей: теории с закреплением в коротких квизах и самостоятельных практических заданий. Обе части не привязаны к расписанию — можно учиться когда угодно.

• Все материалы доступны бесплатно.

Этот пост о трендах-2024 писала нейросеть (ну, почти)

Редактор блога попросил YandexGPT написать пост на Хабр с прогнозами использования облаков на 2024 год. Одновременно мы спросили архитекторов: как менялись запросы клиентов Yandex Cloud к концу 2023 года и что ждать в 2024-м.

Посмотрим, что совпало, а где модель ошиблась?

1. YaGPT: Рост спроса на решения для ИИ и ML.

   А: Бизнес возлагает надежды на генеративные модели. С декабря доступ к YandexGPT API открыт в режиме превью, и больше всего запросов на наш сайт связано с этим.

2. YaGPT: Рост популярности гибридных облаков.

   А: Есть тренд на демократизацию ML, а он влияет на работу команд с облаками. Недавно в DataSphere мы открыли использование ресурсов облака для ML из локальных IDE. Такой гибрид позволяет передавать в облако только ресурсоёмкий код.

3. YaGPT: Развитие облачных технологий для бизнеса.

   А: Уточним: компании чаще используют цепочки из облачных сервисов. Уже устойчив сценарий «сладкой парочки» БД + визуализация данных, но его чаще дополняют связкой с Object Storage и сервисом очередей.

   Востребованы потоковые сценарии аналитики, для которых хранилища наполняются из «живых» систем в реалтайме. Но для построения сложных хранилищ всё ещё нужен не один год.

4. YaGPT: Рост популярности облачных решений для ИБ.

   А: Тренд «долгий», т.к. атаки усложняются. Совершенствовать умную защиту от DDoS, фишинга и других угроз нужно всё время, понимая, что ИБ — это процесс.

В список от экспертов не вошли IoT и блокчейн в облаке, но кто знает. Что скажете?