Во сколько обходится атака на приложение для предприятий, что хуже — дефейс сайта или отказ в обслуживании, — обсудили в новом подкасте «Безопасно говоря».

В заключительном эпизоде четвёртого сезона ведущие подкаста Алексей Миртов и Рами Мулейс поговорили о тонкостях защиты приложений с Антоном Антоничевым, ИТ-директором METRO Россия, и Владимиром Прокопенко, экспертом по технической защите R-ONE. Поделились реальными историями и опытом, который может быть интересен компаниям разного масштаба и уровня зрелости.

Несколько хайлайтов этого эпизода:

• Time to market или безопасность?

• С какого момента понятно, что пора вкладываться в безопасность, и с чего начать?

• Если ты ещё маленький, могут ли тебя атаковать?

• Сервис не поймал атаку. Вам возместят убытки?

• Способен ли ИИ помочь ИБ?

Смотрите выпуск на YouTube или слушайте на подкаст‑платформах Яндекс Музыке, Apple Podcasts, чтобы узнать ответы на эти и другие вопросы.

Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля

В четверг, 4 июля, состоится главная в России конференция по Kubernetes®.
Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.

В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.

Среди тем:

• инсайты из исследования State of DevOps;

• кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;

• обсуждение текущего состояния инструментов observability;

• опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;

• рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.

Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.

Посмотреть программу и присоединиться

ML против токсичности, чат‑бот «пИИрожок» — и ещё более 10 кейсов внедрения технологий машинного обучения на конференции ML2Business.

29 мая в 14:00 приглашаем на ML2Business — первую конференцию от Yandex Cloud, посвящённую кейсам применения GenAI, NLP, CV и других технологий ML.

Мы поговорим о сложностях внедрения моделей машинного обучения и способах интеграции ML в процессы компаний, а также об оценке реальной пользы для бизнеса. Будет интересно и полезно как ИТ‑руководителям, так и ML‑экспертам — присоединяйтесь к нам в пространстве LOFT#2 в Москве или подключайтесь онлайн.

В программе

• как YandexGPT меняет привычные процессы работы колл‑центра;

• зачем внедрять нейросети для категоризации запросов в техподдержку;

• как улучшить качество сервиса для знакомств благодаря модерации контента с помощью ML‑технологий;

• что умеют современные виртуальные рекрутёры с функцией RPA;

• как чат‑боты помогают покупателям подбирать товары на основании их предпочтений;

• как улучшить поиск информации по внутренней «википедии» с помощью ассистента на базе YandexGPT API и Yandex DataSphere;

  и ещё несколько практических примеров от компаний из разных отраслей.

Участники также могут поучаствовать в нетворкинге и тестировании ML‑сервисов в реальных бизнес‑сценариях на интерактивных площадках.

Участие бесплатное, количество мест ограничено. Регистрация открыта на сайте конференции.

infra.conf 4 июня: обсудим с разработчиками кейсы создания и эксплуатации высоконагруженных систем

Команда Yandex Infrastructure 4 июня проведёт конференцию про создание инфраструктуры и эксплуатацию высоконагруженных систем. Встретимся в Москве и в онлайн‑эфире, чтобы поговорить про платформенную разработку, базы данных и облачные технологии, тестирование и безопасность, ML‑инфраструктуру и опенсорс‑решения.

Только практика от крупных компаний: Авито, Иннотех, Альфа‑Банк, Selectel, СберМаркет и SberDevices, Postgres Pro, Лаборатория Касперского и др.

Среди уже объявленных спикеров:

• Борис Литвиненко, Yandex Infrastructure: расскажет о том, как удобно жить на железе в 2К24 базовой инфраструктуре, о пути сетевого пакета и о специфике обслуживания этой части инфраструктуры. В финале вместе сделаем своё облако с DPDK и попытками преодолеть проблемы монолитной инфраструктуры.

• Дарья Николаенко, Тинькофф: в докладе «Потребитель и железка. Где связь?» расскажет про неочевидные и хитросплетённые зависимости масштабной инфраструктуры и их влияние на выполнение и постановку рабочих задач, а также поделится опытом визуализации и систематизации инфраструктурных компонентов.

• Виктор Корейша, Ozon Tech: расскажет о проектировании собственной S3 поверх Ceph, а также о проблемах, возникших при разработке, миграции и эксплуатации на реальной нагрузке. И, конечно, покажет пути решения и поделится результатами.

Участие бесплатно, следите за обновлениями программы и регистрируйтесь по ссылке.

На Хабре не хватало тёмной темы. Мы помогли это исправить.

Быстрее перейти на тёмную сторону поможет технический квест от Хабра и Yandex Cloud:

Чтобы пройти наш челлендж, нужно помочь компании с загадочным названием Lux ex tenebris решить проблемы с логином, которые возникли при последнем обновлении в прод. В конце квеста вас ждёт не только тёмная тема, но и розыгрыш мерча.

Приходите решать задачи и открывать тёмную тему Хабра → https://dark.habr.io/

А здесь уже можно прочитать пост Хабра о том, как создавалась эта тема.

Мы запустили программу сертификации по облачным технологиям с учётом российских и международных стандартов — и с применением ИИ для прокторинга.

Сертификат Yandex Cloud Certified Engineer Associate подтверждает знания и навыки в шести областях: базовые облачные технологии, хранение и обработка данных, DevOps и автоматизация, бессерверные вычисления, информационная безопасность и биллинг.

Программа тестирования разрабатывалась инженерами, методологами и психометриками и прошла процедуру проверки валидности заданий. Всего в онлайн‑тесте 65 вопросов, ответы на которые проверяются автоматически. Для получения сертификата необходимо правильно ответить на 70% вопросов и более.

Для экзамена предусмотрен прокторинг с применением искусственного интеллекта. Сервис ведёт видео‑ и аудиозапись экзамена, автоматически отслеживает соблюдение правил тестирования, и фиксирует попытки списать. Затем профессиональные наблюдатели изучают записи и дают заключение, не было ли нарушений при тестировании конкретного специалиста.

Первый экзамен пройдёт 11 апреля, запись на тестирование доступна по ссылке. Стоимость прохождения сертификации составляет 7000 рублей. Для первых 250 участников предусмотрена скидка 50%, она действует до 1 июня 2024 года. Подробные рекомендации по подготовке и участию в экзамене также можно изучить на странице программы сертификации.

С чего начать управление метаданными в облаке?

Конвейеры данных — тренд, уже обросший подходами вроде Data Mesh или Data Streaming. Метаданные в них играют особую роль: повышают качество и доступность данных, например, при поиске. Но вне зависимости от подхода, в работе с метаданными важно учесть два запроса: прозрачность/демократизация данных и безопасность.

Для управления этим балансом в Yandex Cloud появился MetaData Hub — сервис для работы с метаданными. Он позволяет реализовать в облаке популярные сценарии:

• Безопасное подключение к БД. Для защиты подключения важно позаботиться о хранении секретов и настройке прав доступа.

  С этим помогает Connection Manager: пользователи могут делиться подключением к СУБД по ссылке, без необходимости вручную указывать логины и пароли. Все секреты хранятся в секретнице Yandex Lockbox. А управление доступами реализовано на основе RBAC и обеспечивает гранулярность прав.

• Гибридная инфраструктура. В сложных сценариях клиенты могут создавать подключения из облака к сторонней базе, например, on premise, — но в этом случае вопрос безопасности ложится на администратора базы. Облегчить настройку доступа к такой БД также можно через Connection Manager, создав on‑premise‑подключение.

В ближайшее время пользователям MetaData Hub будут доступны функции Schema Registry для упрощения структурирования и управления схемами данных, а также Data Catalog — для описания данных и зависимостей между ними. Сервис бесплатен и находится в стадии Preview.

Как организовать в облаке безопасное хранилище данных, запустить собственные ML-модели и системы скоростной аналитики — обсудим на Union All 

20 марта в Москве и онлайн состоится большая конференция Yandex Cloud для руководителей дата‑проектов и дата‑офисов, а также разработчиков и архитекторов баз данных.

Программа Union All будет посвящена технологиям и эффективным решениям для работы с данными: от создания корпоративных хранилищ в облаке до монетизации данных в конкретных отраслях.

Вместе с приглашёнными докладчиками мы обсудим:

• возможности работы с YandexGPT и запуск собственных ML‑моделей;

• безопасное хранение данных в облаке;

• новые возможности сервиса для визуализации данных DataLens.

Будем рады встрече уже в эту среду на площадке «Синема Парк Мосфильм» и в прямом эфире. Подробная программа и регистрация открыты на сайте Union All.

Около 26% компаний в России планируют внедрить ИИ для повышения информационной безопасности

Более половины российских компаний за 2023 год увеличили бюджеты на развитие систем информзащиты в среднем на 20% — свидетельствуют итоги опросов в рамках исследования Yandex Cloud и компании «Деловые решения и технологии». Доля ИБ‑расходов в российском бизнесе составила 15% от общего бюджета на ИТ. Среди основных статей расходов на ИБ: обновление ПО (75%), оборудования (73%) и обучение персонала (43%).

Для защиты инфраструктуры стали чаще использоваться модели машинного обучения, а для безопасной разработки — облачные технологии. При этом ИИ‑алгоритмы чаще применяют для решения двух задач: обнаружения аномалий в большом объёме данных и управления инцидентами. Искусственный интеллект при автоматизации ИБ‑процессов наиболее часто используют компании финансового сектора — это подтвердили 71% опрошенных из отрасли.

Возможность автоматизировать использование ИБ‑сервисов — один из критериев миграции на облачные платформы. 74% компаний оценивают безопасность работы с облачными провайдерами выше среднего. Одновременно с этим оценка рисков при миграции данных в облако стала базовым правилом для компаний, отмечают респонденты.

В исследовании приняли участие более 300 представителей российских компаний. Глубинные и количественные интервью прошли директора по ИТ и информационной безопасности, руководители программ цифровой трансформации, ИБ‑ и ИТ‑специалисты.

Подробности исследования — по ссылке.

Какая облачная конфигурация нужна для работы 1С в связке с PostgreSQL и Microsoft SQL Server

По опыту, нередки 4 варианта:

1. Сервер 1С и managed БД на разных ВМ. Получаем отказоустойчивость и хороший уровень изоляции. Но скорость коммуникации между серверами зависит от сети, особенно, если ВМ в разных зонах доступности.

2. Сервер 1С и ВМ с БД на разных ВМ. У каждой из ВМ полный доступ к ресурсам, что даёт производительность для требовательных задач и возможности тюнинга.

3. Сервер 1С и БД на одной ВМ. Вся обработка данных — на одной машине, что устраняет задержки сети.

4. Сервер 1С и БД на одной ВМ, временные таблицы БД — на RAM‑диске. Так можно ускорить обработку данных, т.к. операции чтения/записи в RAM быстрее, чем на традиционных дисках. Это сокращает время отклика при выполнении операций на временных таблицах.

   Конфигурацию можно оптимизировать:

   • В Microsoft SQL вынести tempdb на RAM‑диск. Если допустимо, рассмотреть вынос других служебных таблиц.

   • Настроить параметры Delayed Durability, Max degree of parallelism, размер автоувеличения файлов БД, shared memory. Если важна персистентность, настроить периодический сброс данных, например, в ImDisk Virtual Disk Driver.

   • В PostgreSQL вынести временные таблицы на RAM‑диск для ускорения обработки, настроить nr_hugepages для сокращения расходов памяти.

   При оценке производительности этой конфигурации тест Гилёва показал более 42 баллов.

На вебинаре 12 марта вместе с «Первым Битом» разберём эти сценарии миграции в облако, дадим рекомендации. Подключайтесь.

Запускаем бесплатный курс по работе с Managed Service for Greenplum

Наша образовательная программа по работе с данными пополнилась курсом Managed Service for Greenplum на платформе Яндекс Практикум. Обучение рассчитано на Data-архитекторов, DevOps-инженеров, разработчиков и администраторов баз данных.

В курсе семь модулей. Вводные лекции дают общее представление о Greenplum и показывают, для каких задач он подходит. Вторая половина курса помогает решить более сложные прикладные задачи. Например, можно узнать, как проводить диагностику запросов, использовать разные опции хранения данных, загружать и выгружать данные с помощью внешних таблиц.

Курс научит:

• создавать инсталляцию Greenplum на облачной платформе и работать с ней;

• использовать особенности СУБД для эффективной работы с Managed Greenplum;

• правильно писать и оптимизировать запросы с учетом специфики Greenplum;

• разбираться в архитектуре Greenplum;

• проектировать оптимальную физическую модель данных.

О программе:

• Обучение рассчитано на 50–80 часов.

• Курс состоит из двух частей: теории с закреплением в коротких квизах и самостоятельных практических заданий. Обе части не привязаны к расписанию — можно учиться когда угодно.

• Все материалы доступны бесплатно.

Этот пост о трендах-2024 писала нейросеть (ну, почти)

Редактор блога попросил YandexGPT написать пост на Хабр с прогнозами использования облаков на 2024 год. Одновременно мы спросили архитекторов: как менялись запросы клиентов Yandex Cloud к концу 2023 года и что ждать в 2024-м.

Посмотрим, что совпало, а где модель ошиблась?

1. YaGPT: Рост спроса на решения для ИИ и ML.

   А: Бизнес возлагает надежды на генеративные модели. С декабря доступ к YandexGPT API открыт в режиме превью, и больше всего запросов на наш сайт связано с этим.

2. YaGPT: Рост популярности гибридных облаков.

   А: Есть тренд на демократизацию ML, а он влияет на работу команд с облаками. Недавно в DataSphere мы открыли использование ресурсов облака для ML из локальных IDE. Такой гибрид позволяет передавать в облако только ресурсоёмкий код.

3. YaGPT: Развитие облачных технологий для бизнеса.

   А: Уточним: компании чаще используют цепочки из облачных сервисов. Уже устойчив сценарий «сладкой парочки» БД + визуализация данных, но его чаще дополняют связкой с Object Storage и сервисом очередей.

   Востребованы потоковые сценарии аналитики, для которых хранилища наполняются из «живых» систем в реалтайме. Но для построения сложных хранилищ всё ещё нужен не один год.

4. YaGPT: Рост популярности облачных решений для ИБ.

   А: Тренд «долгий», т.к. атаки усложняются. Совершенствовать умную защиту от DDoS, фишинга и других угроз нужно всё время, понимая, что ИБ — это процесс.

В список от экспертов не вошли IoT и блокчейн в облаке, но кто знает. Что скажете?