CassandraDB – она же просто Кассандра – хорошо зарекомендовала себя в нише высокопроизводительных NoSQL баз данных. Но, вот, её активно стала вытеснять ещё более быстрая, надежная и легко масштабируемая ScyllaDB - этакая Кассандра++. Как тут удержаться и не проверить, так ли прекрасна эта зверушка, как про неё говорят её создатели? Тем более вендоры других популярных баз данных того и гляди закроют поддержку для российских пользователей. Нужно иметь под рукой пару-тройку запасных вариантов. Сегодня мы рассмотрим, как одноглазый монстрик приживается в диких условиях кровавого энтерпрайза, и насколько целесообразно его использовать.

Об этом расскажет Илья Орлов, техлид компании STM Labs. Вместе с командой он разрабатывает высоконагруженные решения для всевозможных задач: бизнес-порталов с использованием собственной платформы, мониторинга фискальных данных и прочее. Они любят экспериментировать с разными БД, поэтому статья будет об использовании ScyllaDB на промышленных мощностях.

За последние несколько лет машинное обучение сильно изменилось. В обиход вошли так называемые Fundation model. Вы обучаете одну огромную общую модель, которая умеет делать почти всё одинаково. Это как вырастить огромное дерево. Однако для небольшой такой модели из 3 млрд параметров вам потребуется 400 GPU и обучение в течение 5 дней.  Поэтому необходимо переходить на Machine Learning-кластера.

Дальнейшее повествование пойдет от имени Дмитрия Монахова, он занимался разработкой ядра Linux в Яндексе. Мне посчастливилось стать участником революции в Machine Learning, которая произошла за последние несколько лет.  А именно модели выросли до такого размера, что они уже не влезают ни в один сервер, ни в несколько серверов, ни даже в одну стойку. Стали строить что-то огромное, но вдруг вспомнили, что был какой-то чудак, который имел опыт работы с распределёнными файловыми системами, а машинное обучение — это и есть использование распределённых алгоритмов.

Можно ли построить удобный для всех pipeline, приложив усилия один раз, а не 100? Об этом расскажет Виктория Вольферц. Она работает в БКС DevOps-инженером в управлении микросервисной архитектуры. БКС предоставляет брокерские и банковские услуги для клиентов. Их основные продукты — это мобильное приложение БКС Мир Инвестиций и веб-кабинет для клиентов.

Виктория поделится опытом своей компании, как им удалось решить проблему больших временных затрат на релиз-менеджмент и Time to Market с помощью подключения проектов к CI/CD. Она расскажет о том, как они автоматизировали процессы и закрыли слабые места.

Представьте, что есть проект, где 200 разработчиков, 20+ независимых продуктовых команд и у каждой свой собственный DevOps. Они всё автоматизируют — все довольны и занимаются исключительно своей работой. Разработчики даже успевают красить зелёные кнопочки в красный цвет. У DevOps современные инструменты и они помогают автоматизировать релизы. У каждого product owner независимая команда, он никем не блокируется, планирует свой бэклог, быстро двигается и развивается. А “эффективный менеджер” больше не сомневается стоит ли разрешать разработчикам самим катить в продакшен. Представили? Тогда прикинем, что может случиться с ними через год.

Обо всем этом и об интересном подходе к разработке в Ситилинке расскажет Константин Осипов — руководитель DevOps, QA и 140+ backend/fronted-разработчиков. Он познакомит нас с проблемами, которые стояли перед командой разработки и с тем, как они их решили. Поделиться своими мыслями, как не надо делать и объяснит как перестать быть эникейщиком. А главное, как со своими задачами в разработке справляются в Ситилинке.

Кирилл Алексеев работает в VK, руководит несколькими командами разработки бэкенда в Почте Mail.ru. Далее, рассказ будет от его имени. Он расскажет, как они в RuStore сделали свои пуш-уведомления, а конкретно транспорт на замену Google Firebase для Android, чтобы посылать пуш-уведомления в обход инфраструктуры Google. Сделает обзор публичной части сервиса, погрузит в детали архитектуры бэкенда сервиса пушей. Пояснит, как устроены их мобильные SDK, как они интегрировали пуши RuStore в Почту Mail.ru и почему не лягут надолго. Покажет, что у них получилось и как этим можно пользоваться.

Меня зовут Вадим Опольский и я работаю data-инженером и участвую в проведении онлайн-тренингов. В статье есть ссылки на воркшопы, чтобы повторить практические вещи из Apache Flink, о которых я расскажу. А обсудим мы следующие проблемы:

➜ Неравномерный поток данных;

➜ Потери данных при передаче их из Kafka в storage;

➜ Масштабирование и скейлинг;

➜ Backpressure;

➜ Мелкие файлы на HDFS;

➜ Стриминговый процессинг.

До событий прошлого года одной из основных платформ управления контейнерами была Red Hat OpenShift Container Platfrom. Ей пользовались компании сегмента Enterprise с высокими требованиями к функциональности и стабильности продукта, а также к уровню поддержки решения. Теперь продажи Red Hat, как и других западных решений, невозможны. Поэтому встает вопрос о выборе альтернатив.

Меня зовут Юрий Семенюков, я директор центра проектирования вычислительных комплексов «Инфосистемы Джет». С 2018 года занимаюсь развитием направления DevOps в части инфраструктуры под контейнерное окружение, руковожу проектными командами по внедрению платформ контейнеризации в Enterprise на разных дистрибутивах. В этом посте я расскажу, как крупные компании справляются с уходом западных коммерческих дистрибутивов Kubernetes.

В основной массе онлайн-видео — это индустрия развлечений. И сегодня она переходит от централизации к децентрализации. Это общий тренд, который существует в мире: вся индустрия от старых Гостелерадио переходит к Ютубу.

Подробнее об этом расскажет Максим Лапшин из ООО «Эрливидео». Он уже 13 лет занимается видео и поделится историей его онлайн-развития. Это важно понимать, тем, кто так или иначе пересекается с видео, работает с ним. Какие есть тенденции, куда оно ушло, что умрёт, а что будет развиваться.

Привет, меня зовут Лев Хакимов, я — DevOps-инженер. Одно время работал над проектом Госуслуг, а сейчас в брокерской платформе в Сбере. Уже больше двух лет играю в CTF команде ONO, которая даже как-то вошла в ТОП-10 по России, а ещё я — один из организаторов VrnCTF, Воронежского CTF для школьников и студентов.

Все мы любим Kubernetes, хакать и котиков. В этой статье будет это всё, в том числе котики.

«Мины» в исходном коде — это не только уязвимости, но и прочие дефекты безопасности, которые так или иначе ухудшают качество софта. Какими путями «минируется» ваш код и какие типы «мин» наиболее актуальные? Поговорим об этом в контексте веб-программирования и PHP.

О «минах» в коде расскажет Илья Поляков, руководитель отдела анализа кода Angara Security. Илья поделится какими инструментами разминировать код и какие уязвимости и дефекты безопасности можно найти максимально быстро и дешево.

Если вам доводилось быть в славном городе Мадриде, что на Испанщине, наверняка в галерее Прада вы видели картину Босха «Сад земных наслаждений», которая демонстрирует типичный рабочий день системного архитектора. Но на самом деле на первый день после продакшена больше похоже...

В каких юнитах можно померить DDOS атаку? Биты в секунду, запросы, пакеты, время даунтайма, количество машинок в ботнете — все эти ответы верные. Потому что DDoS-атаки бывают разных категорий и для каждой есть свои ключевые метрики. Их рост и является движущей силой для эволюции DDoS атак. Посмотрим, как это происходит.

Поможет нам в этом Георгий Тарасов, владелец продукта Bot Protection в Qrator Labs. Ранее он занимался разработкой, проектным менеджментом и pre-sales. Вместе с ним мы полетим в 1994 год и обратно, в настоящее время. Посмотрим, как развивались распределённые атаки на отказ в обслуживании за эти годы, к чему они пришли сейчас, и на что есть смысл обратить внимание.

Привет, Хабр! Меня зовут Артём Ерошенко, я — сооснователь Qameta Software. Больше 14 лет занимаюсь тестированием и автоматизацией. Работал в Яндексе, когда учился в университете, и писал первые автотесты, сделал опенсорсный проект Allure-фреймворк, способствовал появлению Яндекс QA Tools. Сейчас обучаю других людей как автоматизировать тестирование и помогаю компаниям выстраивать процессы автоматизации тестирования и процессы разработки.

В этой статье мы разберёмся как развивалось тестирование: что было раньше, к чему пришло сейчас и каким будет дальше.

Писать нативные тесты под iOS — это не очень простая задача. Но если вы всё-таки написали эти тесты, то оказывается, что их нужно ещё и запускать. Тут тоже непросто. Сегодня про это и поговорим.

Поможет нам в этом Тимофей Солонин. Он поддерживает IOS-инфраструктуру в Авито. Сегодня расскажет про технологию Emcee. С её помощью можно параллельно запускать нативные IOS-тесты на большой ферме Apple-железа.

У самурая, как и у файла, нет цели, только путь. У этой статьи тоже, как оказалось, нет цели, только путь. На примере нескольких сугубо типичных, но эпичных фэйлов рассмотрим разные «не то» в проектах. В частности, как они выглядят, чем вызваны и что с ними делать.

Поможет нам в этом Даниил Подольский из NDA. Он начал свою карьеру в IT 30 лет назад в ЦНИИ РТК и провёл в эксплуатации 20 лет. Последние 15 из них рисует архитектуру и пишет код. Это его история про инженера-самурая, который много раз хотел и должен был совершить харакири. Но всё-таки выжил, чтобы поделиться разного рода фэйлами, которые он встретил на своём пути и рассказать, как их преодолеть.

На последнем Международном экономическом форуме в Давосе эксперты представили рейтинг глобальных рисков, которые будут актуальны в ближайшие годы — в топ-10 попали киберугрозы. Это связано с тем, что индустрия разработки растет, сегодня она составляет уже сотни миллиардов долларов, а проблемы безопасности, которые зачастую находятся в коде, прикладе или артефактах, решаются медленно или вовсе игнорируются.  

В крупных организациях соотношение разработчиков к безопасникам, именно к Application Security, катастрофическое — 100:1. При таком раскладе трудно ожидать от малочисленной команды AppSec-специалистов, что она покроет проверками весь код, который создают разработчики, выловит все уязвимости и обеспечит программным продуктам надежную защиту от существующих киберугроз. Сегодня поговорим о безопасности с Андреем Ивановым, директором по развитию бизнеса компании Swordfish Security, которая занимается построением процессов разработки безопасного ПО.

Эта статья будет полезна специалистам по безопасности и DevSecOps, платформенным командам и DevOps, и вообще всем, кто сталкивался или может столкнуться с более, чем одним кластером Kubernetes в продакшене.
За основу взято выступление Алексея Миртова на HighLoad++ Foundation 2022. Он является экспертом и архитектором по безопасности внутри Yandex Cloud. Занимается облачными технологиями больше 10 лет, обладает экспертизой по безопасности в сетях и контейнерах. Построил цикл безопасной разработки в команде 400+ разработчиков для IT-системы на базе Kubernetes в облаке, спроектировал и реализовал Security Operation Center в Казахстане. Доклад готовил вместе с Нареком Татевосяном, экспертом и адвокатом по Kubernetes в Яндексе и соведущим YouTube канала Yandex Cloud.

Над менеджментом секретов нужно задумываться с самого начала работы над проектом. Кто-то может со мной не согласиться, ведь на стадии разработки возникает куча первостепенных задач, и проблема хранения секретов уходит на второй план. Попытаюсь развеять ваши сомнения на примере собственного опыта.

Меня зовут Сергей Киммель, я PHP Developer, Golang Developer и руководитель отдела разработки торгового движка. Сегодня поделюсь опытом своей команды в работе с секретами. Расскажу о проблемах, с которыми мы столкнулись, и об их решении. Дам варианты организации работы с секретами и покажу пример организации Golang-кода.

Пастух весь день зависает в смартфоне, при этом его стадо коров остаётся под присмотром. Оператор на нефтяном месторождении прогнозирует поломку сложного агрегата и заранее сообщает о проблеме, чтобы вовремя её решить. Казалось бы, что может быть общего у этих несвязанных вещей… Ответ прост. Им облегчает работу IoT. Предлагаю вам небольшую экскурсию, где мы с вами погуляем вдоль вольеров зоопарка устройств, подивимся его разным «живностям» и окунёмся в Industrial Internet of Things – промышленный интернет вещей.

Я — Владимир Плизга, занимаюсь разработкой backend IoT-платформы AggreGate. Область интернета вещей (IoT, Internet of Things) открывает много интересных и необычных кейсов применения. Сегодня я поделюсь некоторыми из них и помогу вам систематизировать знания в этой сфере.

Через 2 дня начнется главное событие для разработчиков высоконагруженных систем. 22 и 23 сентября мы снова будем делиться опытом построения веб-сервисов для решения задач сотен тысяч пользователей по всему миру. Если у вас не получилось попасть в Санкт-Петербург на DESIGN DISTRICT DAA in SPB, подключайтесь к открытой трансляции Главного зала конференции.

Не забывайте про расписание докладов. 22 сентября трансляция докладов продлится с 10:00 до 19:00 часов. А на второй день 23 сентября с 10:30 до 19:00 часов. Теперь давайте подробнее познакомимся с докладчиками открытой трансляции.