Все потоки

Если вы когда‑либо строили пайплайны для обработки потоков данных в реальном времени со строгими требованиями, то наверняка знаете, сколько инфраструктурных заморочек в этом деле. Например, обеспечивать относительно низкие end‑to‑end‑задержки в штатном режиме относительно несложно. Но что, если они нужны и в высоких перцентилях, в том числе при сбоях или плановом обслуживании одного из используемых дата‑центров целиком? Как правильно партиционировать поток данных, обрабатывающие его процессы и их долгосрочное состояние, если нагрузка постоянно меняется? Как гарантировать exactly‑once, то есть отсутствие потерь и дублей даже при сбоях оборудования и в краевых случаях? Как понять, обработали ли мы все данные на тот или иной момент? 

С такими вопросами мы столкнулись при разработке высоконагруженных рекомендательных систем. Для этих задач мы создали YTsaurus Flow — фреймворк потоковой обработки данных с сохранением состояния между событиями и гарантиями exactly‑once по умолчанию. Это совместный проект команд Yandex Infrastructure и Яндекс Рекламы для обработки потоков данных в реальном времени. И сегодня мы открываем его исходный код под лицензией Apache® 2.0.

Flow — часть YTsaurus, платформы хранения и обработки данных, которую мы выложили на GitHub в марте 2023 года. Flow использует хранилище, очереди и общий механизм транзакций платформы, чтобы брать на себя управление состоянием и восстановление обработки после сбоев. Разработчик пайплайна при этом сосредоточивается на прикладной логике.

В статье разберём, зачем мы разработали собственный движок, как устроены его пайплайны и за счёт чего обеспечивается exactly‑once. А на примере реального сервиса покажем, как переход на Flow помог сократить задержку поставки данных для дообучения моделей с десятка‑другого часов примерно до двух.

За последние несколько десятков лет почти в каждое устройство ставили литий-ионные аккумуляторы. Высокая энергоёмкость, долговечность (в разумных пределах) и гибкость форм сделали их стандартом для большинства устройств.

Но всё чаще в новостных заголовках стали говорить про проблемы самопроизвольного возгорания смартфонов, ноутбуков и даже автомобилей, чувствительности к экстремальным погодным условиям и т. д. Инженеры стали искать другие, новейшие варианты конструкций, самым интересным из которых стало создание твердотельных аккумуляторов.

Поговорим про внутреннее устройство твердотельных аккумуляторов. В чём отличие от литий-ионных?

Нет, в статье я не буду расписывать, насколько классные твердотельные батареи, как они в один момент смогут решить все проблемы человечества и что сейчас за ними наше будущее (с чем я в принципе согласен, но не будем про это). Рассмотрим факты и практику.

Привет, я Дмитрий, MLOps-инженер в Selectel. 

Современный ландшафт AI-ускорителей изобилует всевозможными устройствами: GPU, TPU, NPU, LPU и прочими удивительными аббревиатурами. Китайские компании активно участвуют в этой колоссальной гонке, и в данном материале я расскажу, как мы тестировали AI-ускоритель от Alibaba Group.

В первую очередь мы хотели понять, что за устройство перед нами и как его можно использовать в наших стандартных сценариях для инференса — прежде всего в качестве ноды для облачного Kubernetes или как самостоятельный dedicated-сервер. Что ж, давайте разбираться.

Вот и наступила золотая осень!

В сентябре я каждый день почему-то вспоминал поговорку “от работы дохнут кони, ну а я бесмертный пони”. Сделано было просто куча всего! Новые релизы, библиотеки, крутые фичи, доклад на конференции. А еще наше сообщество сделало кучу интересных проектов в опенсорсе.

С меня как всегда статья без нейрослопа и ИИ, с вас как всегда интересные комментарии и лайки! А вот тут ссылка на прошлый дайджест за август.

Погнали смотреть, что у нас в питоне происходило!

У нас было 12 проектов и один человек, который отвечал за настройку всех email-рассылок.

Этим человеком был я. Директ-маркетолог с 7 годами опыта, но только с двумя руками и одной головой.

В какой-то день нужно было запустить одну рассылку. В другой — три или четыре. Где-то использовался старый шаблон, где-то приходил новый. Одно письмо уходило по всей активной базе, другое — только определённому сегменту.

И каждую рассылку нужно было руками собрать и проверить. Тот ли шаблон? Правильная ли база? Есть ли нужные поля для подстановок? Работают ли ссылки? На месте ли отписка? Не забыли ли UTM? Не получала ли эта аудитория похожее письмо совсем недавно?

После нажатия «Send» работа не заканчивалась: нужно было собрать статистику, перенести её в таблицу, посмотреть на конверсии, сравнить результаты с предыдущими рассылками. А через какое-то время — вернуться и обновить данные.

По отдельности ни одна из этих задач не выглядит сложной. Проблема начинается, когда проектов двенадцать, рассылки идут практически каждый день, а человек, который всё это настраивает, — один.

В какой-то момент я решил сделать себе AI-помощника. А в итоге сделал агента, которому смог перепоручить большую часть своей работы.

Привет, Хабр! Продолжаю изучение испанских барахолок. В этот раз кроме кофеварок, проводов и старых ноутбуков встретилось несколько крайне интересных вещей, о которых спешу рассказать. Тут и компьютер Sony со встроенным кассетником, и трехдисковый музыкальный центр с прозрачной крышкой, и прибор для настройки телевизионных антенн. В общем, посмотреть было на что. Обо всем этом — в новой статье. Поехали!

Хабр, привет.

Многие люди с интересом относятся к истории. Читают книги, рассматривают архитектуру городов, смотрят фильмы времени наших родителей. Мне кажется, веб достиг периода, когда мы можем с интересом поговорить о прошлом HTML и CSS.

Сегодня я пришел к вам, чтобы оглянуться немного назад и вспомнить фичи, которые когда-то были частью веба. Возможно, некоторые из них вы когда-то даже использовали.

Давайте посмотрим, что я вам подготовил.

Сценарий повторяется с завидной регулярностью. Человек ставит Git for Windows, жмет Next во всех окнах установщика (включая то, где мелким шрифтом предлагается выбрать редактор по умолчанию), через неделю делает коммит, забыв указать сообщение прямо в команде, и оказывается перед черным экраном, вдоль левого края которого сверху вниз тянется столбик тильд. Курсор мигает в пустой первой строке, ниже идут строки с решеткой в начале, а внизу висит имя какого-то служебного файла с количеством строк и байтов. Кнопок нет, меню нет, крестика в углу тоже нет, поэтому пальцы делают то, что делают в любой консоли, и набирают exit.

Я уже рассказывал на Хабре, как наша команда из “ЛАНИТ-Интеграции” автоматизировала процесс управления доступами для крупного заказчика, который имеет несколько десятков офисов по всей стране.

В этой статье я чуть подробнее опишу, как из прототипа мы стали развивать полноценную IdM-систему.

Доброе утро, Шэньчжэнь. На улице 19 градусов, плохое качество воздуха, высокая активность дронов, льет дождь и светит солнце. Все это я узнал от умной наружной камеры; мне же светят лишь холодные офисные лампы. Я мог бы торговать электроникой на рынке Хуачанбей неподалеку. Но у меня есть инженерное образование, мой воротничок белоснежен, и с сегодняшнего дня я работаю в Longteng Electronics.

Так начинается SHENZHEN I/O — головоломка, где нужно заниматься аппаратной разработкой и программированием микроконтроллеров. Выполнять разные ТЗ с помощью имеющихся компонентов и стремиться к экономии по всем возможным направлениям. У реального меня, автора этой статьи, инженерного образования нет. Я лишь окончил базовый онлайн-курс схемотехники и написал об этом три статьи. Поможет ли это здесь? Не уверен. Доедаю воображаемый баоцзы и открываю почту сотрудника.

Привет! На связи Ольга Попова, ИИ-Евангелист Лаборатории искусственного интеллекта Департамента больших данных Россельхозбанка. Сентябрь получился очень показательным. Если отбросить очередную гонку бенчмарков, вокруг ИИ одновременно происходят три гораздо более интересных процесса: модели превращаются в действующих агентов, ИИ незаметно встраивается в привычные рабочие инструменты, а компании и государства всерьёз обсуждают, кто будет контролировать эту новую цифровую рабочую силу.

Как и в прошлом выпуске, к своим размышлениям добавила комментарии коллег, которые работают с этими темами каждый день. Поехали!

Как я добавил в QUAD 3 прямой выбор входов: реверс ARM-прошивки, бинарный патч и 64 байта здравого смысла.

Если я шутя спрошу вас: «что мы любим на завтрак? Что мы любим на ужин?» — думается, что ответы будут очень разными, но, наиболее очевидным ответом наверняка будет то, что, хотя бы изредка, мы позволяем откусить себе, что утром, что вечером — маленький, ароматный кусочек килограмма на полтора душистого сыра!

Меня зовут Мурад Яндаров, с 2023 года развиваю направление Малого бизнеса в Чеченской Республике и в Республике Ингушетия: привлечение юридических лиц на обслуживание, торговый эквайринг, РКО и т.д. Но кроме того, что я начальник управления малого бизнеса в Чеченской Республике, я могу назвать себя AI-евангелистом, потому что считаю, что в современном мире просто нельзя не использовать ИИ. 

Моя работа максимально далека от ИТ и ИИ. Я не пишу код, не тестирую программы, не автоматизирую сложные цифровые процессы и тем более не продаю курсы по вайб-кодингу. Однако я глубоко убежден, что уже через несколько лет искусственный интеллект станет не просто повседневной нормой, как мобильный интернет или калькулятор, а обязательной частью жизни рабочего класса. Очень скоро без ИИ-ассистентов не смогут обойтись ни электрики, ни сантехники, ни офисные клерки, ни предприниматели. Внедрение ИИ в работу и быт станет базовым требованием для любой профессии, и тот, кто поймет это раньше, окажется на шаг впереди.

Начну моё эссе с рассказа о себе.

NGINX давно стал стандартом для базовых инфраструктурных задач: терминации HTTPS, раздачи статического контента и балансировки трафика. Однако за 2026 год веб-сервер совершил технологический рывок в своей основной ветке, который выводит его далеко за рамки классического обратного прокси.

В новых OSS-версиях появились инструменты, которые раньше требовали покупки коммерческой подписки (NGINX Plus от F5) или развертывания стороннего ПО и сложных связок с Lua. Майский релиз 1.31.0 принес нативную поддержку HTTP Forward Proxy. А сентябрьское обновление 1.31.5 окончательно закрепило этот триумф, добавив полноценный динамический Control API, модуль для нативного извлечения данных из JSON и предикатные location. Параллельно с этим произошли большие изменения в скриптовании: в июне проект njs перешагнул отметку релиза 1.0.0, полностью сменив старый кастомный движок на современный QuickJS.

Всё началось с желания сделать ролевую игру по мотивам компьютерной игры Arcanum, в мире которой одновременно сосуществуют магия и технология, причём эти две силы принципиально конфликтуют друг с другом.

В нашей игре этот конфликт должен был существовать в том числе на уровне аур. Вокруг мага действует магическая аура, способная нарушать работу механизмов. Технология, в свою очередь, мешает магии.

Но нам хотелось, чтобы это было не просто условностью, которую игроки отыгрывают на словах. Хотелось дать этому конфликту какое-то физическое проявление в реальном мире: чтобы игрок действительно мог подойти к работающему механизму — и тот перестал работать. Или чтобы маг попытался сотворить заклинание рядом с достаточно сильным источником технологии — и обнаружил, что магия ему больше не подчиняется.

То есть игровой мир должен был сам реагировать на присутствие персонажей.

«Вайбкодинг» двигается по планете буквально семимильными шагами — разработка через диалог с ИИ-агентами вроде Claude Code подается чуть ли не как новый стандарт отрасли. Набрав промпт в чате, можно без преувеличения за пару часов поднять MVP или пет-проект. Порог входа в индустрию снизился до умения более-менее внятно излагать свои мысли ИИ-агентам. 

Возможно, мы окончательно избавились от рутины, сложностей и нудной отладки? Или сами создали себе новую проблему — разрушение механизма роста инженеров? Ведь когда рабочий код создается генератором по нажатию одной кнопки, джуны перестают проходить через обязательные этапы профессионального становления. Вайбкодинг напрочь вырезает из процесса разработки то, на чем всегда строилось понимание процесса —  поиск утечек памяти, попытки уложить хотелки бизнеса в жесткие архитектурные рамки и многое-многое другое. Верно ли, что, исключив этап набивания шишек на старте карьеры, мы рискуем получить целое поколение специалистов, которые умеют ловко раздавать указания нейросетям, но понятия не имеют, как вся эта конструкция работает внутри? Заваривайте чаек-кофеек покрепче, будем разбираться.

Один COALESCE в условии способен превратить быстрый Hash Join в мучительно долгий Nested Loop. Убрать оператор COALESCE — и оценка стоимости плана упадёт в десятки раз, а запрос отработает мнгновенно. В данных при этом не меняется ничего: та же колонка, та же статистика, та же селективность, просто без COALESCE планировщик её видит, а с ним — перестаёт. Обсудим, как один COALESCE в JOIN роняет план, почему PostgreSQL теряет на нём оценку, и посмотрим на патч, который учит планировщик считать селективность COALESCE из имеющейся статистики.

Rails получает релизы, большие системы работают, но вход в профессию сузился: рынку нужны middle и senior, а мест, где ими становятся, заметно меньше. Почему ставка на агентов этот разрыв не закрывает.

Всем привет, меня зовут Александра, и в 2024 году я занималась темой валидации спутниковых данных на основе наземных измерений.

Статья посвящена главной теме — какому же источнику верить и как я вижу свою работу спустя 2 года работы DevOps.

Летом 2022 года на Алтае датчик, лежащий на земле, показал +48 °C. Спутник Aqua почти в то же время над той же точкой увидел около +33. Кто из них прав и насколько вообще можно доверять «космической» температуре, я разбиралась в дипломе в ВКИ НГУ.

Спутниковые карты температуры поверхности используют климатологи, агрономы, гидрологи и пожарные службы. Они удобны: одна картинка покрывает тысячи километров, а наземная станция видит только свою точку. Но спутник не меряет температуру напрямую. Он ловит инфракрасное излучение сквозь атмосферу с высоты 700 км, а потом алгоритм пересчитывает его в градусы. Поэтому любые такие данные нужно проверять землёй. Эта проверка называется валидацией.

В статье расскажу, как я сравнивала данные MODIS (спутники Terra и Aqua) и Landsat 8 с показаниями термодатчиков, какие получились расхождения и на какие грабли я наступила.