Разработка

Весной этого года NVIDIA открыла исходный код KAI Scheduler — Kubernetes-нативного планировщика GPU-нагрузок, который раньше входил в состав платформы Run:ai и теперь распространяется под лицензией Apache 2.0. Интерес к этому проекту закономерен: планировщик давно работает в продакшене и решает ряд проблем, с которыми сталкивается любая команда, пытающаяся эффективно распределять GPU-ресурсы в кластере.

Мы в Orion soft изучили технические детали KAI Scheduler, чтобы понять, как он устроен изнутри, какие задачи закрывает и какие идеи могут быть полезны инженерам, работающим с Kubernetes, ML-нагрузками и распределёнными GPU-оркестраторами. Ниже — разбор архитектуры, базовых сущностей и цикла планирования.Преимущества KAI Scheduler

Управление AI-нагрузками на GPU и CPU сталкивается с рядом задач, которые традиционные планировщики ресурсов не всегда способны решать. KAI Scheduler был разработан специально для того, чтобы закрыть эти проблемы:

Недавно по работе мне попался огромный аудиофайл с несколькими часами интервью. И сразу стало понятно: расшифровывать это вручную всё равно что пытаться проглотить слона целиком. Сначала я почти готов был вооружиться кофеином и терпением, но потом меня осенило - а что если доверить это нейросетям?

И действительно, современные ИИ-технологии умеют превращать речь в текст. В этой статье мы разберём, как такие системы работают, какие есть популярные модели и сервисы, и почему современная транскрибация с помощью нейросетей может быть не только быстрой, но и слегка увлекательной.

Приятного чтения!

Недавно у меня возникла задача по разбиению мульти-терабайтной таблицы на равные диапазоны по числовому полю id. Причём данные распределены по id крайне неравномерно, где-то есть большие "лакуны", где-то непоследовательная генерация и т.д., и т.п. Конечно, можно применить честное решение в лоб — использовать функцию NTILE, но я довольно быстро осознал, что это приведёт к многочасовому запросу с большой вероятностью упасть из-за недостатка TEMP. Но, к счастью, зачастую в таких задачах, как и в моём случае, идеальное разделение на диапазоны не требуется, достаточно более-менее приличного.

Я решил провернуть небольшой трюк для получения приблизительного разделения. Давайте посмотрим, что у меня получилось на модельном примере.

Близятся Новый год и Рождество, а значит, ёлки и всё связанное с ними: гирлянды, украшения и, разумеется, игрушки. Праздник слишком уж весёлый, и я решил, что ему не хватает мрачной игры, поэтому напечатал маленькую ёлочную игрушку в виде модели IBM PC, засунул в неё самый маленький ЖК-дисплей, который смог найти, добавил туда процессор и логику, а также аккумулятор. Это устройство может висеть на ёлке и показывать демонстрационный режим Doom со звуком и музыкой. Но и это ещё не всё: если подключить ней любую BLE-клавиатуру или джойстик, то можно будет самому убивать миллиметровых зомби, какодемонов и импов.

С точки зрения гейм-дизайнера, ни один из номинантов TGA не дотягивает до системной гениальности этой инди-игры. И это детальный разбор моего неофициального победителя.

Этой статьёй я открываю новый цикл «Проект для Исполнителя». Цикл этот я готовил давно, записывал наброски. Но когда захотел выбрать пять правил для первой статьи, то неожиданно увидел, что их у Исполнителя много, и все они важные и правильные. Пришлось некоторые объединить, менее важные — оставить на потом. Остались универсальные, годные не только для команды Исполнителя, но и для всего проекта.

Конечно же, всё в нашем мире относительно: серьёзное нарушение второстепенного правила с отважным применением разных навыков даст граблям куда больше работы, чем незначительное нарушение самого важного правила. Поэтому спорьте в комментариях и предлагайте свои варианты.

А я сажаю рядом Оппонента и даю ему возможность пару раз оспорить каждое правило.

В данной статье расскажу про связь конструкции электро-механической измерительной головки и механического компенсационного акселерометра.

Скрипты и модель для данной статьи можно посмотреть на сайте engee (https://engee.com/community/ru/catalogs/projects/model-mekhanicheskogo-akselerometra)

С первого взгляда данные датчики совсем не похожи, как и измеряемые ими величины. Но при этом амперметр конвертирует силу тока в движение стрелки, а акселерометр преобразует ускорение при линейном движении в ток. Если в измерительной головке утяжелить стрелку (для увеличения момента инерции относительно оси вращения) то при линейном ускорении с контактов амперметра можно снимать ток который будет пропорционален линейному ускорению которому подверглась измерительная головка.

В архитектуре потоковой обработки данных Kafka, как высокопроизводительная очередь сообщений, обычно используется для агрегации данных, а StarRocks, как высокопроизводительная аналитическая СУБД, отвечает за хранение и анализ. С помощью Routine Load можно стабильно и эффективно загружать в StarRocks данные в форматах JSON и CSV из Kafka.

Что, если я скажу вам, что можно писать код на свежайшем C++23 с модулями, лямбдами и constexpr, а потом запустить его на Pentium с 16 МБ ОЗУ под Windows 95? Звучит как магия или безумие, но это работает.

В этой статье я покажу, как:

Настроить компиляцию в Visual Studio 2022 под 32-битный x86 без исключений и стандартной библиотеки. Создать минимальную реализацию std::string и аллокаторов для работы на чистом WinAPI. Собрать проект линкером 1998 года и запустить его на Windows 95. Сохранить единый код для современных и ретро-систем, используя возможности C++23.

Привет, Хабр! Недавно мы рассказывали, что запустили подкаст «Под защитой», в рамках которого разбираем разные аспекты, связанные с информационной безопасностью. Знаем, что кому-то проще слушать подкасты дома или в пути, а кому-то — комфортнее читать текст. Такт что подготовили для вас ещё и версию одного из выпусков в формате статьи.

Поговорили о том, какую роль в защите данных играют инновации — что вообще стоит за этим понятием и чем оно отличается от «улучшений», какие барьеры мешают технологическому развитию, и почему главными драйверами перемен становятся именно технологические компании.

Меня зовут Сергей Рябов, я руководитель научно-исследовательской разработки ГК InfoWatch, и вот что мы обсуждали на подкасте.

Термины и понятия

Давайте сразу определимся с ключевыми понятиями, которые мы будем использовать. Например, «информационная безопасность». Я смотрю на него с точки зрения наших продуктов — они защищают клиентов от утечек данных, как непреднамеренных, так и преднамеренных. Куда чаще данные утекают по вине людей, нежели из-за использования вредоносного софта. 

Поэтому лично для меня информационная безопасность — это возможность сделать так, чтобы информация, которая не должна покидать периметр компании, в нём и оставалась. И на самом-то деле это не такая уж и простая задача, потому что такой информации очень много и она очень разная — растут и сами компании, и потоки создаваемой ими информации. Вместе с этим в компаниях часто меняются бизнес-процессы, которые люди не всегда соблюдают. 

Эти и подобные им факторы нужно учитывать и отслеживать. И тут есть нюанс.

Итак, вы назначили на сервер оба IP-адреса, корректно прописали настройки сети, но работает только один канал связи. Запросы уходят через один интернет-канал, хотя активны оба. 

Дело в том, что в Linux-системах может быть только один маршрут по умолчанию (default gateway). Если у сервера несколько внешних интерфейсов с разными подсетями, то ответы на запросы, пришедшие через второй интерфейс, сервер попытается отправить через основной шлюз таблицы маршрутов. Это приведет к асимметричной маршрутизации и отбрасыванию пакетов. 

Привет, Хабр! Меня зовут Саломея Яковлева, я специалист продуктовой поддержки в Selectel. В этой статье мы разберемся, как избежать такой проблемы с помощью механизма policy-based routing (PBR) на базе iproute2: создадим отдельные таблицы маршрутов и правила, направляющие трафик через правильный шлюз. 

Привет, Хабр! Меня зовут Александр, я лидер команды DevSup (это как DevOps, только с функцией поддержки больших клиентов которым Saas не подходит) в IT-компании ПравоТех.  Мы создаем IT-решения для автоматизации юридической функции. 

Будучи разработчиком таких систем, мы понимаем, что наши клиенты предъявляют высокие требования к информационной безопасности. Поэтому мы развиваем культуру безопасности не только среди разработчиков, но у всех сотрудников: злоумышленники часто бьют по «нетехническим» ролям.

Чтобы эффективнее донести до коллег суть современных киберугроз, вместе с командой Tutors мы выбрали формат коротких художественных историй. Они основаны на привычных каждому рабочих ситуациях, которые могут обернуться серьёзными инцидентами. Эти истории легли в основу нашего курса по информационной безопасности.

Сегодня публикуем третью историю из серии — «Случай на корпоративе». О том, как просто вытянуть ценные сведения в неформальной, доверительной обстановке. Социальная инженерия в самом примитивном формате :-)
Статья с первой историей — тут.
Статья со второй историей — тут.

Примечание ПравоТех: Цель этих историй — обучение и повышение осведомленности через анализ реальных тактик мошенников. Любые совпадения с реальными людьми или компаниями случайны.

Пролог: Приглашение в тень
Дата: 10 декабря 2024 г.
Время: 19:00

Уже третий час подряд она смотрела на фотографии молодых людей и девушек в LinkedIn. Всех объединяло место работы — СмартСофт. Её взгляд замер на фото Макса Терновского. Лучший sales 2023 в СмартСофт.

Всем привет!

В эфире «Кибердуршлаг», наша постоянная рубрика, в которой мы на примере собственных продуктов и решений рассказываем, как можно защитить ваши информационные системы и не дать им превратиться в решето уязвимостей, атакуемое хакерами разной степени продвинутости.

В этой статье наши эксперты — Паша Попов, руководитель направления инфраструктурной безопасности, и Ярослав Бабин, директор по продуктам для симуляции атак, — разбираются, что такое контролируемый автоматический пентест, как он интегрируется с процессом управления уязвимостями и как в нем применяется ИИ.

Тренды в ИТ — это не про красивые слова и не про вечные «угрозы» о том, что нас вот-вот заменит ИИ и пора срочно выбирать другую профессию.

Тренды — это про то, как изменится работа с архитектурой и безопасностью в ближайшие годы, как трансформируются подходы к разработке и само мышление инженеров.тМы попросили экспертов ГК «Юзтех» поделиться своим взглядом на ИТ-тренды 2026 года.

3… 2… 1 — поехали. Ждём горячее обсуждение в комментариях.

Всем привет!

Хочу рассказать об очередном своем пет-проекте, который может быть кому-то тоже полезен. А еще поделиться хорошим предновогодним настроением. Поэтому рассказывать буду в слегка позитивном и шуточном стиле :-)

Итак, перед вами — нейроучитель! Хех... Сразу говорю — к нейросетям он не имеет отношения (или опосредованное). Да и не учитель, собственно. Это моя собственная методика интервальных повторений, то есть зубрежки, увеличения словарного состава... Но обо всем по порядку — в статье я расскажу, почему это все же «нейро», зачем и каким образом.

В начале 2010-х в профессиональном сообществе разработчиков и архитекторов распределенных систем широко обсуждалась идея, что мир баз данных вступает в новую эру. На фоне успехов крупных интернет-сервисов термин BASE начал использоваться как противопоставление классическому ACID. Хайп вокруг NoSQL, CAP-теоремы и масштабируемых систем породил лозунги вроде «SQL умер», «ACID — для банков, а мы делаем веб», «eventual consistency — это нормально».

Однако спустя полтора десятилетия крупные облачные и корпоративные платформы по-прежнему говорят языком транзакций, изолированных операций и строгой согласованности. 

Что же произошло? Была ли «битва ACID и BASE» реальным технологическим разломом или лишь отражала ограничения своего времени? 

В этой статье мы разберём, как возникли ACID и BASE, почему BASE быстро стал популярен и что на самом деле означает тезис «победил ACID» в 2020-е годы.

Почему хакинг — это не про инструменты, а про мышление и понимание систем. Разбор того, как утилиты создают иллюзию знаний, почему лаборатории и курсы искажают реальность и что на самом деле стоит за успешными атаками в живых системах.

В 2025-м году язык Ü продолжил своё развитие. Сам язык был заметно улучшен, был исправлен ряд ошибок, существенно прибавила в объёме его стандартная библиотека а также инфраструктура языка заметно обогатилась. В данной статье я хотел бы рассказать, что было сделано и что изменилось.

В крупных проектах управлять качеством вручную — весьма нетривиальная задача: объем требований и фичей, уточнений и доработок, баков и фиксов растет нелинейно, а риски — экспоненциально. В таких условиях необходимо структурировать процесс обеспечения качества (QA), чтобы предотвратить эффект «снежного кома», который может «завалить» тестировщиков — сначала фрустрацией от рутины, а потом недовольством заказчика.

Amplicode 2025.3 — релиз про новые фичи для Spring Data JDBC, улучшения для HTTP-клиента Connekt (между прочим, убийца Postman), поддержку MyBatis и новые возможности по работе с инфраструктурой вокруг Kubernetes и Terraform.

Ниже — ключевые изменения по блокам.