Обновить
128K+

Системное программирование *

Обеспечение работы прикладного ПО

179,03
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности
Формат публикации

Управление памятью в контейнерах STL. Ускоряем код с помощью кастомных аллокаторов

Уровень сложностиСредний
Время чтения16 мин
Охват и читатели10K

В предыдущей статье мы подробно разобрали, как устроена архитектура работы с памятью в STL. Мы увидели, как стандартная библиотека разделяет выделение сырой памяти и конструирование объектов. Однако стандартный std::allocator универсален, а за универсальность приходится платить скоростью. Когда узловой контейнер (например, std::list или std::map) добавляет элемент, он обращается к динамической памяти. В высоконагруженных системах или игровых движках это может стать узким местом. В этой статье мы рассмотрим проектирование кастомных аллокаторов, которые могут дать серьезный прирост производительности для таких контейнеров. Обсудим проблемы, возникающие при использовании пользовательских аллокаторов в STL и замерим прирост скорости с помощью бенчмарков.

Читать далее

GPU-ассемблер NVIDIA против AMD: архитектура и философия

Уровень сложностиСредний
Время чтения22 мин
Охват и читатели97K

AMD и Nvidia по-разному делят работу между программистом, компилятором и кремнием. У них совершенно разный подход к GPU-ассемблеру. Разберём, откуда взялись эти разные философии и какие идеи компании подсмотрели друг у друга.

Читать далее

Зачем мы начали писать Guseva OS — российскую операционную систему с нуля

Уровень сложностиПростой
Время чтения3 мин
Охват и читатели7K

Мы разрабатываем Guseva OS — российскую операционную систему с собственным ядром и системным языком GSL. В первой статье рассказываем, зачем взялись за проект, как хотим устроить изоляцию служб и драйверов, что уже проверили в QEMU и что должно войти в первую демонстрационную сборку.

Читать далее

Запустил 231 программу из Slackware 1995 года на Linux 7.0: стартуют 227, а ls в Docker не видит файлов

Время чтения6 мин
Охват и читатели7K

Slackware 3.0 вышел в 1995 году. Я взял 231 исполняемый файл из его базовых пакетов и запустил каждый на ядре Linux 7.0, из которого уже убрали формат a.out и системный вызов uselib, якобы нужный программам на libc5. 227 программ в формате ELF дошли до собственного кода, в общем проходе с --version ни один системный вызов не вернул ENOSYS, а uselib загрузчик 1995 года не вызывает вовсе. Не запустились четыре файла a.out, тогда как в базовых сериях предыдущего Slackware 2.3 в этом формате все 269 исполняемых файлов. Сломалось другое: в Docker ls, find и tar молча возвращают пустой результат с кодом 0, а trap в bash не работает. Отказы выдаёт профиль seccomp по умолчанию, который запрещает старые вызовы readdir и sigaction.

Читать далее

Межсетевой экран грузил только FortiOS. Я написал ему свою прошивку и поднял Linux

Время чтения10 мин
Охват и читатели9K

FortiGate 60 начала 2000-х внутри почти обычный ПК: процессор VIA C3 на 400 МГц, чипсет VIA, 128 МБ распаянной памяти, IDE и слот CF. Но штатная прошивка закрыта и грузит с CF-карты только образы FortiOS. Разбирать штатные образы с высокой энтропией (сжатые, зашифрованные или и то и другое) автор не стал и написал собственный загрузчик, частично на отреверсенном чужом коде. Настройку памяти он взял реверсом штатного ПЗУ, после того как со старым кодом LinuxBIOS/Coreboot правильно настроить её не вышло. Дальше по дням: опрос IDE, разбор MBR и чтение ext2, загрузка ядра Linux 2.4, прерывания для UART, без которых ядро опрашивает порт и всё ползёт, и сетевой контроллер, который ожил только после включения линии PCI IRQ B. Выяснилось, что штатное ПЗУ настраивало прерывания лишь в общем виде, а остальное, судя по всему, донастраивал сам образ ОС. Вывод на разъём VGA заработал на коде инициализации, извлечённом из option ROM чужой материнской платы с тем же северным мостом. В итоге — Slackware с сетью, USB, консоль на VGA и, конечно, DOOM. Работа не закончена: после перезагрузки ядро падает в panic, а часы реального времени ещё не настроены. Внутри полный журнал загрузки с реального железа и распиновка разъёма VGA.

Читать далее

tracemalloc видит 44 МБ, процесс занимает 150: куда уходит память многопоточного Python

Уровень сложностиСложный
Время чтения9 мин
Охват и читатели5.5K

В многопоточном Python‑сервисе RSS может вырасти почти втрое, хотя tracemalloc продолжает показывать те же 44 МБ живых объектов. Причина может скрываться в аренах аллокатора glibc: разберём, почему они накапливают память, как число ядер влияет на её расход и какие настройки помогают сократить RSS без переписывания приложения.

Разобраться в проблеме

Как оптимизировать корутины C++ в компиляторах

Уровень сложностиСредний
Время чтения28 мин
Охват и читатели15K

Корутины появились в C++ в 2020 году и постепенно становятся привычным инструментом для асинхронного кода — с ними асинхронная логика читается почти как обычная последовательная. Однако у удобства есть цена: в общем случае компилятор выделяет для каждой корутины фрейм в динамической памяти. В сетевом коде, где основное время уходит на ожидание сокетов, эти расходы незаметны, а в вычислениях и там, где корутины скрывают небольшие задержки, их уже видно в профиле.

Привет, Хабр! На связи Юлий Тарасов. Под катом расскажу, как корутины устроены в C++, что с ними делает компилятор, какие оптимизации для них есть в LLVM и как с помощью атрибутов Clang убрать лишние аллокации. В основе текста — доклад на System Level Meetup конца 2025 года. Примеры для Clang соответствуют версии 20, в более новых релизах листинги и вывод программ могут отличаться. Примеры на C++ полные и компилируются, а псевдокод и схематичный LLVM IR я отмечаю в тексте.

Статья будет полезна как тем, кто только планирует использовать корутины и хочет заранее оценить их стоимость, так и тем, кто уже применяет их в проектах и хочет понять, как компилятор их оптимизирует. От вас потребуется знание C++ и общее представление о стеке и потоках, в остальном разберемся по ходу.

Читать далее →

Наблюдаем, как Windows XP разговаривает с железом: эмулятор x86 в одном HTML-файле

Уровень сложностиПростой
Время чтения6 мин
Охват и читатели18K

Ранее я уже рассказывал о своих проектах для изучения низкого уровня, выполненных в виде одного HTML-файла и работающих офлайн: дизассемблер (5 платформ), ассемблер с поддержкой HLA64 и эмулятор процессора с пошаговой отладкой.

Сегодня в копилку добавлен еще один проект: виртуальная машина, которая запускает настоящую Windows XP прямо в браузере. Как обычно, все в одном HTML-файле.

Но фишка не в этом. Эмуляторы Windows XP в браузере уже делали много раз, и никого этим не удивить. Здесь же мы сможем наблюдать, как Windows XP общается с железом: что передает железу и что железо отвечает операционной системе.

Читать далее

Чужая программа молчит: как отличить «долго» от «зависло» и «упало раньше, чем заметили»

Уровень сложностиСложный
Время чтения6 мин
Охват и читатели11K

Есть приложение для Mac, которое запускает Windows-игры через слой совместимости: внутри Steam для Windows, игры и всё, что они с собой тащат. Когда человек нажимает «Играть», работу делают чужие программы — клиент Steam, сама игра, её программа отчёта о сбоях. Встраиваться в них нельзя. Видно только то, что снаружи: список процессов, окна на экране и журналы, которые Steam пишет на диск.

Из этого вырастают два вопроса, на которые нужен ответ за секунды, а не за минуты:

ничего не происходит — это «медленно» или уже «никогда»;

игра упала за пару секунд, а процессы опрашиваются раз в три — как вообще узнать, что она была?

Ниже — замеры, правила, которые из них получились, и ошибки, которые нашлись по дороге.

Читать далее

Rust 1.100.0: Тип «never», Allocator и DropGuard API

Уровень сложностиПростой
Время чтения9 мин
Охват и читатели6.5K

Команда Rust рада сообщить о новой версии языка — 1.100.0. Rust — это язык программирования, позволяющий каждому создавать надёжное и эффективное программное обеспечение.

Если у вас есть предыдущая версия Rust, установленная через rustup, то для обновления до версии 1.100.0 вам достаточно выполнить команду:

$ rustup update stable

Если у вас ещё не установлен rustup, вы можете установить его с соответствующей страницы нашего веб-сайта, а также посмотреть подробные примечания к релизу 1.100.0.

Если вы хотите помочь нам протестировать будущие релизы, вы можете использовать канал beta (rustup default beta) или nightly (rustup default nightly). Пожалуйста, сообщайте обо всех встреченных вами ошибках!

Читать далее

VPN Admin: от панели для AmneziaWG к визуальному управлению VPN-инфраструктурой

Уровень сложностиПростой
Время чтения8 мин
Охват и читатели18K

Некоторое время назад я тестировал свои наработки, которые изначально не имели к VPN никакого отношения. Мне нужен был реальный сценарий, в котором можно проверить развертывание приложений, передачу конфигурации и управление удаленными серверами. Таким сценарием стал AmneziaWG, а результатом эксперимента - awg-admin.

Предполагалось, что это будет небольшая вспомогательная панель. Инструмент использоваться для решения вполне реальных задач: настройки серверов и интерфейсов, добавления пользователей и построения туннелей. Со временем эксперимент перерос первоначальную задачу, и архитектура awg-admin потребовала переосмысления.

Во-первых, вся система была построена вокруг одного протокола. Во-вторых, туннель фактически воспринимался как связь двух серверов, тогда как на практике хотелось собирать цепочки произвольной длины. В-третьих, список серверов не давал целостного представления об инфраструктуре: где находятся узлы, как они связаны и по какому пути проходит трафик.

Так появился vpn-admin - уже не панель для AmneziaWG, а визуальная система управления VPN-инфраструктурой с поддержкой разных провайдеров, картой серверов и редактором сетевой топологии.

Читать далее

Портируем прошивку PCAN на китайскую плату

Уровень сложностиСредний
Время чтения8 мин
Охват и читатели12K

В данном тексте я выполнил обзор широко известного open source проекта прошивки для PCAN-Pro. Код которой лежит на Github. Мне удалось портировать и завести прошивку на покупной учебной отладочной плате JZ-F407VET6.

В каждой разработке с CAN нужны средства отладки. Я узнал, что в интернете есть открытый проект прошивки для культового прибора PCAN и попробовал его портировать на учебную отладочную плату JZ-F407VET6.

Читать далее

LANDAU: Мы сделали BE-U1000 в QEMU

Уровень сложностиПростой
Время чтения17 мин
Охват и читатели11K

Осталось почти всё.

И это было сделано специально - так как мы не против поделиться славой, ну и, конечно же, работой.

Эта статья для тех, кто:

— готов поучаствовать в разработке эмулятора BE-U1000 для QEMU;
— хочет попробовать разработку под BE-U1000, не имея живой платы, и ищет для этого рабочий инструмент;
— присматривается к проекту LANDAU и хочет понять, что там происходит.

Минимум, который уже есть и позволяет не начинать с нуля: модель SoC BE-U1000 и машина EVU-BA-2.5 с реализованными BR350 (CORE0/CORE1), CLIC, CRU/RESET, MTIMER и базовым UART. BM310 (CORE2) формально присутствует как тип CPU и объект в SoC, но ни изоляции, ни прерываний для него пока нет.

То, что осталось...

Ближайшие события

Что исполняет C++-программа при пропущенном return после сборки с -O2

Время чтения5 мин
Охват и читатели7.3K

Рэймонд Чен объясняет: ud2 в коде ставят там, где программа не должна была оказаться, например в конце функции, которая должна вернуть значение, но не возвращает его, и падение на ud2 означает логическую ошибку. Я проверил обратное: если падения на ud2 нет, значит ли это, что ошибки нет. Одна и та же C+±функция прошла через 114 версий GCC и Clang для x86-64 на Compiler Explorer, плюс запуск демонстрационной программы. Без оптимизации ud2 есть у Clang и у свежих GCC. На -O2 программа с пропущенным return у всех четырёх компиляторов в демо исполнила ветку для других входных данных и завершилась с кодом 0, а функцию без единого return Clang 23.1 оставил пустой, и в демо выполнилась соседняя wipe_disk(). Успешное завершение такую ошибку не обнаруживает.

Читать далее

Про Кубернетес, LinuxONE и мэйнфрэймы

Уровень сложностиСредний
Время чтения7 мин
Охват и читатели10K

Стоит мне зайти на Хабр и ответить на пару комментариев, опубликовать пост про бэкенд и мое отношение к этому, сразу появляется старый или новый тундрюг и начинает поливать тему МФ первобытной, пещерной злобой. Приэтом используются данные почти 30-летней давности.

Мой ответ на один такой комментарий к моему, казалось бы, безодидному посту вылился в объем, не вписывающийся в пост. Пришлось оформлять его как статью.

Цитаты ниже на русском языке - это из комментария на мой пост.

Читать далее

Охота на Гуся

Уровень сложностиПростой
Время чтения5 мин
Охват и читатели8.7K

Проект “Гусь” обречён на холивар. Шутка ли: ИИ написал язык программирования, который быстрее C++ и Rust. Холивар – это в основном про зрелища, и так ясно, who is whoosh. Однако на полях сражений в виде “хлеба” остаются поучительные артефакты, парочку из которых предлагаю рассмотреть.

Невероятно? Невероятно💎

ОС еще не загрузилась, а Python уже работает: зачем мы принесли змею в UEFI

Уровень сложностиСложный
Время чтения10 мин
Охват и читатели3.5K

В какой-то момент в жизни инженера появляется задача, которая начинается словами: «Нам бы просто автоматизировать прошивку».

Слово «просто» здесь выполняет декоративную функцию. Примерно как кнопка закрытия дверей в некоторых лифтах: нажимать приятно, на происходящее влияет не всегда.

В департаменте исследований и разработки «Гравитон» мы занимаемся тестированием оборудования. Часть подготовительных действий нужна еще до загрузки операционной системы: получить параметры задания, проверить необходимые условия, организовать обновление прошивки и сохранить результаты диагностики.

Можно каждый раз загружать ОС, узнавать, что делать с устройством, а затем возвращаться в предзагрузочную среду. Но поднимать целую систему ради нескольких правил показалось нам несколько торжественным.

Так мы начали обживаться в UEFI Shell. А некоторое время спустя у нас появился собственный сборщик Python для этой среды.

Дальше — о том, из чего он состоит, какие особенности порта пришлось учитывать и почему наличия файла Python.efi для спокойной жизни недостаточно. Примеры сокращены до обсуждаемого механизма.

Читать далее

Проверяем capability-делегирование в стиле ОС Fuchsia средствами Isabelle/HOL

Уровень сложностиСложный
Время чтения61 мин
Охват и читатели8.3K

Доступ к ресурсам в Zircon, микроядре операционной системы Fuchsia от Google, построен на том, что процесс работает с объектом ядра только через дескриптор, а права этого дескриптора задают, что с объектом можно делать. Такая модель задумана как основа безопасности и модульности системы: ошибка в драйвере не должна превращаться в угрозу целостности ядра.

Допустим, один процесс передаёт другому дескриптор объекта ядра с урезанными правами. Как убедиться, что получатель ни в одном сценарии не окажется с правом, которого не было у отправителя? Для ответа на этот вопрос мы построили в Isabelle/HOL учебную модель фрагмента capability-механизма Zircon и доказали это свойство для всех состояний, достижимых из корректного старта. Модель показывает и предел гарантии: один привилегированный обход через MMIO, прямая запись в память объекта, ломает изоляцию, хотя проверка прав остаётся на месте.

Читать далее

До загрузки ОС: где прячутся уязвимости сервера

Уровень сложностиСредний
Время чтения12 мин
Охват и читатели8.6K

Всем привет! На HardFest 2026 я рассказывал о безопасности серверов до загрузки ОС. В этой статье разберем, как устроена предзагрузочная среда, какие уязвимости встречаются в UEFI и BMC и что может сделать производитель оборудования, чтобы снизить риски их эксплуатации.

Читать далее

Linux: Логи. Что это такое и справочник по базовым утилитам

Уровень сложностиСредний
Время чтения22 мин
Охват и читатели17K

Эта статья — справочник по утилитам, которые помогают читать логи и быстро находить в них причину проблем. Для одного сервера или домашней лаборатории (homelab) этого набора хватает в большинстве случаев.

Читать
1
23 ...