Обновить
8K+
42
Nikita P.@grub_loader

Системный инженер

Отправить сообщение

ext4 после сбоя: что сохраняется, что теряется и как это проверить

Уровень сложностиСредний
Время чтения19 мин
Охват и читатели4.3K

Привет, Хабр!

Сегодня поговорим о том, что происходит с файловой системой ext4 при внезапном отключении питания. Разберёмся, как Linux записывает данные на диск, зачем нужен журнал, что на самом деле гарантирует fsync() и почему после сбоя одни файлы сохраняются, а другие теряют последние изменения. А в конце попробуем имитировать настоящий сбой (виртуальной машины) и посмотрим, что удастся восстановить.

Разберём, где проходит граница между записью и сохранением, что делает журнал JBD2 и почему rename() с fsync() так часто встречаются в коде, работающем с важными файлами. В конце создадим отдельный том ext4, аварийно остановим виртуальную машину, воспроизведём журнал и проверим содержимое файлов после восстановления. Проверка будет опираться на данные, а не только на сообщение «журнал восстановлен».

В статье рассматривается обычная локальная ext4 в Linux с журналом и режимом data=ordered. На результаты влияют параметры монтирования, ядро, накопитель и способ его подключения к виртуальной машине.

Читать далее

Память в GoOS, часть 2. Нативные потоки, горутины и GC на SMP

Уровень сложностиСложный
Время чтения17 мин
Охват и читатели5.7K

В первой части я разобрал аллокатор и GC однопоточного процесса. Здесь расскажу, что пришлось изменить после появления потоков и горутин.

Пока процесс однопоточный, сборщик мусора имеет дело с одним стеком, одним набором регистров и одной точкой выполнения. Как только появляется второй поток, он уже может одновременно менять кучу на другом процессорном ядре. А после появления горутин выполнение Go-кода вообще перестаёт быть жёстко связано с одним стеком нативного потока.

В релизе GoOS 0.2.8 сперва появились нативные потоки пользовательского пространства, позже поверх них я реализовал собственный M:N runtime для горутин. После этого сборщик мусора тоже пришлось дорабатывать, так как перед освобождением объекта нужно быть уверенным, что ссылка на него не осталась в стеке другого потока, в сохранённом контексте горутины, в XMM-регистре или в промежуточном состоянии переключения контекста. Для этого пришлось согласовать работу сборщика с планировщиком, аллокатором и кодом сохранения контекста.

Читать далее

Память в GoOS, часть 1. От bump allocator к собственному heap и GC

Уровень сложностиСложный
Время чтения21 мин
Охват и читатели7.6K

В первой статье про GoOS я довольно подробно прошёлся по загрузке, SMP, IPC, capabilities, сети, Linux ABI и устройству сервисов. А в комментариях довольно быстро всплыл вопрос, который я тогда сознательно обошёл стороной: что в системе происходит с динамической памятью и сборщиком мусора.

Вопрос был вполне по делу. Я пишу ОС преимущественно на Go, компилирую её TinyGo, но обычный Go runtime мне тут никто не выдаёт. Значит, фраза «Go сам разберётся с памятью» тут совершенно не работает. Кто-то должен дать new, make, слайсам, map, channel и остальным объектам кучу. Кто-то должен вернуть память после того, как объект перестал быть нужен. А если в системе появляется GC, он должен понимать, где искать корни, как останавливаться относительно потоков и что делать с указателями, которые в момент остановки лежат не на стеке, а в регистрах процессора.

На момент той дискуссии ответ был сильно проще. Ядро было и остаётся собрано TinyGo с gc: leaking: его Go-куча умеет только выделять. В повторяющихся путях ядра динамические аллокации запрещены архитектурно, а объекты для таких путей заранее выделяются, переиспользуются или живут в специальных таблицах и пулах. В userspace ситуация была хуже: там уже существовал собственный runtime, но runtime.alloc по сути был bump allocator, а runtime.free и runtime.GC были заглушками.

В одном из ответов я тогда написал: «И таки да, следующим релизом я этот вопрос решу».

0.2.8 — как раз этот самый релиз.

Читать далее

GoOS: от любопытства к собственному ядру

Уровень сложностиСложный
Время чтения32 мин
Охват и читатели9.3K

Ещё в школе, когда я впервые начал писать на Pascal, меня заинтересовал вопрос: что именно происходит, когда запускается программа? Программа читает клавиатуру, выводит текст, выделяет память. Но кто её запускает? Кто выделяет ей процессорное время? Почему она не может прочитать память другого процесса? Как нажатие клавиши превращается в событие для приложения? И что происходит между включением компьютера и первым приглашением командной строки? Вместо того чтобы ограничиться прикладным программированием, я полез разбираться в загрузчиках, памяти и работе процессора.

Но теперь у этой истории истории есть своё собственное имя - GoOS. Если вам интересно почитать об этом подробнее - добро пожаловать!

Читать далее

Доработка парсера логов Squid для корректного просмотра посещенных HTTPS ресурсов

Время чтения5 мин
Охват и читатели19K
Всем привет! Я получал, и получаю множество писем от людей с вопросами по Squid, который работает на основе моей статьи. Наиболее часто возникает вопрос про просмотр логов Squid каким-либо парсером. Проблема в том, что версия Squid 3.5.8 с настроенным прозрачным проксированием HTTPS логирует посещаемые HTTPS ресурсы не в виде доменных имен, а в виде IP адресов с портами (прим. 164.16.43.56:443). Соответственно, при просмотре статистики посещений вместо человеческой информации проскакивают эти самые IP адреса. Собирать статистику с такими данными довольно сложно. Я связывался с разработчиками Squid по этому поводу, но внятного ответа так и не получил. Единственное, что я выяснил, нормальное логирование работает в более новых версиях Squid, но на них прозрачное проксирование лично у меня так и не заработало должным образом. Поэтому возник вопрос о том, как сделать резолв IP адресов в самом парсере логов.
Если интересно, идем под кат

«Прозрачный» Squid с фильтрацией HTTPS ресурсов без подмены сертификатов (х86, х64 — универсальная инструкция)

Время чтения7 мин
Охват и читатели91K
Всем привет! Прошлая статья про прозрачное проксирование HTTPS с помощью Squid'a была вполне успешной. Приходило по почте множество отзывов об успешной установке данной системы. Но также и поступали письма с просьбами о помощи. Проблемы были вполне решаемыми. Но не так давно обратилась ко мне одна коллега с просьбой о помощи в установке этой системы на х64 архитектуре (Debian). Тут мы озадачились. Во-первых, оказалось, что прошлая статья непригодна для этого по причине отсутствия нужных исходников в репозитории Debian (там теперь 3.5.10). Найти нужные в первой статье Debian'овские исходники не удалось, а checkinstall выдавал странные ошибки. Во-вторых, хотелось более универсального решения, которое бы без проблем работало и на х64, и на х86, и (по-возможности) на других дистрибутивах. Решение было найдено. Получилось небольшое дополнение к предыдущей статье + некоторые уточнения. Данная инструкция позволяет скомпилировать как х86, так и х64 версии Squid'a и создать соответствующие пакеты. Инструкция будет разбита на несколько пунктов и подпунктов. Если интересно, идем под кат:
Читать дальше →

«Прозрачный» Squid с фильтрацией HTTPS ресурсов без подмены сертификатов (x86)

Время чтения9 мин
Охват и читатели274K
Не секрет, что в больших конторах тема фильтрации Интернета довольно актуальная. С этой задачей справляется немало программных и аппаратных решений. Но в настоящее время все те сайты, которые мы резали ранее, работают по протоколу HTTPS, т.е. порт 443. Как известно, данный протокол проследить, прослушать и т. п., невозможно. А любой кеширующий фильтрующий прокси-сервер, редиректор и т. п. фильтрует только HTTP, т.е. порт 80. Как же резать Вконтакте, Одноклассники, iphide.info и многие другие подобные сайты? Как блокировать доступ к личной почте в организации, если использование оной запрещено порядками в организации? Да, можно фильтровать по IP адресам, но они частенько меняются, да и на многих ресурсах несколько IP адресов. Блокировать их на уровне файрвола как-то совсем не православное решение, и не совсем удобное.

И вот, совсем недавно, мне один товарищ рассказал, что он поднимает у себя в конторе кеширующий прокси с фильтрацией HTTPS, меня это заинтересовало.
Читать дальше →

Информация

В рейтинге
587-й
Откуда
Новороссийск, Краснодарский край, Россия
Зарегистрирован
Активность

Специализация

Системный инженер, Архитектор программного обеспечения
Ведущий
Golang
PostgreSQL
Linux
ООП
Базы данных
Git
Python
C++
Оптимизация кода
Разработка программного обеспечения