Pull to refresh
29
Михаил Соколов@debagger

Инженер и программист

0,5
Rating
2
Subscribers
Send message

Swap выключили, чтобы сервер не тормозил. Теперь он минутами не отвечает

Level of difficultyHard
Reading time10 min
Reach and readers11K

Swap на сервере отключают ради производительности, рассчитывая, что при нехватке памяти OOM killer быстро завершит проблемный процесс. Но на практике Linux может минутами выбрасывать из памяти файловые страницы, которые сервису нужны снова и снова, пока сервер практически не отвечает. В статье разбирается, почему возникает такое поведение, как скорость утечки влияет на время до OOM и какие настройки ядра и инструменты помогают избежать длительного зависания.

Разобраться со Swap

Что видит фазовый автофокус

Level of difficultyMedium
Reading time16 min
Reach and readers13K

Мы вывели на экран то, что на самом деле видит фазовый автофокус камеры: карту 12×16, где у каждой из 192 зон своя фаза и своя уверенность. Оказалось, что сенсор IMX708 ищет сдвиг только вдоль строки, и горизонтальные жалюзи для него всё равно что гладкая стена. Рассказываем, откуда берутся эти числа и как они превращаются в команду мотору линзы.

Читать далее

Рутину — в скилл, ошибку — в правило. Как я сделал QA-конвейер из скиллов

Level of difficultyMedium
Reading time9 min
Reach and readers92K

Всем привет! Меня зовут Костя, я QA-инженер в Банки.ру. Общение с агентом у меня давно стало обыденным делом. И в какой-то момент я заметил, что работа тестировщика превратилась в ежедневное объяснение ему одного и того же: «прочти задачу», «составь критерии приёмки», «сделай баг-репорт», «сделай отчёт за сегодня».

Готовых QA-скиллов под мой стек на find-skills не нашлось, поэтому я собрал свои: 10 скиллов для Claude Code — от критериев приёмки и деплоя до логов, баг-репортов, тест-кейсов в Allure и отчёта. Каждую ошибку агента я превращаю в правило внутри скилла. В статье рассказал, как устроен этот QA-конвейер, где агенту нужны мои апрувы, и опубликовал скиллы в открытый репозиторий.

Читать далее

Как реализовать пакетную подпись PDF‑документов

Level of difficultyMedium
Reading time20 min
Reach and readers11K

Автоматическое подписание документов электронной подписью используют там, где требуется пакетная подпись документов без участия сотрудника. Это могут быть как небольшие сайты, например по продаже билетов в театр и музей, или порталы с онлайн-обучением при отправке сертификатов о прохождении курсов, так и крупные банковские приложения, например, при генерации выписок по счетам, форм договоров или квитанций. В ЕСИА, СМЭВ, ГИС ЖКХ и других государственных информационных системах также реализована автоматическая подпись.

В этой статье реализуем автоматическое подписание для PDF-файлов и добавим штамп «Документ подписан электронной подписью».

Читать далее

Папка как интеграция: файловый обмен в .NET без cron, FileSystemWatcher и самописных костылей

Level of difficultyHard
Reading time13 min
Reach and readers9.4K

Опрос каталога, ожидание дописи файла, идемпотентность и атомарная запись через temp+rename: файловый обмен как обычный шаг маршрута.

Спросите у любого интегратора, через что реально ходят деньги, и он назовёт файлы. Банк кладёт выписку в каталог на шаре. 1С выгружает заказы в XML по расписанию. Партнёр по EDI шлёт .edi на FTP. Биллинг ночью роняет CDR-файлы на пару гигабайт. Розничная сеть присылает остатки в CSV, потому что так было в 2009-м и никто не собирается это менять. Файловый обмен не «легаси, которое скоро уйдёт», это работающий транспорт, у которого есть ровно одно свойство: он выглядит проще, чем есть.

Проще он выглядит потому, что первая ....

Читать далее

Как нейросети редактируют фотографии: большой разбор inpainting, image-to-image и диффузии. Часть 1

Reading time17 min
Reach and readers8.1K

Двадцать лет назад убрать мусорный бак из кадра — это была целая история, требующая виртуозно владеть фотошопом. Чем дальше шло развитие «умных» инструментов, тем проще решалась эта задача, но поведение всё же не было до конца предсказуемым.

И вот мы пришли к полноценному ИИ, который нам этот бак уберёт одним щелчком, не обязательно даже его полностью выделять. Так и хочется сказать: «Будущее!» А потом заметить, что заодно перерисовался бордюр в другом конце кадра. Который вообще не надо было трогать.

В этом небольшом цикле статей мы поговорим об обработке настоящих, реальных фотографий с помощью ИИ. И нет, это не будет сборник типа «десять нейросетей для фотографа». Мы с вами полезем куда глубже, в самые основы, чтобы понять, как именно нейронка (а точнее, диффузионка) видит и обрабатывает фото.

Разговор пойдёт по нарастающей. Сначала пройдёмся по методам ретуши. Потом погрузимся в то, как диффузионка вообще работает с картинкой — целиком, от промпта до пикселей. Потом — как из такой генерации сделали редактор. Дальше — что модель несёт с собой из обучения, что ломается на стыке с фотографическим рабочим процессом, что до сих пор быстрее делать по-старому. И под конец — вопрос про то, чему теперь вообще верить, мы его затронем по касательной.

Предупреждаю сразу: примерно две трети текста — это про ограничения. Про достоинства вам и без меня расскажут в любом рекламном ролике, а вот про то, где именно эта штука спотыкается, обычно молчат.

Читать далее

SOP & CORS

Level of difficultyEasy
Reading time13 min
Reach and readers11K

Держите открытыми две вкладки. В одной — интернет-банк, куда вы залогинены и где на экране висит ваш баланс. В другой — какой-то сайт, на который вы забрели по ссылке из выдачи, ничего особенного. Теперь вопрос, который на первый взгляд кажется надуманным, а на деле упирается в фундамент всей веб-безопасности: что мешает скрипту со второго сайта взять и прочитать ваш баланс из первого?

Читать далее

Ходовые вакуумметры. Часть 3. Манометры ионизационные

Level of difficultyMedium
Reading time12 min
Reach and readers19K

Как мы уже знаем, для работы с (самодельными) электровакуумными и ионными приборами желательно иметь откачной пост, умеющий создавать высокий вакуум — снижать давление в обрабатываемом приборе от атмосферного (~ 760 мм рт. ст.), до остаточного, не выше 10-5 мм рт. ст. (Торр). Как не существует сравнительно простого (удобного, доступного, недорогого) насоса, перекрывающего такой огромный диапазон, также нет и простых вакуумметров «атмосфера — высокий вакуум». Обычная практика в таких случаях — разделение откачки на предварительную (форвакуум) и высоковакуумную ступень, где действуют разные принципы течения газа, способы его удаления и измерения давления. Рассмотренные нами манометры барометрические [1] и тепловые (Пирани [2], термопарные [3]), работают в области высоких (близких к атмосферному) и средних давлений — до 10-3…10-4 Торр, давления же в области высокого вакуума, обычно измеряются ионизационным манометром, составляющим традиционную пару с тепловым. Рассмотрим же такой манометр ионизационного типа — принцип действия его преобразователя, варианты ходовые, исторические, заводские, интересные. Схемы включения, особенности работы, измерительные блоки. Как всегда, с прицелом на любительскую электровакуумную лабораторию-мастерскую и вдумчивую ручную работу.

Читать далее

Назад в 2005-й. API-first как третья пилюля от деградации проекта под LLM

Reading time19 min
Reach and readers9.6K

Агент отчитался: экран настроек готов. Поля редактируются, после сохранения выскакивает тост «Сохранено». Я нажал F5 — все настройки вернулись к дефолтным. Бэкенда под формой не существовало: агент выяснил это в первые минуты и вместо того, чтобы сказать мне, молча положил данные в локальный стейт и нарисовал тост. Ни один чекер из моих прошлых статей этого не поймал — и не мог: деградация пришла со шва между фронтом и бэкендом, единственной границы, через которую не проходит ни компилятор, ни анализатор зависимостей.

Под катом — как этот шов гниёт под LLM и как его чинит contract-first: генерация серверных интерфейсов и клиента из одного OpenAPI-файла, политика ломающих изменений, правило «не симулируй — расширяй контракт». Попутно — зачем возвращаться к идее, которую мы выбросили вместе с WSDL, и какая из моих проверок после всего этого молча перестала работать. Третья часть цикла, читается самостоятельно.

Читать далее

Harness кодинг‑агента: разобрал исходники Codex, OpenCode, Pi и свою собственную

Level of difficultyMedium
Reading time18 min
Reach and readers20K

Я собираю своего кодинг‑агента поверх моделей OpenAI. Базовый агентный цикл написал сам на Pydantic AI, и он быстро заработал. А потом начались сложные узлы: как сжимать распухший контекст, как не дать агенту делать заново уже сделанное, как понять, что он правда закончил, а не выдохся. На каждом таком узле я застревал и шёл смотреть, как это решают взрослые. Благо исходники Codex, OpenCode и Pi лежат открыто, а архитектуру Claude Code Anthropic описывает сама.

Оказалось, кодинг‑агенты различаются не моделью внутри и не списком фич на лендинге. Они различаются архитектурными ставками обвязки, и эти ставки видны прямо в коде. Дальше — разбор по ставкам, с примерами кода, и попытка понять, какие из этих ставок стоит закладывать всерьёз, а какие проживут до следующего сильного релиза модели.

Читать далее

habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16

Reading time17 min
Reach and readers36K

Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем и более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, чтобы посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов.

Читать далее

Что делать, если HTTP‑запрос прошёл, а транзакция в БД откатилась?

Level of difficultyMedium
Reading time34 min
Reach and readers11K

Если ваш сервис одновременно пишет в БД и дёргает внешние API, прямо сейчас у вас есть как минимум один из этих сценариев:

– деньги списаны, заказа в базе нет;
– товар на складе заблокирован навсегда под «призрачный» заказ;
– курьерская служба везёт посылку, которую никто не заказывал.

Это не баги в коде – это архитектурная проблема двойной записи. И у неё есть классическое решение: паттерны Transactional Outbox, Result Table и Saga Compensation. Под катом – не только теория, но и живой рабочий проект на Scala, который можно склонировать и запустить.

Читать далее

Мой личный джуниор. Часть 2. Даём агенту немножечко мозгов

Level of difficultyMedium
Reading time11 min
Reach and readers12K

Привет, Хабр! Меня зовут Владимир и это продолжение статьи про разработку локального кодер-агента на LangGraph с доступом к MCP-инструментам.

В первой части мы создали инфраструктуру, написали простейшего агента и дали ему доступ к MCP-серверам для работы с файлами, кодом Git и документацией. В этой половинке мы добавим агенту немного мозгов.

Читать далее

Мой личный джун. Часть 1. Учим агента писать код и пользоваться git

Level of difficultyMedium
Reading time13 min
Reach and readers17K

Привет, Хабр! Меня зовут Владимир и я стал немного более GPU-rich. А это значит, что пора сдуть пыль со старого проекта)

В этой части статьи мы создадим необходимую инфраструктуру, напишем простого агента, а также добавим нашему агенту MCP-инструменты.

Читать далее

С/С++ в современном машинном обучении: традиционные роли и возможности нового стандарта

Level of difficultyMedium
Reading time17 min
Reach and readers11K

Привет, Хабр! Меня зовут Кирилл, я разработчик СХД в YADRO и ML-энтузиаст, автор книги "Hands-on Machine Learning with C++". Я заметил, что роль С/С++ в экосистеме машинного обучения трансформируется прямо сейчас. Чтобы понять, какое значение язык играет в развитии ML, мы поговорим о классическом применении C++ для ручной оптимизации вычислительных ядер. Затем разберемся, почему новый стандарт не закрепляет реализаций линейной алгебры, а отдает это на откуп поставщикам стандартной библиотеки и вендорам оборудования. И в завершение подумаем, как работать с «зоопарком реализаций», который из-за этого остается. 

Читать далее

Почему AI-агент ищет по коду неправильно, и как это чинит cocoindex-code за две команды

Level of difficultyMedium
Reading time9 min
Reach and readers14K

Если вы работаете с Claude Code или Cursor на большом проекте, знаете боль: просишь “найди, где обрабатывается авторизация”, а агент гоняет grep по ключевым словам. Если функция называется validateUserSession, а вы спросили про “авторизацию” — grep её не найдёт. Это ограничение текстового поиска, и его решает семантический поиск через эмбеддинги. Я уже разбирал CodeGraph и SocratiCode из этой ниши, теперь поставил третий — cocoindex-code. Зацепил тем, что ставится в две команды без Docker и баз данных. Прогнал на своём проекте, разобрался с AST-чанкингом и сравнил с аналогами.

Читать далее

Когда лучше публиковаться на Хабре. Статистический анализ связи времени публикации и охвата статей

Level of difficultyEasy
Reading time7 min
Reach and readers15K

На Хабре сейчас высокая конкуренция среди авторов за внимание читателей. По данным самого Хабра, в 2025 году на сайте было более 10 тысяч уникальных авторов контента, а количество публикаций превысило 51 тысячу. Это означает, что даже качественный материал может не получить заметный охват из-за большого количества публикаций в ленте.

Есть распространённое мнение, что публиковать статьи нужно в предобеденное время, чтобы люди на обеденном перерыве могли почитать эти статьи, тогда охват будет максимальным. Но так как этого правила придерживаются многие, возникает высококонкурентная среда, где за час публикуются десятки статей. При этом публикации, размещённые ночью, также нередко набирают высокий охват, несмотря на ожидаемо низкую активность пользователей в это время.

Возникает вопрос:

Связано ли время публикации с охватом аудитории, и если да, то когда статьи набирают больший охват?

Поэтому я решил провести исследование:

На основе данных ленты Хабра проверить, связано ли время публикации статьи с её охватом, и определить временные интервалы, в которые статьи набирают больший охват.

Читать далее

graphlens: превращаем репозиторий в типизированный граф — Python, TypeScript, Go и Rust в одной модели

Level of difficultyMedium
Reading time7 min
Reach and readers13K

Любой инструмент для «понимания кода», которым я пользовался, рано или поздно упирался в одну из двух стен.

Первая — цикл «grep → открыть → прочитать → перейти по импорту → снова grep». Работает, но медленно, и у него нет ни малейшего представления о том, что process_order, найденный в services.py — это тот самый process_order, который вызывается из api.py, а не однофамилец из tests/. Когда этим занимается LLM-агент, он ещё и сжигает на этом тонну токенов.

Вторая стена — моноязычность. Инструмент прекрасно понимает Python, но слепнет в ту секунду, когда фронтенд на TypeScript дёргает ручку FastAPI на Python. Реальные системы полиглотны. Инструменты вокруг них — обычно нет.

graphlens — это open-source фреймворк (MIT), который спроектирован так, чтобы обойти обе стены. Он парсит исходный проект, нормализует его структуру в общий граф-IR и отдаёт этот граф вам — делайте с ним что хотите: анализ зависимостей, навигацию, поиск мёртвого кода или подачу точных ответов LLM-агенту вместо вываливания файлов в контекст.

Читать далее

Создание аналога Firebase на open-source компонентах

Level of difficultyHard
Reading time12 min
Reach and readers12K

Мы уже разобрались с тем, что такое BaaS, почему появились Firebase и Supabase, чем они отличаются от обычного backend и можно ли самому собрать что-то похожее.

Как я и говорил в прошлой статье, сегодня мы наконец попробуем самостоятельно собрать альтернативу Firebase с Realtime исключительно на open-source компонентах!

Но важная оговорка: мы не будем делать полный клон Firebase с его тонной функционала, но мы соберем минимальную рабочую альтернативу, которую уже можно подключить к frontend через SDK и использовать почти как Firebase.

Читать далее

meta‑attention is all you need

Level of difficultyMedium
Reading time23 min
Reach and readers17K

В этой статье я расскажу о интересной находке во время моих экспериментов с языковыми моделями, которую я решил назвать «мета‑трансформерами».

Или я нашел реально что‑то интересное, или выдал желаемое из действительное, а обьективную оценку может дать только (технически подкованный) внешний наблюдатель, поэтому этот текст и был опубликован. Особенно тут кстати будут спецы по архитектуре трансформеров.

Все подробности в статье.

Читать далее
1
23 ...

Information

Rating
2,258-th
Location
Новоуральск (Свердловская обл.), Свердловская обл., Россия
Date of birth
Registered
Activity