Как стать автором

Свой tree-фильтр на C++: убрал 20к дублирующихся файлов из датасета одной командой

Скачал датасет для нейронки — 50k .png + разметка. tree показал 20 тысяч objects.txt подряд. Экран кончился на 300-й строке.

Написал 40 строк C++ — фильтр с дедупликацией по маске.

До:

text

├── labels/ │ ├── objects.txt <- 20k раз │ ├── labels.txt <- 20k раз

После:

text

├── labels/ │ ├── objects.txt <- только первое │ └── labels.txt <- только первое

Использование:

bash

tree dataset/ | treefilter "*.txt"

Код + бинарник: github.com/aleksejbiriulin/tree_group

Студенческий лайфхак: когда tree тонет в мусоре — пиши свой фильтр. 0.1 сек на GB, ANSI-цвета живы! 🚀

Мы небольшой региональный интернет-провайдер. Недавно случился у нас инцидент.

Первый звоночек прозвенел, когда было зафиксировано резкое уменьшение нагрузки на внешнем интернет‑канале, сопровождавшееся записями в логах KERNEL PERF interrupt took too long, lowering на одном из серверов, обеспечивающих доступ в сеть Интернет. Расследование показало, что нагрузка вернулась к норме в течение 15 минут, и никаких последствий не было выявлено.

Я построил облачную IDE где несколько разработчиков могут одновременно работать с AI-агентами без конфликтов. AI Оркестр координирует запросы: анализирует scope, блокирует файлы, запускает неконфликтующие задачи параллельно. Под капотом: Next.js 16, Docker-контейнер на проект, Yjs CRDT, Redis-очередь, CodeMirror 6. Рассказываю как это устроено и зачем.

Что если гравитация Ньютона — это только приближение? Не в смысле Эйнштейна (это мы уже знаем), а ещё глубже, на квантовом уровне?

В этой статье я расскажу, как мы вычислили конкретные квантовые поправки к гравитации, исходя из одной красивой идеи, и проверили результат с точностью до 100 десятичных знаков.

Долгое время наблюдал, как знакомая косметолог ведет запись на прием к себе. Ей писали в вацап, телегу, смс и звонили, она все это переносила на айпад в заметки. Как-то спросил: А че удобно все это? Сказала, что нет, конечно. Отнимает много времени. И тут я герой весь в белом, говорю: Давай бота в телеге сделаю. Вот с этого все и началось. Пропущу историю создания бота этого. Хотя он по сути и стал отправной точкой. Через пару месяцев сделал ей миниапп. О, как она была рада! И параллельно начал размышлять о саас в миниапп для услуг по записи. Делал себе все тихонько, а потом чудесная новость: телегу тормозят и хотят заблочить. Вот тут у меня подгорело, конечно… Решил не хоронить проект, а перевести все в PWA. Ну сказано – сделано. Хотя вот тут я и словил кучу проблем.

Честно говоря, когда мы затевали этот эксперимент, у меня были сомнения.

Не из серии «получится или нет», а скорее - насколько будет больно.

Ведь идея взять сложный отчет с нетривиальной семантической моделью, различными визуализациями и метриками, и просто «перенести» его в другую систему звучит… ну, слегка наивно.

Но задача была понятная: проверить на практике, можно ли переехать на Visiology и не потерять ключевую аналитику. Не в теории, а вот прямо руками.

Спойлер: точь-в-точь не получится.
Но (и это важно!) все бизнес-задачи мы в итоге закрыли.
Иногда элегантно. Иногда через костыли. Но закрыли.

В последние месяцы и годы растет интерес широкой публики к вопросу настройки роутинга и ВПН на роутерах, а не на оконечных устройствах. Данный гайд, я надеюсь, будет полезен для обладателей устройств Mikrotik или людей только присматривающихся к их покупке, чтобы они примерно оценили усилия требуемые для того чтобы централизованно, через интерфейс роутера, перенаправлять трафик устройств(например smart tv) в wireguard tunnel.

Гайд не претендует на полноту, и устойчивость ко всем экстремумам конфигураций, написан на основе собственного опыта, зарекомендовал себя как рабочий и позволяет регулировать доступ не трогая физически телефоны мам, бабушек, телевизоры, умные пылесосы и всего остального что есть у вас в локальной сети.

Привет,Хабр! Меня зовут Сергей, я инженер отдела поддержки но эксплуатация у нас работает так себе, поэтому чаще мы что то делаем сами. Решил рассказать о том, как мы решали проблему прокси в корпоративной сети. Тема для нашей команды болезненная, но интересная: мы прошли путь от ручного редактирования /etc/environment до создания собственного сервиса, который живёт в systemd и умеет валидировать конфигурации, делать бэкапы и даже стучаться в MATE с Cinnamon.

Сегодня расскажу, почему мы свернули с пути Ansible, почему не стали внедряться в процессы через gdb (спойлер: это был плохой сон) и как в итоге получили систему, которая позволяет нам забыть про прокси как про проблему. И да, мы знаем о WPAD, оно тоже не заработало.

Каждый промпт, отправленный в LLM-провайдер — OpenAI, Anthropic, Google — передаётся открытым текстом. Имена клиентов, email-адреса, ИНН, СНИЛС, номера паспортов оказываются в логах провайдера.

Если ваше приложение обрабатывает данные российских пользователей, это касается ИНН (идентификационный номер налогоплательщика), СНИЛС (страховой номер), номеров телефонов и паспортных данных.

Когда мы говорим об «AI-автоматизации», чаще всего представляется что-то волшебное: нейросеть, которая сама пишет код, генерирует картинки или управляет процессами. Но на практике всё выглядит иначе.

У разработчиков игр — десятки скриптов, которые прогоняют текстуры через ComfyUI, ручная вычитка промптов, бесконечный экспорт/импорт. У «вайб-кодеров» — коллекция API-ключей, разрозненных нейросеток и скриптов-«костылей», которые держатся на честном слове. В enterprise — мощные GPU простаивают, потому что нет инструмента, который бы связал бизнес-задачи с железом.

Я столкнулся с этой проблемой, когда занимался пайплайнами генерации контента. Каждый раз одно и то же: есть GPU, есть задачи, но нет единой системы, которая бы оркестрировала их в автоматическом режиме.

Так родилась идея  операционной системы для AI-агентов КУЗНЯ (Конвейер Управления Знаниями и Нейросетевыми Ядрами), которая объединяет Git, Jira, ComfyUI, LLM и любые GPU в единый пайплайн. Под капотом — адаптированный Apache MiNiFi C++, лёгкие агенты для работы с графикой и текстом, а поверх — REST API и визуальный редактор.

Купил я себе домой NAS и начал потихоньку перетаскивать туда всякое. Сделал синк фотографий, добавил vaultwarden и занялся удалением всякого из облаков. И если с паролями все более менее просто, то с фотографиями, которые хранятся фактически у государства, было чуток посложнее. Покоя мне это не давало, решил удалить.

Захожу в интерфейс ЯДиска, удаляю все папки. Тут все хорошо. Хочу удалить фото - тут все плохо. Ну я попробовал зарегать аппку через их ЛК, но фотки недоступны через нее.

Если API не работает, остаётся единственный вариант — смотреть, что делает браузер. Весь интерфейс Яндекс.Диска живёт на одном endpoint:

На связи Monami! Я веб-разработчик. Делаю сайты и приложения на заказ. А ещё веду пару Telegram-каналов — для души и для портфолио.

В какой-то момент я понял, что мне нужно быть и в VK тоже. Ну а куда деваться — после блокировки Instagram это стало обязательным для всех, кто работает с российской аудиторией. Ну, ок. Завёл группы в VK, начал дублировать контент.

И начался ад.

Оцифровал свою медицинскую историю за 20 лет, собрал 13 AI-агентов разных врачебных специальностей и построил систему, которая помогает готовиться к визитам, расшифровывать анализы и проводить AI-консилиумы. Всё работает в VS Code + Claude Code, данные хранятся локально. Рассказываю, как устроено под капотом.

Claude Haiku фильтрует 30 RSS-лент, Opus пишет посты, а я только нажимаю кнопку

Откройте любой новостной канал в Telegram. Что там? Война, кризис, очередной скандал, «учёные предупреждают о катастрофе». Закрываешь — и настроение на нуле.

Я подумал: а что если сделать канал, где только хорошие новости? Не мотивационные цитаты, не «позитивное мышление» — а реальные научные открытия, медицинские прорывы, технологии, которые делают жизнь лучше. Факты, от которых хочется сказать «ого, круто».

Проблема в том, что вручную это тяжело. Нужно каждый день мониторить десятки источников, отбирать подходящие новости, переписывать их живым языком, подбирать картинки, публиковать в нужное время. Это 2-3 часа в день — фактически работа SMM-менеджера.

Тогда я задал себе вопрос: а что если это автоматизировать? Не полностью — я хочу контролировать, что уходит в канал. Но чтобы бот делал 90% рутины, а мне оставалось только нажать «Опубликовать» или «Другую».

Так появился @GoodN3wsChannel — и бот, который его обслуживает. Весь код — на Python, AI — на Claude API от Anthropic, хостинг — Railway за $5/мес. Общие расходы на AI — меньше 5$ в месяц.

Дальше расскажу, как это устроено внутри.

Всем привет!

В какой-то момент я понял: музыка у меня есть – а контроля над ней нет...

В текущих условиях (цензура треков, отсутствие релизов, качество звука на стриминговых платформах) внезапно вышли из тени наши старые подходы: загрузка и прослушивание музыки локально. Лично у меня в шкафу до сих пор валяется старый Sony Ericsson K550i с флешкой Memory Stick Micro, где хранится капсула времени в виде низкокачественных MP3 файлов времён школы из нулевых. Конечно, мы не будем с вами слушать подобное сейчас, так как у нас имеется возможность достать почти любой релиз в формате без потерь или в более-менее приемлемом качестве. Именно такую собственноручно собранную коллекцию я и хочу слушать, прогуливаясь в наушниках по улицам в прекрасный весенний день.

Проблема: Иллюзия памяти и стохастический хаос

Большинство проблем при работе с AI-ассистентами (Cursor, Windsurf, Kiro и др.) проистекают из одной иллюзии: мы ждем от них «памяти». Но LLM по своей природе — это стохастический stateless-исполнитель с эфемерным контекстом.

Любая сессия со временем подвергается «гнили контекста» (Context Rot). IDE автоматически суммаризирует историю, при этом важные детали реализации просто выбрасываются. Один сбой сессии или обрыв связи — и вы тратите время на повторное «обучение» модели. Я подошел к этому как к задаче проектирования отказоустойчивых систем: если процесс не может надежно хранить состояние — состояние должно быть внешним.

Парадигма: External State vs Embedded Memory

Вместо того чтобы пытаться запихнуть в модель побольше контекста, я внедрил архитектуру, где модель не обязана помнить ничего. Она каждый раз читает актуальный стейт извне. Это превращает ассистента из «умного собеседника» в предсказуемый инженерный инструмент.

Повесть о том как один программист решил разработать для себя и для всех программу, а получилась небольшая система.

Весь мой путь наполнен любовью к русским разработчикам и открытому коду, а также желанием продвигать российские IT-продукты (не все конечно).

Существует достаточно большое количество методов для автоматического подбора гиперпараметров, но у меня своя история с эволюционными методами, так что я сегодня выбрал PBT или Population Based Training или подбор на основе популяции.

Это пересказ статьи разработчика компилятора Go Кита Ренделла. Не нужно воспринимать это как перевод. Я постарался упростить и обойтись без некоторых блоков текста из статьи, которые по моему мнению могут только запутать читателя.

Как математики (почти) спасли гномов от дракона

История одной задачи с шапками, в которой я решил пойти по максимуму.