Python *

От теоремы Шеннона 1948 года до pip install rlm-toolkit 2026 года. 78 лет фундаментальной науки в одной библиотеке.

Всем привет! Меня зовут Александр, я старший инженер по верификации в YADRO. В блоге уже были статьи о том, как мои коллеги из других отделов мучают наши дисковые массивы, — одна из них тут. Наш отдел тоже работает с системами хранения данных, но без издевательств над массивами: мы проводим сертификационное тестирование. Результат трудов — сертификат, подписанный с обеих сторон и подтверждающий совместимость нашего изделия и стороннего программного продукта или аппаратного средства. Для коммерческих и государственных организаций такие сертификаты — серьезный аргумент при планировании закупки оборудования или ПО.

Вот только из-за приличного объема ручного тестирования сертификация отнимает много времени и сил, поэтому мы стараемся автоматизировать процесс. Многое пока только в планах, но кое-что уже удалось реализовать. Удачными приемами как раз и поделюсь сегодня — сможете применить в своих проектах.

Я работаю дата-сайентистом 5 лет и до сих пор испытываю боль, когда нужно сделать MVP по временным рядам. Начиная с того, как построить несколько графиков одновременно без «слипшихся» меток по осям, заканчивая поиском подходящего метода очистки ряда от аномалий. И всё это венчает цикл по каждому ряду с бесконечным жонглированием данными между numpy, pandas, sklearn, yet_another_library.

Если вы DS, и тоже, как и я, устали от вот этого всего, добро пожаловать под кат. Я покажу, как написать production-ready код для прогноза 200+ временных рядов от EDA до результата. Разберем на практике, как бороться с аномалиями, ловить смены тренда и в итоге – получить масштабируемое решение, а не очередной «велосипед».

Python прощает многое: здесь нет строгой типизации, компилятора и ручного управления памятью. Код пишется легко, запускается с первого раза и проходит Code Review. А потом на продакшене случается страшное: данные пользователей перемешиваются, сервер «замирает» под нагрузкой или биллинг списывает деньги не в тот день.

Чат боты с ИИ легко воспринимать как «умного собеседника». Они отвечают связно и выглядят почти по человечески. Но что на самом деле находится по ту сторону диалогового окна? В этом тексте собраны базовые понятия, без которых трудно без которых сложно уверенно использовать языковые модели в реальных задачах и понимать границы их возможностей.

В декабре 2025 года VK провёл RecSys Challenge LSVD — соревнование по машинному обучению с нестандартной постановкой задачи. Традиционные рекомендательные системы решают проблему "что показать пользователю", но здесь требовалось обратное: для каждого нового клипа определить, каким пользователям он может быть интересен. Такой подход помогает решать проблему холодного старта контента, когда новое видео только появляется в системе и не имеет истории взаимодействий.

Я принял участие в этом челлендже и хочу поделиться своим решением, архитектурой системы и практическими выводами.

Привет, хабр!

Сегодня мы разберём полный цикл создания торговой системы на Python: от бэктеста стратегии до её запуска в реальном времени на бирже BingX. Стратегия будет основа на индикаторах и математике, но они будут довольно неклассические и, думаю, многим это будет интересно.

Я опишу логику стратегии, покажу код и объясню каждую часть шаг за шагом. Это не просто копипаст - это полноценный гайд, чтобы вы могли адаптировать систему под себя. Мы используем библиотеки вроде Pandas, NumPy, Matplotlib и API бирж (Binance для данных, BingX для торгов).

Сейчас система находится в тесте около 2 недель. На данный момент профит составляет 5% к капиталу бота, но потеря капитала также возможна. Разберём полностью торговую систему и как провести тестирование.

Все файлы этой торговой системы, а также pine script выложил на github — можете посмотреть на код сами.

Библиотека bs4, а если точнее её класс BeautifulSoup используется для эффективного поиска элементов на html странице.

Установка:

pip install beautifulsoup4, lxml

Для запросов установите библиотеку requests, если она у вас не установлена:

pip install requests

Тренироваться будем на «тренажёре».

Получаем HTML-документ по HTTP и строим DOM-дерево с помощью BeautifulSoup

AI-агент который помнит: Python библиотека по рецепту OpenAI

Устал объяснять агенту одно и то же? Я тоже.

Взял паттерн Context Personalization из OpenAI Cookbook и упаковал в pip install:

from agent_memory import MemoryManager
manager = MemoryManager(storage=SQLiteStorage("./memory.db"))
state = manager.load_user("user_123")
prompt = state.to_system_prompt() # Память уже в промпте

Что под капотом:
— Session vs Global память
— LLM-консолидация (5 заметок → 3, умная дедупликация)
— Блокировка PII и prompt injection
— TTL для временных предпочтений

pip install agent-memory-state
Код: github.com/molchanovartem/agent-memory

Почему LangChain не справляется с 10M+ токенов? Разбираемся в RLM — новой парадигме обработки контекста с InfiniRetri (100% accuracy на Needle-in-Haystack), CIRCLE-безопасностью и поддержкой 75+ провайдеров. Полный туториал с кодом.

Долгие ML-тренировки, срочные PR и боль от git checkout посреди эксперимента – знакомо?
git worktree позволяет держать несколько веток в разных директориях одновременно и не убивать запущенные процессы.
В статье – практический workflow для ML-инженеров: параллельные эксперименты, большие датасеты, изоляция окружений и интеграция с Cursor. Всё – с командами и реальными сценариями.

В эпоху ИИ-хайпа многие обещают, что теперь кодить не нужно — достаточно «поговорить» с моделью. Автор решил проверить это на практике: за три вечера, используя только бесплатные версии Claude и Qwen, он создал прототип приложения для мониторинга игровых событий в реальном времени через чтение памяти процесса Royal Quest.

Путь оказался тернистым: от неактуальных логов и зашифрованного трафика — к CheatEngine, Wine на macOS, PyInstaller и проблемам с кодировкой. Чат-модели помогли быстро сгенерировать ядро приложения, реализовать экспорт в JSON/TXT и даже простой дашборд, но каждая итерация сопровождалась багами, потерей контекста и переписыванием кода с нуля.

Делюсь честным опытом: где ИИ действительно ускорил разработку, а где превратил её в бесконечный цикл «запрос → правка → провал». В финале — практические рекомендации: как структурировать проект для ИИ, сохранять контекст и избегать типичных ловушек.

Результат — рабочий MVP, открытый на GitHub, и убедительный вывод: ИИ — мощный соавтор, но пока ещё не замена внимательному разработчику.

Когда релиз раскатан не на всех, классическая схема "до" и "после" начинает рушиться: метрика растет или падает одновременно из-за сезонности, внешнего фона и изменений в каналах, а не только из-за продукта. При этом AB теста может не быть, но данные по группам есть почти всегда: по гео, сегментам, кластерам, витринам.

В этой статье разбираю два практических подхода, которые позволяют оценить эффект релиза в таких условиях. Первый - diff-in-diff: сравниваем, насколько изменилась метрика в затронутой группе относительно контрольной, и тем самым вычитаем общий фон, который влияет на всех. Второй - синтетический контроль: строим базовую линию для затронутой группы как сумму метрик нескольких контрольных групп с весами, подобранными так, чтобы до релиза эта конструкция максимально повторяла историю затронутой группы.

Отдельный акцент на том, что обычно искажает выводы: заметный рост или падение разницы между группами до релиза, изменения состава, локальные акции или технические инциденты в контрольных группах, а также ситуации, когда базовая линия плохо повторяет период до релиза и тогда мы измеряем в основном ошибку модели, а не эффект релиза. В конце показываю, какие проверки стоит сделать, чтобы результат не держался на удачно выбранных границах периода или на одной контрольной группе.

Если в первой части мы работали с одной временной линией метрики, то здесь переходим к более распространенному случаю: несколько групп, частичная раскатка и необходимость отделить влияние релиза от общего шума.

Привет, Хабр! Мой путь в мире IT официально начался относительно недавно: в октябре 2025 года. До этого программирование вообще не выходило за рамки увлечений. Но однажды я решил испытать удачу и выйти на тропу приключений, после которой я уже не вернулся прежним...

В любой более менее большой компании разработчиков вы найдете и человека на "окошках", и трушного линуксоида, и любителя лавандового рафа на альтернативном с яблоком на крышке ноутбука. И если человек с windows с большей вероятностью будет пользоваться WLS (подсистему linux), то вот человек с macOS попробует запустить проект у себя нативно, и это может привести к проблемам с совместимостями некоторых библиотек. Также, учитывая что с высокой долей вероятности ваше приложение будет крутиться в docker контейнере на сервере, не плохо было бы понимать то, как оно работает конкретно в нем. Поэтому зачастую решением которое подойдет всем для корректной разработки приложения без проблем с совместимостью, это запуск и отладка приложения на компьютере разработчики в независимости от установленной ОС прямо в docker. И так я описал мотивацию, перейдем же к настройке вышесказанного.

Для начала необходимо добавить установку библиотеки debugpy для работы отладчика в наше приложение. вы пожете добавить ее в общий фаил requirements.txt или добавить команду DockerFile.

Еще одна библиотека строк для Python? Легко - если у вас есть ИИ-помощник.

Рассказываю, что хотел сделать (действительно, ленивые строки), что получилось, как использовал ИИ, с какими проблемами столкнулся, какие выводы для себя сделал.

Эта статья проведёт вас через классический проект по машинному обучению — анализ датасета Titanic. Мы разберём полный цикл работы: от первоначального знакомства с данными и их очистки до построения и валидации первых предсказательных моделей. Вы узнаете, как преобразовывать категориальные признаки, создавать новые переменные, бороться с пропущенными значениями и оценивать качество моделей через ключевые метрики. На примере Random Forest и логистической регрессии наглядно показываю, как разные алгоритмы решают одну задачу и почему выбор модели зависит от поставленной цели.

Это первая статья из цикла о построении CDC-пайплайна в домашней лаборатории.
Полный путь: Telegram → PostgreSQL → Debezium → Kafka → HDFS → DWH.
Но любой пайплайн начинается с данных — и эта статья про их получение.

Зачем двигать ползунки мышкой, если вы знаете Python? В статье разбираем Manim — библиотеку, с помощью которой создаются видео на канале 3Blue1Brown. Установка, отличие версий, рендеринг LaTeX-формул и код для вашей первой процедурной анимации. Превращаем скрипты в MP4 без единого кейфрейма.

Хочется сделать проект с ИИ, но нет ни бюджета, ни опыта в ML, ни мощного железа?
В этой статье я расскажу, как, работая системным администратором и имея нулевые знания Python, собрал локального ИИ-бота для анализа резюме. Без облаков, платных API и «магии».

Речь пойдёт о реальном опыте: выборе модели, запуске LLM на слабой видеокарте, интеграции с Telegram и о том, какие задачи такой бот действительно может решать в работе HR и руководителей. А также — что это дало мне как специалисту и почему подобные эксперименты полезны, даже если ты пока «зелёный».