Привет, Хаброжители! Мы хотим поделиться с вами главой из книги «Алгоритмы машинного обучения» , которую уже можно предзаказать на нашем сайте.
В этой главе
1.Вариационные автоэнкодеры для обнаружения аномалий временных рядов
2.Сети смешанной плотности, использующие амортизированный вариационный вывод
3.Механизм внимания и трансформеры
4.Графовые нейронные сети
5. Исследования в области ML: глубокое обучение
Эта статья по сути является продолжением моей прошлогодней статьи, в которой я автоматизировал отклики на hh.ru. Кстати, если кому это интересно, тот проект до сих пор живой, недавно проверял :-)
В этой статье я расскажу о том, как я сделал тоже самое, но для LinkedIn, и как тоже самое можете сделать вы, потратив примерно полчаса своего времени и 0 рублей (при соблюдении определенных условий, разумеется).
Итак, недавно у меня появилась желание поискать работу на зарубежном рынке, ведь перспектива валютной удаленки выглядит весьма заманчивой, хоть и достаточно смутной в свете последних сокращений в зарубежном IT. В качестве первого ресурса для поиска работы был выбран сайт LinkedIn, а в качестве приложения для автоматизации этого поиска - проект AiHawk, который и вдохновил меня в прошлом году на создание аналогичного приложения для hh.ru. Но вот незадача - проект уже почти год как неактивен а последняя найденная версия не работоспособна. Поэтому было решено переписать данный проект, чтобы он снова мог работать.
Ваш Python-скрипт работает медленно. Вы запускаете его и смотрите, как он "висит", ожидая загрузки файла, ответа от API или завершения запроса к базе данных. Проблема почти всегда одна — ожидание. В программировании такие задачи называются I/O-bound (ограниченные вводом-выводом), и именно они "съедают" драгоценное время.
Асинхронный подход меняет правила игры. Вместо того чтобы "зависать" в ожидании, программа говорит: "Окей, эта задача пока ждет ответа от сети, а я пока займусь другой". Она эффективно использует время простоя, переключаясь между задачами и выполняя ту, которая готова к работе. В итоге общая производительность приложения, интенсивно работающего с сетью или файлами, может вырасти в разы.
Привет, Хаброжители! Узнайте, что происходит внутри черного ящика! Для использования глубокого обучения вам придется подготовить данные, выбрать правильную модель, обучить ее, оценить качество и точность и предусмотреть обработку неопределенности и изменчивости в выходных данных развернутого решения. Эта книга шаг за шагом знакомит с основными математическими концепциями, которые пригодятся вам как специалисту по данным, – с векторным исчислением, линейной алгеброй и байесовским выводом, представляя их с точки зрения глубокого обучения.
Привет, Хабр! Мы — команда DATA ОАТС в билайн. В этой статье расскажем о кейсе, когда стандартный Spark JDBC не справился с параллельным чтением огромной таблицы из ClickHouse, и мы написали свой «мини-движок». Под катом — разбор ограничений, схема с пулом потоков на экзекуторах и опыт, который может пригодиться не только для ClickHouse.
Многие начинающие разработчики обходят *args и **kwargs стороной, считая их чем-то необязательным или слишком сложным. Но на самом деле, понимание этого механизма — это качественный скачок в вашем умении писать чистый, масштабируемый и по-настоящему "пайтонический" код.
Всё началось с подготовки к финалу RuCode – масштабному соревнованию для всех увлечённых алгоритмическим программированием. Погружаясь в разбор заданий прошлых лет, мне кое-что совершенно случайно попало в руки, интересная задача: реализовать шахматы с "туманом войны" в консоли
Идея показалась мне настолько вдохновляющей, что я решил пойти дальше, а что если превратить эту консольную головоломку в настоящую игру с графикой и той самой атмосферой тумана войны, который так знаком игрокам в стратегиях
Идея зацепила сразу, представьте классические шахматы, но с элементом неожиданности. Вы не видите все фигуры противника, а только те клетки, куда могут ступить ваши фигуры. Каждый ход превращается в тактическую загадку, что скрывается в темноте? Где спрятался вражеский ферзь? и т.д.
Так обычная подготовка к соревнованиям превратилась в увлекательный эксперимент, результатом которого стала эта статья и реализация шахмат с туманом войны на Python
Привет, Хабр! Модуль itertools мне известен многим вдоль и поперёк. Ну действительно, что там сложного? Пара функций вроде chain да product, и кажется, что ничего нового для себя уже не найти. Однако стоит копнуть глубже, и выясняется, что у itertools есть немало нюансов и даже новых возможностей, появившихся в свежих версиях. В этой статье рассмотрим многие функции itertools: от базовых до самых интересных.
Привет, Хабр!
Мы тут в свободное время пилим проект, который должен решить боль многих айтишников, — автоматизировать рутинный поиск работы. Идея выросла в Telegram-бота «Аврора» , который на "автопилоте" ищет вакансии на hh.ru и откликается на них.
Но чтобы "автопилот" был полезным, он должен быть надежным. Никому не нужен ассистент, который при первом же деплое новой версии или падении сервера забывает, что он делал, и какие вакансии уже отправил.
Сегодня я хочу рассказать не столько о самом боте, сколько о конкретной инженерной задаче, с которой мы столкнулись: как обеспечить персистентность и "бесшовное" возобновление длительных пользовательских задач при перезапуске сервиса.
Под катом — наш подход к Graceful Shutdown, восстановлению сессий и немного про то, как LLM (в нашем случае Gemini) генерирует поисковые запросы.
Приветствую всем снова! В первой части мы с вами долетели из Перми в Москву, разобрались с логистикой и ценами, послушали утренние и дневные доклады Smart‑Lab Conf 2025 — от макропрогнозов до психологии трейдинга — и даже успели заглянуть на «тайную встречу» в Парке Горького. Я также поделился первым и, пожалуй, главным выводом: разительным контрастом между порой токсичной онлайн‑атмосферой Смартлаба и абсолютно конструктивной, уважительной обстановкой на офлайн‑конференции.
Дискуссия под моей первой частью получилась не менее жаркой, чем сами доклады, за что вам огромное спасибо! Комментарии — это настоящий срез мнений: от благодарностей за подробный разбор и вопросов по существу до справедливой критики («суховато, давай эмоций!») и прямых обвинений в инфоцыганстве и нерациональной трате денег. Кто‑то посчитал, что спикер, который сам платит за дорогу, не уважает себя, а кто‑то — что вся поездка затеяна ради фото с Тимофеем Мартыновым. Эти мнения важны, и я обязательно вернусь к ним в конце.
Ирония судьбы — фото с Тимофеем у меня действительно есть. Точнее, даже двойное: с живым и с картонным.
А пока — вторая половина дня. В этой части мы погрузимся в вечерние, возможно, самые лучшие доклады. Я поделюсь впечатлениями от легендарного афтепати. Мы порассуждаем о том, что на самом деле даёт статус спикера, кроме строчки на сайте визитке (спойлер: это не только тщеславие). И, конечно, подведём окончательный и беспощадный финансовый итог: я соберу все свои траты и покажу, стоила ли эта поездка своих денег. Продолжаем!
Всем привет! Я — Михаил Ша́рдин из Перми, энтузиаст автоматизации в трейдинге. Меня иногда путают с Александром Шадриным, автором блога «Разумный инвестор». Наши фамилии действительно схожи, но разные как и наши подходы: он пишет о долгосрочных инвестициях и стоимостном подходе в духе Баффетта и Грэма, а я — о технической стороне инвестиций, автоматизации и практических инструментах для частного инвестора.
На Smart‑Lab Conf 2025 я прилетел чтобы выступить с докладом про Python, Excel, API (а также чуток про машинное обучение) и одновременно окунуться в атмосферу главного события частных инвесторов России. Я хотел услышать опытных людей, посмотреть реальные кейсы и найти идеи для инструментов и статей.
А ещё важно что это не рекламная статья. Смартлаб даже не оплачивал мою дорогу и проживание — всё это только мои затраты на знания и нетворкинг. Я честно расскажу, во что обошлась поездка и какие выводы я сделал.
Также я подробно расскажу про все доклады на которых побывал.
Статья посвящена автоматической генерации видеороликов на основе нейросети Sora с автоматическим монтажём и созданием сюжета без участия человека.
Всем привет! Эта статья — продолжение материала про универсальный прототип бэкенд-приложений. В ней я поделюсь практическим опытом написания тестов и покажу, как выбранная архитектура упрощает этот процесс.
В этом материале я покажу, как всего за 30 минут встроить в ваш CI/CD пайплайн полноценное AI-кодревью и ассистента на базе открытого инструмента AI Review — без платных API и лишней инфраструктуры.
Привет, Хабр!
я Python-инженер. Последние несколько лет я в одиночку строил довольно сложную бэкенд-систему, и за это время набил немало шишек и нашел, как мне кажется, несколько интересных решений. В этой статье я хочу поделиться не "историей успеха", а конкретными архитектурными проблемами и их решениями при построении высокопроизводительного сервиса на асинхронном Python.
Статья будет полезна тем, кто работает с FastAPI, микросервисами и думает о надежности и масштабируемости своих систем.
Model Context Protocol (MCP) — это единый стандарт разработки API для сервисов, с которыми могут взаимодействовать LLM.
В этой статье на простом примере разберем, как создать свой MCP-сервер и как использовать его в связке с LLM.
Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля
Недавно увидел на просторах телеграмма заметка о том как решать алгоритмические задачи на деревья. Вспомнил, что в свое время у меня тоже были некоторые наработки, при этом они непохожи на то что описывается по умолчанию в статьях и курсах. Поэтому делюсь ими с вами и очень рассчитываю на ваш фидбэк, вдруг вам эта информация пригодится во время подготовки к собеседованиям.
Все мы видели, как нейросети рисуют крокодило бомбардино и балерин-капучино. Но я хочу рассказать, как нейросеть помогла с реальным бизнес процессом.
Это история о том, как я написал полноценную CRM-систему с помощью ChatGPT, работая обычным менеджером по работе с заказчиками.
При работе с большими объемами данных каждый разработчик сталкивается с фундаментальным ограничением — объемом оперативной памяти. Наивный подход, заключающийся в загрузке всего набора данных в одну структуру, например, список, быстро приводит к исчерпанию ресурсов и значительному падению производительности. Единственное верное решение в такой ситуации — обрабатывать информацию по частям, избегая переполнения памяти.
Примерно пол года назад ко мне обратился друг детства, Виктор. Человек, который больше десяти лет проектировал подстанции. И вот он, задаёт вопрос, который, я уверен, хоть раз слышал каждый из вас: «Слушай, я хочу в IT. Куда податься?»
Сейчас он занимается автоматизацией в одной IT компании, адаптируя LLM под внутренние процессы, но расскажу обо всём по порядку.
Вопрос не новый. Но в 2025 году, когда столько шума про AI, а рынок, кажется, набит джунами под завязку, он звучал особенно остро. Как руководитель проектов в IT, я видел другую сторону медали: сотни вакансий, где компании месяцами ищут толковых специалистов. Немного пообщавшись, задавав вопросы я выдал Виктору план. Им и хочу с вами поделиться.
Почему моё мнение может быть полезным? Я не HR и не карьерный коуч, а IT продуктовик и руковожу проектами. Слежу за ситуацией, сам искал и нанимал людей и знаю, кто нужен рынку прямо сейчас, за какие навыки платят деньги сегодня, а не в гипотетическом будущем.
