Машинное обучение *

Два дня Клод Opus 5.5 и Кодекс Astra 6 булькали и чавкали, а на третий выдали рейтинг сотни университетов по 49 пунктам критерия, который им задал. Начал с того, что попросил их найти все университеты Калифорнии и стран бывшего СССР, в которых есть курс, аналогичный курсу 6.111 из MIT: лабы по Verilog+FPGA+cобственный проект студента. Затем решил размахнуться пошире и дал ИИшам проработать тему “не все курсы по верилогу одинаковые”.

Открытые системы редко конкурируют на равных с закрытыми лидерами индустрии: у их разработчиков обычно меньше вычислительных ресурсов и данных, чем у крупных лабораторий, и это сказывается на качестве. Kimi K3 — исключение: ее веса можно скачать и развернуть у себя, а на части независимых бенчмарков она обходит закрытые решения GPT и Anthropic. В этой статье я разбираю недавно опубликованный разработчиками официальный отчет, чтобы понять, что стоит за такими результатами.

Как устроен наш мозг и какие информационные процессы в нём протекают? Какие цели он преследует? Какой моделью данных и какой алгеброй можно передать его работу? Почему мы подвержены разным когнитивным искажениям? Как использовать наш мозг на полную катушку? И т.д. и т.п.

Меня зовут Михаил Кочеров. Вопросы выше не дают мне покоя. Хочется понять, как работает наш мозг. А что значит понять? Вот знание о морфологии мозга или о его развитии от момента зачатия до момента смерти — это понято или нет? Каждому своё. Для меня понять — значит, уметь воспроизвести пусть и в упрощённом виде. Постичь ключевые механизмы и знать, как из них собрать работающую систему, воспроизводящую интеллектуальные свойства мозга.

Есть такая работа — несколько лет подряд считать рейтинги российских промышленных компаний по открытым данным. В последний год я всё чаще вижу один и тот же тип кейса: у компании уходит вендор, а готового продукта на замену просто нет. С рецептурами масел у «Газпром нефти» было именно так — покупать было вообще не у кого, потому что такого продукта никогда не существовало. Разбираюсь, как компания построила свою нейросеть «Алхимик» и что это меняет для остальной отрасли.

В RAG недостаточно найти документы на нужную тему: они должны содержать сведения, из которых можно обосновать ответ. Разберём три способа исследовать эту границу — от внешнего оценщика контекста до анализа активаций модели и испытаний на противоречивых свидетельствах.

Меня зовут Настя, я Data Scientist и TeamLead. Сегодня хочу рассказать про вредную занозу, которая засела у меня в голове и далее я не могла это игнорировать.

Сейчас я читаю книгу Себастьяна Рашки «Строим LLM с нуля». Читаю по-взрослому: глава за главой, с открытым Jupyter рядом и кружкой кофе (не первой). И на разделе 2.8 про позиционные эмбеддинги я встала. Прямо как вкопанная.

Причём там не сложно! В книге это буквально три строчки кода: есть таблица эмбеддингов слов, есть таблица эмбеддингов позиций, складываем — и вперёд, к attention. В других учебниках и статьях то же самое: «просто прибавим вектор позиции той же размерности». Ну понятно же? Понятно. Только в голове вместо ясности почему-то остался список вопросов:

Привет! Это команда AI VK. В конце января мы рассказали про Discovery-платформу — единый инфраструктурный слой для рекомендаций, поиска и рекламы во всех продуктах VK. Тогда разобрали её устройство, а теперь расскажем, что улучшили за последние месяцы — от запуска Discovery Portal до оптимизации инфраструктуры — и как эти изменения повлияли на продукты. 

Недавно я прочел статью про pyrusmorph — python обёртку над 30-летним с++ ядром libmorph/rus. Бенчмарки удивили: в 30 раз быстрее PyMorphy3 при обработке текста. После я задумался. Как это вообще работает? Почему мы пишем import pyrusmorph и получаем доступ к нативному с++ коду и функциям прямо внутри python.

В статье я предлагаю пройти этот путь с нуля. Разобраться, как устроен Python «под капотом», написать своё расширение на чистом C‑API, а потом посмотреть, как эту боль лечит pybind11. В конце — бенчмарки и практические советы, когда вообще стоит лезть в c++ для оптимизации. Бонус — немного о компиляторе python кода (JIT‑компилятор)

Под диплом мне нужен был датасет по средствам индивидуальной защиты. Шесть классов, и хуже всех в открытых наборах представлена сварочная маска: после удаления дублей около двух тысяч кадров. Я нарезал видео, получил в пять-шесть раз больше кадров, чем попало в итог, и упёрся в разметку.

Auto Label у Roboflow задачу решал, но на бесплатном тарифе это полгода ожидания, а платный прогон по всему массиву обошёлся бы примерно в двести долларов. Поэтому я написал автоаннотатор на SAM3: пятнадцать файлов на PyQt6, текстовые промпты вместо обучения, пороги по классам.

Главный трюк — конфликты классов. SAM3 находит «руку» и «перчатку», а нарушение приходится вычислять вычитанием: если бокс руки перекрыт перчаткой больше чем на четверть, он уходит в нарушение. На этом держится вся разметка шести классов.

Итог: 12 576 кадров, 104 726 боксов, одна ночь на RTX 4060 Ti, ноль рублей. Модель на датасете даёт mAP50 = 0.825. В статье есть код и разбор того, где SAM3 врёт.

Когда говоришь «я анализирую данные бирж»/Quantitative Analyst, собеседник представляет нейросеть, которая видит будущее, и ключи от спорткара. Реальность скромнее: квант-исследователь большую часть времени ловит за руку самого себя.

Это разбор одного большого исследования данных криптовалюты только для одной валюты ADA: 9 лет минутной истории, стаканы с 16 бирж, своя нода блокчейна и около 3 000 гипотез. Мы переведём график цены в «текст» и скормим его трансформеру, устроим эволюцию формул, проверим RSI, уровни Фибоначчи, Луну и ретроградный Меркурий, попадём в три статистические ловушки, которые рисуют сигнал из ничего, и выберемся из них.

Внутри: почему модель, угадывающая 92 % случаев, теряет 80 % денег в год; почему лучшая из миллиона формул всегда выглядит гениальной; откуда у топ-копитрейдеров ×60 за год и чем они отличаются от монетки с плечом. А ещё — восемь признаков, которые честно знают о рынке больше самой цены, и чек-лист, как не обмануть себя на данных.

Спойлер: Грааль не найден. Зато найдено кое-что поинтереснее — понимание, где его точно нет.

Qwenputer — это обычная Qwen 3.5 4B, в веса которой скомпилирован 32-битный процессор RISC-V (RV32IM). Оперативной памятью ему служат собственные слои Gated DeltaNet модели: при гейте 1, силе записи 1 и one-hot-ключах каждая запись перезаписывает ровно одну строку состояния, а one-hot-запрос возвращает точное значение. Процессор занимает 11 слоёв перед 32 слоями Qwen, проходит официальные riscv-tests и выполняет C и MicroPython внутри прямых проходов модели, без внешних инструментов. На длинной арифметике NUPA точность выросла с 48,6% до 100%, примерно на 230 000 позиций вывода не нашлось ни одного расхождения с эталонной машиной. Автор объясняет, как это устроено, где ограничения и как к модели прикрутили файловую систему.

В марте мне позвонил знакомый, у которого сеть клиник в двух городах. Позвонил не по делу, а с вопросом, который в этом году я слышу почти каждую неделю: «Слушай, а я попросил Алису, где у нас лечат зубы — она назвала три клиники в соседнем районе. Про нас ни слова. У нас что, сайт сломался?»

Сайт у него не сломался. Сайт у него в порядке: трафик из поиска идет, заявки есть, карточки в Картах заполнены. И вот это самое неприятное в новой реальности — можно иметь здоровый сайт, нормальную выдачу и при этом быть невидимым там, где люди теперь принимают решения.

Я SEO занимаюсь больше десяти лет, и последние два года у меня уходит заметная часть времени на одну и ту же работу: я сажусь и выясняю, что нейросети говорят о бренде. Не что написано на сайте, не какие позиции в Яндексе, а что именно модель перескажет человеку, который спросит «посоветуй, к кому пойти». Это отдельный слой реальности, он живет своей жизнью, и туда просачивается все: старые отзывы, битые адреса из справочников, цены двухлетней давности и чужие статьи, которые вы никогда не читали.

В прошлых статьях я разбирал техническую часть — как сайт доходит до нейросети и десять мифов о GEO. Здесь хочу поговорить о другом. О том, что происходит с репутацией, когда ее пересказывает машина, и что с этим можно сделать руками, без покупки волшебных пакетов.

Итак, вы отправляете запрос через сайт или приложение. В этот момент начинается его путь к подробному и, возможно, корректному ответу. По дороге запрос проходит через несколько систем, причем каждая выполняет свою задачу. Давайте разберем этот процесс.

Всем привет! С вами Сергей Ковалёв, менеджер продукта Выделенные серверы в Selectel. Сегодня расскажу, как устроена серверная инфраструктура ИИ-сервисов, с которыми каждый день работают менеджеры, поддержка, продавцы и специалисты сотен других профессий. Разберемся, почему качественный ИИ-сервис — это не только LLM, агент и GPU с большим объемом RAM, но и балансировщик, API, nginx, NVLink и другие компоненты. Подробности под катом.

Представьте угольный разрез, по которому ездят более 200 самосвалов. Распределяют их работу диспетчеры по рации. Но человеку очень сложно обработать такое количество информации и не упустить, чтобы все было вовремя: заправка, пересменки и т.д. Как говорит статистика, за смену набегает более 10 000 отклонений от нормы – нереальное число, чтобы человек успел на все отреагировать.

Отсюда и возникла идея у инженеров «Операционного совершенства» (OES): над действующей системой мониторинга создать надстройку из ИИ-модулей, которая балансирует самосвалы и ловит потери и простои в реальном времени.

В прошлой статье я пообещал дообучить самую маленькую модель своего лаунчера Lumi прямо на MacBook и показать, что выйдет, «даже если станет хуже». Как в воду глядел. После 328 примеров и LoRA через MLX модель решила, что 2 + 2 × 2 = 4, а «скуф» — это лодка, и набрала на запечатанном экзамене 4 из 23 вместо 6. Со второй попытки я вернул её к исходным 6. Рассказываю, что пошло не так, почему маленькой модели мало нескольких сотен примеров и почему обученную модель пока нельзя перенести в Ollama.

LLM умеет рассуждать и генерировать ответы, но что делать, если системе нужно самостоятельно выполнять задачи, взаимодействовать с внешними сервисами и проверять результаты своих действий? Здесь начинается территория ИИ‑агентов, где появляются новые архитектурные решения и сложности. Разбираемся, как устроены агентные системы, какие подходы к планированию и взаимодействию агентов существуют и что необходимо учитывать при их разработке.

В данной статье мы рассмотрим применение периодических функций в качестве функций активации в нейросетях. Мы проведём сравнительные эксперименты на простых сетях и посмотрим, как периодические активации (например, sin) ведут себя в сетях.

Мы делаем учебную игру: человек пишет цель своими словами («таблица умножения», «дроби за 5 класс», «английский для поездки»), а игра строит под неё путь из локаций. В каждой локации — порция из пяти заданий. Готовых курсов нет: тема может быть любой, поэтому задания пишет языковая модель (Claude от Anthropic) — под цель, уровень и последние ответы игрока.

Придумывает задания модель хорошо, а считает плохо. В октябре мы разобрали 68 жалоб «Задание с ошибкой?» — игроки отправляют их кнопкой прямо из урока. Типичные случаи:

Попросила нейросеть объяснить слепоту летучих мышей и отказ Мережковского от Нобелевской премии. Модель начала сомневаться, даже если в начале уверенно спорила со мной. Разбираю, как мы закладываем ошибки в вопросы и какие подробности стоит проверять, даже когда нейросеть нас правильно поправила.

Раннее мы описывали библиотеку FAIRouter для маршрутизации запроса к оптимальному исполнителю. В текущей редакции поддерживаются только LLM, но класс исполнителей планируем расширять также на инструменты и агентов. Но тема того какая математика стоит за всем этим осталась не до конца раскрыта.