Обновить
1024K+

Машинное обучение *

Основа искусственного интеллекта

1 288,4
Рейтинг
Сначала показывать
Порог рейтинга

Почему RAG ошибается в похожих документах — и как помогает Contextual Retrieval

RAG часто ломается не там, где ждёшь. Документы нарезали, embeddings посчитали, reranker добавили — а модель всё равно вытаскивает похожий, но не тот фрагмент: другой квартал, другую версию, другой раздел спецификации.

После нарезки документ распадается на отдельные фрагменты, и часть смысла теряется: модель видит чанк, но уже хуже понимает, откуда он взялся и к чему относится. Недавно в статье разобрали Contextual Retrieval — подход, при котором перед индексацией каждому фрагменту добавляют короткий контекст: место в документе, связь с разделом, важные уточнения. Это помогает поиску точнее отличать нужный фрагмент от похожих по словам, но нерелевантных кусков.

А 13 июля в 18:00 на бесплатном уроке «LoRA и RAG: как адаптировать LLM под свои данные и задачи» разберём, как такие подходы применяются на практике, когда нужно подстроить LLM под собственные данные, а не надеяться на ответы «из коробки». Присоединяйтесь.

Теги:
+6
Комментарии0

Профессор Брауновского университета устроил для своих студентов промежуточный домашний экзамен. Решив, что многие выполнили эту работу с помощью ИИ, итоговый экзамен преподаватель провёл очно. Оранжевыми точками обозначены оценки за промежуточный экзамен, серыми — за итоговый. Похоже, на промежуточном экзамене ИИ помог многим, кроме нескольких студентов.

Теги:
+8
Комментарии2

Галлюцинация — это единственный режим функционирования нейронной сети, а не аномалия. Просто иногда она совпадает с реальностью, а иногда нет. Но лучше бы, конечно, совпадала.

В книге «Беседы с ГигаЧатом: о нейросетях и вообще» мы сравниваем человеческое мышление с машинным. И если человек не осознает альтернатив — он тоже галлюцинирует. Например, мы уверены в реальности сновидения, пока не проснемся. Или другой известный пример: уверенность очевидцев происшествия в своих показаниях, даже если у всех они разные.

С галюцинациями борется сомнение. Но трудно сказать, что первично: то ли наличие альтернатив порождает сомнение, то ли сомнение заставляет рассматривать альтернативы.

В любом случае, для борьбы с галлюцинациями нейросетей, необходимо закладывать в них функцию сомнения. И это тоже осуществляется двумя способами. Первый — сначала нейросеть генерирует альтернативы, а затем сравнивает их между собой. И для некоторых задач это оптимальное решение, вот только очень затратное.

Второй — нейросеть сразу подвергает свой ответ проверке, словно сомневаясь в нем, и уже по ее результатам генерирует альтернативную версию. Для таких проверок суждений и фактов существуют различные методы, к выбору которых можно и нужно подходить гибко, для экономии ресурсов.

Но все эти методы лишь увеличивают качество ответов. Галюцинация, как явление, непобедима в рамках одной нейросети. Даже проверяя саму себя — она галюцинирует. Нейросеть может лишь симулировать сомнение, для котооого необходим "взгляд извне": контроль со стороны или человека, или другой нейросети. Мне кажется.

Как же тогда работает сомнение у людей? Что в нас является таким "внешним наблюдателем"? Видимо, само осознание. А почему оно "внешнее"? Хороший вопрос.

Теги:
+1
Комментарии1

Observability ИИ‑агентов: запустили Monium Traces в Yandex AI Studio

Теперь можно анализировать поведение ИИ‑агентов в Yandex AI Studio с помощью трейсов прямо в UI платформы. Трейсы показывают всю цепочку решений агента и контекст каждого шага — системные промпты, вызовы модели и инструментов, промежуточные результаты. Всё, что реально влияет на поведение агента.

Почему это важно
Observability для агентов устроена принципиально иначе, чем для обычных сервисов, где нам доступен дебаг по коду. В случае ИИ главный материал — большие тексты: системные промпты, сообщения пользователя, ответы модели, вызовы тулов. Даже когда инфраструктура может быть полностью «зелёной» — latency в норме, ошибок нет — агент может уверенно отдавать неверный ответ или уходить в бесконечный цикл вызовов. Классический мониторинг здесь не поможет: он не покажет, почему модель выбрала не тот тул или потеряла контекст.

Анализ трейсов:

  • помогает быстро понять причину конкретных ответов и поведения агентов

  • ускоряет отладку сложных сценариев

  • повышает прозрачность работы агента

  • позволяет точно локализовать узкие места в цепочке обработки запроса

В видео — как выглядит трейсинг в интерфейсе Yandex AI Studio:

Чтобы начать — откройте AI Studio, перейдите во вкладку «Логирование» и подключите отслеживание трейсов моделей и агентов.

Теги:
+9
Комментарии0

LLM, RAG, AI‑агенты и продакшн: открытые уроки по искусственному интеллекту

В AI‑разработке уже мало просто подключить модель по API. В реальных продуктах приходится понимать RAG, дообучение, мультимодальность, поведение LLM, инфраструктуру, качество ответов и вывод моделей в продакшн.

Собрали подборку беплатных уроков для специалистов, которые работают с LLM, ML‑моделями, AI‑агентами, компьютерным зрением и AI‑инфраструктурой. Выбирайте свою тему и присоединяйтесь:

LLM, RAG и адаптация моделей

AI‑агенты и архитектура ИИ‑приложений

ML/DL и компьютерное зрение

Инфраструктура и продакшн

Прикладные сценарии

Что почитать по теме

  1. Как создать своего первого ИИ‑агента за 30 минут

  2. Как работают ИИ‑агенты для разработки

  3. Почему AI‑агенты ломаются на длинных задачах

  4. Как прокачать ИИ‑агента без дообучения: Agent Skills

Больше открытых уроков июля смотрите в дайджесте.

Теги:
+4
Комментарии0

Старт третьей рубрики ИТ-кроссворда уже через 30 минут 🦖

В 12:00 по московскому времени открываем новую рубрику ИТ-кроссворда — «Безопасность ML и AI». В публикации вас будут ждать вопросы об использовании ML в ИБ и новых типах угроз.

Зарегистрироваться →

👉 Отвечать на вопросы можно с 12:00 до 18:00 (МСК). Среди призов — комплекты эксклюзивного мерча Selectel и бонусы на аренду серверов.

Напоминаем, что завтра вас ждет заключительный кроссворд, однако бороться за первое место в общем зачете не обязательно, вы еще успеваете посоревноваться и выиграть призы! Победители и номинанты будут в каждой из четырех рубрик.

Теги:
+8
Комментарии0

YouTube научили проверять факты прямо во время просмотра — представлено бесплатное расширение для Chrome под названием Popup Fact Check, которое анализирует субтитры с помощью ИИ и сразу сверяет спорные утверждения с надёжными источниками. Пока что проект лучше всего работает с английскими субтитрами. Также решение умеет работать с прямыми эфирами.

Теги:
+5
Комментарии1

Выигрывайте эксклюзивный мерч и бонусы на аренду серверов в ИТ-кроссворде. Старт через полчаса

Уже в 12:00 по московскому времени открываем первую рубрику ИТ-кроссворда — «Модели и все, что с ними связано». Среди призов — 13 комплектов мерча и промокоды на аренду серверов.

Зарегистрироваться →

Напоминаем, что новые рубрики будут открываться каждый день с 6 по 9 июля. Отвечайте на вопросы и набирайте баллы, чтобы выиграть призы. 🦖 Не обязательно бороться за первое место в общем зачете. Победители и номинанты будут в каждой из четырех рубрик!

Теги:
+11
Комментарии0

Claude Code превратили в автомобиль — для него сделали механическую коробку передач Model Shift с ручным переключением между ИИ-моделями. Во время работы можно в любой момент переключиться на другую модель для простых задач, а затем вернуться обратно.

Теги:
+1
Комментарии0

Написал новую, третью статью из серии «Как работают большие языковые модели»

Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите


Что внутри ⤵️

1. Про открытые модели и почему мы используем их как пример
2. Из чего складывается цена токена
3. Про Dense и MoE архитектуры
4. Как считается attention и активные параметры
5. Total ≠ active: тренд на MoE архитектуру
6. Почему output-токены дороже input
7. Reasoning-токены как невидимый output, за который тоже приходится платить
8. Context Window и KV-cache — почему длинный контекст дорогой
9. Как посчитать вес одного токена и из чего он складывается
10. В чем разница между KV-cache и prompt caching
11. За счет чего фронтир модели стоят в разы дороже
12. Почему дорогая модель чаще всего реально «умнее»
13. Как всё это итого собирается в 5-часовой лимит

14. И как бонус — сортировка open-weight моделей по active и total

---------------

Вот две предыдущие статьи из этой же серии

Прочитав эту серию постов, вы станете намного лучше понимать принцип работы современных LLM и агентных систем

Теги:
+4
Комментарии0

Стало возможно сэкономить до 60% токенов при использовании нейросети Fable 5 — представлен способ доработать ИИ-систему и платить Anthropic в разы меньше.

Инструмент pxpipe берёт полотна промптов и превращает их в картинку. При считывании изображений платить приходится за каждый обработанный пиксель, а не за буквы на нём, благодаря чему метод куда выгоднее. В демо автору удалось выполнить ту же задачу, что и обычным промптом, но в 7 раз дешевле: за $6 против $42. При этом Fable идеально считывает текст на картинках, несмотря на сжатие. В 39 протестированных картинках нейронка Anthropic безошибочно поняла весь промпт.

Ранее разработчики обратились к специализированному инструменту Caveman, который заставляет ИИ генерировать максимально краткие ответы с имитацией стиля речи «пещерного человека». Автор инструмента Джулиус Брюсси в своё время обратил внимание на то, что значительная часть бюджета компаний расходуется на «болтовню» языковых моделей. Caveman удаляет из ответов чат-ботов слова-связки, приветствия и вводные конструкции, сохраняя программный код, команды, URL-адреса и технические детали. 

Теги:
+4
Комментарии1

Google бесплатно раздаёт миллион токенов для работы с искусственным интеллектом Gemini. Чтобы воспользоваться предложением, достаточно зайти в Google AI Studio, выбрать или создать проект и сгенерировать API-ключ. После этого можно настроить квоты под свои задачи — процесс не требует дополнительных подтверждений или регистрации. Миллион токенов можно использовать с моделями Gemini 2.5 Flash, 2.5 Flash-Lite и 2.5 Pro. Этого объёма хватит на месяцы активной работы: генерацию и анализ текстов, написание кода, дизайн, обработку данных и другие задачи. Подробная инструкция по получению ключа и активации токенов размещена на официальной странице Google AI Studio.

Теги:
+4
Комментарии6

Моя реакция на новость "Сочинский филиал РУДН первым в России отменил дипломные работы из-за нейросетей":

Прошло три с половиной года с момента выхода ChatGPT. Похоже страсти устаканиваются и вузы вместе со школами приходят к единственному возможному выходу из ситуации: вообще перестать ставить оценки за все что делается дома. Оценки - только за устные экзамены у доски или письменные в закрытой комнате без доступа к электронным устройствам. Возможно с экранированием от WiFi и мобильного интернета, и даже осмотром ушей на предмет наличия наушника с микрофоном.

И экзаменционные лабы типа “покажи-ка как ты делаешь семиступенчатый синтез органического соединения с бумажным учебником и бумажным же справочником в руках”. Для тех кто такого не делал: это на самом деле очень творческое задание, требует тонкой наработанной упражнениями интуиции о побочных эффектах ~тысячи реакций из учебника Vollhardt & Schore, который используется в американских вузах. И карты местности органических соединений в голове.

При этом домашние задания нужно конечно же раздавать, но оценки за них не ставить. Если студент или школьник хочет их делать, не подглядывая в ИИ - хорошо, молодец, тем самым он себя натренирует, будет хорошо чувствовать на экзамене и в будущей профессии. Не хочет - тоже хорошо, получит кол на экзамене, вылетит из вуза, меньше нагрузки на систему образования. Пусть идет в “ИИ-университет”, где за значительные родительские деньги получает “ИИ-диплом” который будет рассматриваться работодателями как филькина грамота.

При этом разумеется из вузовских программ нужно убрать всякие скопившиеся там ветхости. Например мне в 2015 году декан вуза из Поволжья жаловался что министерство образования требует от них учить студентов микроконтроллерам на основе КР1816ВЕ48, советского аналога Intel 8048, предшественника Intel 8051. Эта фиговина из 1976 года использовалась вроде в клавиатурах ранних IBM PC.

Тут проблема даже не в том, что этот микроконтроллер старый - есть куча полезных для целей образования старых компьютеров, например CDC 6600 из 1964. Проблема в том, что 8048 ничего такого интересного не иллюстрирует, что можно проиллюстрировать на современных актуальных RISC-V микроконтроллерах. А вот в CDC 6600 есть в довольно чистом виде идея out-of-order scoreboard (внеочередного выполнения инструкций), которая актуальна и для современного проектирования, вместе с алгоритмом Томасуло из 1967 года (IBM System/360 Model 91). Томасуло учат во всех серьезных американских вузах, и даже ИИ вставляет их в резюме, которое оно пишет студентам.

Я бы на месте российского министерства образования требовал от вузов быстро повнедрять курсы программирования встроенных систем с российскими RISC-V микроконтроллерами К1921ВГ1Т от НИИЭТ и Baikal-U от Байкал Электроникс. Они уже человеческие по мировому гамбурскому счету (то есть это не ухудшение по сравнению с преподаванием западных STM32 или ESP32), их можно привязать к курсам компьютерной архитектуры на основе RISC-V, и это связка вузов с промышленностью. Учить на них также какую-нибудь российскую RTOS итд.

Теги:
+26
Комментарии29

Ближайшие события

Как все так ловко ИИ пользуются... Обзоры кода делают...

Не знаю, то ли я туповат, то ли невезучий, то ли кругом сказочники. Пытаюсь исследовать, какие новые интересные виды ошибок может находить ИИ в С++ коде, о которых не знает PVS-Studio. Claude Opus то нормально мне про интересные баги рассказывает, то на ровном месте с ума сходит.

Даю файл на вход, а он тревожно:

В присланном файле есть места, где содержимое обрезано/повреждено вставкой </context>, поэтому их я не рассматриваю как «баги кода» — это артефакты форматирования. Разберу реальные логические ошибки.

Шо? Какой context? Там максимум — это #include "context.hxx". Ну ладно, давай ошибки посмотрим.

Так, парочка сообщений по делу. Например, найден лишний аргумент при использовании функции форматирования.

addErrorMessage(&sciErr, API_ERROR_CREATE_ZDOUBLE_IN_NAMED_LIST,
    _("%s: Unable to create list item #%d in Scilab memory"),
    "createComplexZMatrixOfDoubleInNamedList", _iItemPos + 1, _pstName);

В строке форматирования два спецификатора %s и %d, а передаются три аргумента: funcName, _iItemPos+1, _pstName. Да, это баг. Про подобные паттерны PVS-Studio уже знает, хотя, возможно, нужно подсказать, что addErrorMessage — это printf-подобная функция. В целом, тут неинтересно, идём дальше.

Ооо, и тут начинается...

checkListItemPosition — неправильное сравнение границы:

// check a valid item
if (_iItemPos > iItem)
{
    addErrorMessage(...);
    return sciErr;
}

Здесь проверка «позиция валидна» использует >, хотя позиции 1-based, а iItem — количество элементов. Это выглядит как граничный дефект, но по сути _iItemPos == iItem допустимо, _iItemPos > iItem — ошибка. Это в порядке — правильная граница. Не баг. (Указываю, чтобы было понятно, что я это проверил.)

Так баг или не баг? Я три раза прочитал текст и посмотрел функцию с кодом. В итоге я не только не понимаю, есть ли здесь ошибка, но и не понимаю, что Claude пытается мне сказать.

Дальше ещё хуже шарики за ролики зашли.

Баг 5 (реальный): утечка в readCommonMatrixOfPolyInNamedList и др. — нет, это API отдаёт указатели наружу. Не баг.

Это всё описание пятого бага, больше ничего нет. Комментировать — только портить.

Я не понимаю, как на всём этом можно строить хоть сколько-то надёжные процессы автоматических обзоров кода, про которые в последнее время из разных утюгов вещают.

На сегодня мне ИИ достаточно. Пойду лучше пройдусь по парку, пока погода хорошая.

Теги:
+18
Комментарии6

Всем привет. У моего фреймворка Meta-Spider (про него можно почитать здесь) вышло большое обновление. Статью мне пока лень писать, так что будет пост.

Мы постоянно просим языковые модели «быть осторожнее» или «сказать, если не уверены». Работает это плохо: слова заходят, поведение не меняется. Причина в том, что неуверенность модели живёт в её внутренних активациях — там, куда текстовый промпт просто не достаёт.

meta-spider обучает тонкую обвязку (~2% параметров) поверх замороженной базовой модели. Она читает собственные скрытые состояния модели, сжимает их в «когнитивные токены» и впрыскивает обратно через cross-attention с вратами. В итоге модель отвечает уверенно там, где знает, и отказывается / идёт искать / уточняет — там, где нет. Веса базы при этом не меняются вообще.

Главный результат: латентный канал бьёт промпт

  • Отказ на неотвечаемом вопросе: текст-промт сдвинул с 0.07 до 0.07 — то есть вообще никак. Обвязка — до 0.87.

  • Поймано собственных ошибок базы: текст-промт 14%, обвязка 78%.

Просто попросить модель быть неуверенной — почти не двигает её. Обвязка двигает в разы, потому что работает с сигналом, до которого промпт не дотягивается.

Важный нюанс методологии, на котором мы сами споткнулись: читать латентный сигнал надо тем каналом, в который обвязка обучена — она генерит фразу-отказ, а не выбирает искусственную «UNSURE»-опцию. С кривым ридаутом обвязка выглядит инертной (это был наш баг).

Три новые фичи

🎚️ Ручка неуверенности. Инъекция — один регулятор времени исполнения: крутите вверх для осторожности, вниз для уверенности, в минус — инверсия. Микшерный пульт для поведения. gain 0→1.5 плавно крутит долю отказов ~2%→51%.

🐕 Сторож. Иногда не нужно менять вывод — нужно просто знать, что модель не уверена. Лёгкая проба читает этот сигнал и позволяет сходить в RAG / переспросить / эскалировать, не трогая генерацию (постоянная инъекция портит длинную генерацию, а чтение — нет).

UPD (Забыл добавить): Помимо этого сторож чинит многоступенчатую генерацию (например когда модель кодит), до этого периодические иньекции приводили к значительной деградации, притом на QA это не заметно, потому что модель генерит сама немного токенов. Сторож позволяет усиливать сигнал неуверенности только в нужные моменты, от этого количество иньекции значительно снижается, и не происходит деградирующего самоусиления.

🏭 Фабрика обвязок. Одна команда собирает общую обвязку неуверенности под любую базу:

metaloom build-universal --model-name N --quantization nf4 --suite suite.json --eval --export-gguf

На агентном суите из 6 осей это единственный вариант, не провалившийся ни на одной оси — калибрована по всему пространству решения, а не просто «переученная отказываться».

Чем практично

База заморожена, обвязка ~2% модели, весь цикл collect→train→eval прогоняется на ноутбучной GPU с 4 ГБ (nf4 + срез-тренер), а деплой — в llama.cpp на CPU через маленький GGUF-sidecar. GPU на инференсе не нужен.

Стоит заметить, что это про калибровку, а не про сособности. Модель умнее не становится — обвязка вытаскивает уже существующий внутри сигнал неуверенности и превращает «ответить наугад» в «ответить, когда уверен».

Как начать

Есть CLAUDE.md. Рекомендую для использования фреймворка поначалу использовать ИИ-агента, способоного к продвинутому рассуждению в кодинге (Codex, Claude Code, DeepSeek V4 Pro через агентный движок и провайдера, которых вы предпочитаете), чтобы быстро опробовать и проверить его возможности.

Ссылки:

Теги:
+3
Комментарии0

Представлен бесплатный LLM‑курс, чтобы вкатится в разработку нейросетей — Large Language Model Course. В проекте три части:

  • LLM Fundamentals: вся база для новичка, основы Python, математики и построения нейросетей;

  • LLM Scientist: научат тренировать свои нейросети, познать файнтюн, квантизацию и другие ИИ‑термины;

  • LLM Engineer: вершина, где учат создавать полноценные ИИ‑сервисы и интегрировать их в бизнес‑процессы.

Теги:
+6
Комментарии0

Как Форк ИТ обучил ИИ‑систему контроля качества горной добычи

🏭 Что за компания
Форк ИТ —  российская команда разработчиков, которая специализируется на цифровой трансформации промышленности. Компания запускает проекты по автоматизации контроля качества, прогнозированию нагрузок и оптимизации производственных процессов с использованием машинного обучения.

⚡ Задача
Крупному горнодобывающему предприятию была нужна ИИ‑система, которая оценивает качество сырья и заранее замечает аномалии в технологическом процессе, снижая риск брака и остановок. Требовалось быстро обучить модели на больших массивах данных и запустить их в работу без остановки действующих ИТ‑систем и без закупки собственной GPU‑инфраструктуры. При этом требовалось обеспечить высокий уровень безопасности данных (187-ФЗ, 152-ФЗ).

☁️ Что сделали
Форк ИТ арендовал GPU‑ресурсы и воспользовался средой для разработки и обучения ИИ в облаке Cloud.ru. Важнейшим компонентом будущей системы было компьютерное зрение, способное анализировать гранулометрический состав руды, размеры кусочков сырья, структуру флотационной пены при извлечении интересующих фракций. Данные о технологических процессах загрузили в облако, настроили пайплайн подготовки и запустили серию экспериментов с ML‑моделями, гибко масштабируя мощности под каждую итерацию обучения. 

🦾 Что получили в итоге
Форк ИТ смог быстро протестировать гипотезы благодаря использованию GPU A100, увеличить точность прогнозов и сэкономить на капитальных расходах. Cloud.ru выступил платформой для тяжелых задач по обучению моделей и анализу больших данных. Ну а предприятие получило ИИ‑систему, которая уже успешно снижает риск брака и незапланированных остановок производства. 

Читайте подробнее на сайте.

Теги:
+4
Комментарии0

Claude и Codex научились проходить модерацию App Store вместо разработчиков — инструмент greenlight сам находит причины будущего отказа и тут же их исправляет. Htitybt проверяет приложение по требованиям Apple, автоматически устраняет найденные ошибки и повторяет проверки до тех пор, пока шанс получить отказ не станет минимальным.

Теги:
+3
Комментарии0

Представлен открытый проект OmniRoute — The Free AI Gateway. Это провайдер OmniRoute, который обеспечивает 160+ бесплатными нейросетями:

  • выдаёт токены, подключает один эндпоинт для всех API и самостоятельно отправляет нужные запросы: агрегация бесплатных токенов, что позволяет получить до 1,6 млрд бесплатных токенов в месяц (а в первый месяц с учётом бонусов — до 2,1 млрд). Для старта не требуется банковская карта, а 11 нейросетей (например, Kiro, Qoder, Pollinations, LongCat) остаются бесплатными навсегда;

  • объединяет API от разных ИИ в один;

  • переключает модели сам, когда кончились токены;

  • сам сжимает контекст до 95%, чтобы сэкономить;

  • платформа поддерживает популярные модели, такие как GLM, Grok, Mistral, DeepSeek, Qwen и другие. Также доступны скиллы и MCP (Multi-Channel Protocol), а всего реализовано 17 стратегий маршрутизации (от приоритетной и взвешенной до оптимизированной по стоимости и контексту);

  • поддерживает скиллы и MCP.

Теги:
+4
Комментарии2

Представлен открытый проект Council of High Intelligence. Это локальный совет ИИ‑мудрецов, который поможет принять любое решение и найти идеальный исход событий:

  • в проекте заявлены 18 ИИ‑мудрецов: Марк Аврелий, Аристотель, Сократ, Сунь‑Цзы, Лао‑Цзы, Ричард Фейнман и Линус Торвальдс и другие;

  • ИИ-мудрецы максимально продумывают каждый шаг, спорят друг с другом в парах и выдают идеальное решение вопроса;

  • одни мудрецы находят риски, вторые — давят на практичность, третьи — высказывают сомнения;

  • устанавливается и запускается одной командой в Claude Code или Codex.

Теги:
+4
Комментарии0
1
23 ...