Может ли ИИ чему-то научиться, читая промпт? Вот один из примеров того, что сегодня требуется воспринимать ан-масс на почти бытовом уровне.

Мы хорошо знаем, что когда ИИ-модель отвечает, она в этот момент не учится, её веса заморожены. Обучение - это отдельная операция, связанная с обратным пересчётом десятков и сотен миллиардов весов, которая потребовала бы непропорционально много ресурсов.

Давеча пытал ИИ на тему эффективных стратегий промптинга, т.е., стратегий объяснения ему, чего я от него хочу. Когда задача выходит за рамки "расскажи про ...." и подходит хотя бы к "дай прогноз погоды на завтра", дело обрастает толпой условностей: что сначала, поиск, или идти на известный сайт? а надо ли идти на сайт, если прогноз есть прямо в поиске? При этом, рекомендации должны быть достаточно общими, чтобы и прогноз погоды, и пианино на Авито обрабатывались единообразно, и, одновременно, достаточно конкретным, чтобы учесть все общие нюансы.

Конечно, в какой-нибудь Claude Opus можно засунуть портянку инструкций, не отличимых от полного бреда, размером с небольшой роман (нынче это принято называть "навык"), и он сориентируется. Подозреваю, на деле он просто проигнорит всё, кроме заголовков, потому что как чего делать он и сам знает. Но мы используем более компактные модели и нам приходится включать голову.

И вот ИИ подкинул мне интересную концепцию, говорит: "заведи в промпте аббревиатуры для моделей поведения и ссылайся на них". И дал красивый пример.
Я ему: "постой-ка, научи, как ты это делаешь".
Он мне: "ну, вот ты их должен объявить в начале промпта, использовать в однотипных ситуациях, выделять рюшечками и давать по ним обратную связь - он, мол, тогда учится".

Я - Дмитрий Черняк, владелец компании, производящей цифровых консультантов «Нейроботник» и архитектор этого решения. Наиболее простой и ходовой вариант нашего продукта — консультант на сайте, с подключенной моделью и RAG‑базами. Простые задачи ограничиваются одной базой, более сложные — несколькими, совмещающими семантический поиск с целевым — по ключевым словам и фразам, с многошаговым ответом. Для большинства задач в данной нише этого достаточно.

Эта статья посвящена предновогоднему тесту эмбеддеров (табличка результатов прилагается).

Прочитав [1], хотя это и не академический материал, очень впечатлился идеей того, что мнимая единица кодирует направление. Дело в том, что если мы имеем в формуле два скаляра, которые запрещено складывать и это - в математике, которая запросто суммирует апельсины с помидорами, происходящее должно нести какой-то смысл. Но математика не кодирует смыслов, поэтому из идеи комплексных чисел мы можем знать лишь то, что смысл в принципе существует. Найти же категориальное различие для такой фундаментальной математической абстракции, как комплексные числа - отдельная большая удача и исследование такой возможности может оказаться перспективным.

Есть в природе одна универсальная последовательность, которая сопровождает любые эволюционные процессы. Она получила название "фазовый закон" и её проще всего проиллюстрировать тем, как мы погружаемся в изучение любого нового предмета.

Первоначально нам необходимо познакомиться с предметной областью, узнать, из чего она состоит. Так в мастерской мы учимся различать конкретные инструменты, материалы, изделия друг от друга. Нам пока непонятно до конца их назначение, мы их ещё в руках не держали, но если мы не научимся их различать, то не поймём и дальнейшей премудрости. Аналогично, в разработке программного обеспечения мы знакомимся с понятиями переменной, массива, цикла, ссылки, составных типов данных. Учимся различать данные, переменные, константы и определения.

После того, как мы перестали всё это путать между собой и выучили, как оно называется, мы получаем возможность изучать, что с этими сущностями вообще можно делать. Как сработать табуретку, или телеграм-бота. Для этого нам необходимо узнать правила их использования, а правила эти основаны на обобщениях, т.е., классификациях...