Работает, но не готово: definition of done для ИИ-систем

[n_cto]

Чек-лист целиком в статье, ядро промта аудита под спойлером там же. Полная версия промта, с форматом карточки и правилами честности аудитора, лежит в закрепе канала: https://t.me/n_cto

Если прогоните аудит на своём проекте, напишите сюда счёт и самый неожиданный факт. Моя гипотеза: пункты «владелец» и «цена запроса» провалены у большинства. Через месяц выложу повторный аудит своих трёх и посмотрим на дельту.

[ulisma]

Требовать от вероятностной системы детерминированного DoD значит записать её в вечную бету навсегда.

Очень точно сказано. Вообще я не понимаю, почему технологию с вероятностной природой применяют там, где нужна воспроизводимость, предсказуемость и прорачные причинно-следственные связи.

Ведь надо наоборот: применять ее там, где нужен вероятностный результат, данных очень много и выделить причинно-следственные связи очень сложно. Например, с какой вероятностью вот эта прога есть вирус, если она не содержит известных сигнатур. Или перевод текста: какое построение фразы будет оптимальным. Таких задач очень много и они отлично решаются с помощью такого вероятностного анализатора.

Но почему-то LLM стали применять именно там, где нужна предсказуемость и понятные алгоритмы.

[n_cto]

Соблазн понятен, но в моих кейсах LLM встала на место человека, а не алгоритма. SQL по вопросу аналитика раньше писал разработчик, и это тоже был вероятностный процесс, просто вероятность пряталась в человеке: один и тот же вопрос двум разработчикам даёт два разных запроса. Детерминированно эту задачу не решили за тридцать лет, поэтому её и не автоматизировали вовсе.

Дальше вопрос в обвязке. Когда нужна предсказуемость, формулировка задачи для модели меняется с «сгенерируй ответ» на «выбери из закрытого списка или верни: не нашёл». В боте поддержки у меня так и сделано, и он единственный прошёл все ловушки аудита без выдумок. Там, где модель оставлена свободной, она уверенно сочиняла.

Так что граница проходит не между задачами, а внутри системы: вероятностное ядро и детерминированная рамка вокруг него. Проведёшь её явно, получишь рабочий инструмент, оставишь неявной, получишь генератор правдоподобного мусора.

[alexanderniki]

Три моих ИИ-проекта живут в проде от полугода до двух лет

Можно посмотреть?