Комментарии 4
1) вы так и не ответили как бороться с галлюцинациями
2) вы неправильно описали главные причины галлюцинаций
https://t.me/greenruff/2095?single
Почему нельзя вот так разобрать и описать принцип выбора слов LLM, когда пишете статью?
https://t.me/greenruff/2104?single
Или кратко хотя бы показать, чтобы стало понятно.
О каких 1,4 до 1,9% галлюцинаций вообще идёт речь? Это зависит от температуры как минимум.
Хотите свести галлюцинации к минимуму на текущих моделях? Используйте несколько одновременно, где каждая выступает арбитром другой.
https://t.me/greenruff/1757?single
Тут описал данный подход.
У Яна Лекуна в статье есть отличная цитата: "Большие языковые модели (LLM), похоже, обладают удивительно большим объемом фоновых знаний, извлеченных из письменного текста. Но большая часть человеческих знаний здравого смысла не представлена ни в одном тексте и является результатом нашего взаимодействия с физическим миром. Поскольку LLM не имеют прямого опыта с базовой реальностью, тип знаний здравого смысла, который они демонстрируют, очень поверхностен и может быть оторван от реальности".
Лекун пишет о том какими ухищрениями можно попробовать научить LLM здравому смыслу о мире, но это все равно далеко от вопроса достоверности, поскольку даже если эти ухищрения приведут к результату, все равно останется вопрос насколько база данных здравого смысла достоверна.
На данный момент все разработчики LLM утверждают, что их датасеты достоверны, но это очевидно не так, поскольку в них не раз обнаруживались фейки, а у самих разработчиков вообще нет критерия достоверности информации.
Позиция "моя база данных или онтология достоверна потому что она моя" не может быть основой достоверности. Поэтому будущее для меня лично довольно просто и определяется следующей логикой:
Галлюцинации и конфабуляции искусственного интеллекта принципиально неустранимы https://www.mdpi.com/1099-4300/26/3/194
Перекрестное взаимообучение LLM на галлюцинациях друг у друга неизбежно ведет к "коллапсу нейросетей" и деградации знаний людей, которые их применяют https://arxiv.org/abs/2305.17493v2 и https://gradual-disempowerment.ai
Любая физическая деятельность в реальном мире связана именно с физикой всего мироздания, и иногда малейшая ошибка в понимании этих взаимосвязей заканчивается летальным исходом. Миллион примеров можно посмотреть на видео, посвященных производственной технике безопасности. Именно поэтому любая галлюцинация робота с искусственным интеллектом без опоры на реальный опыт реальных людей с реальными знаниями о мире, закончится повреждением робота и убытками разной степени для работодателя, вплоть до катастрофических.
Отсюда вывод — на людях лежит главная ответственность за связь с реальностью. И чем сложнее будут вопросы, которые будут решать нейронки, тем серьезнее будет ответственность человека за своевременное выявление все более тонких и неуловимых галлюцинаций. Для этого нужны люди с глубочайшими знаниями, причем не с зазубренными из-под палки в школе, а с реальным опытом практически по любым вопросам.
Сколько будет задач у нейронок, столько должно быть и суперпрофи по этим задачам. А для суперпрофи нужны просто профи и помощники профи и ученики помощников профи.
И для всего этого необходим рейтинг достоверности знаний, чтобы знать кто профи, а кто не профи.
А без критерия достоверности информации и рейтинга достоверности знаний любую LLM (и вообще любую искусственную систему согласно доказательству Майкла Левина) ожидает неминуемый коллапс.
Противопоставить искусственному интеллекту можно только коллективную нейросеть всех умов человечества. Для взаимной проверки и совершенствования больших языковых моделей и человека нужна возможность сопоставления знаний искусственного интеллекта с коллективным интеллектом. Это единственное, что может нас вытащить из персональных туннелей реальности и личных информационных пузырей, в которых мы все глубже застреваем поодиночке.
В контексте галлюцинаций энкодер может неправильно интерпретировать или упустить важные детали из входного текста, особенно если он неоднозначен или содержит ошибки.
то есть все же дело в неоднозначности текста, т.е. качестве исходного текста? Почему в случае, когда у ИИ нет инфы или инфа неоднозначная, ИИ не может это признать - я не знаю, не могу ответить и т.д.?
Пост, так понимаю, просто ради рекламы сделан? Налили воды, никаких тестов и подробностей, ответы максимально общими словами (вы RAG видите? А в ответах он есть), часть ответов и вовсе бесполезна, например, про специалистов, привлечение которых упрощает разработку (да ладно?). Или у вас там нейросеть в качестве писателя, а этих самых специалистов не хватило?
Как эффективно бороться с галлюцинациями нейросетей