Комментарии 6
А как вы отличаете - получили вы правильные ответы или модель нафантазировала вам сказочных ответов?
Это перевод, поэтому наврятли вы получите ответ.
Вероятно, это можно проверить статистически - взять случайную выборку и сделать факт-чек вручную, получив некоторый "процент доверия".
Замечу, что "процент доверия" llm наверняка выше любой полученной в частной беседе информации (люди тоже "галлюционируют", но мы скромно называем это "заблуждаются"). У СМИ наверняка ниже, у википедии лишь чуть выше за счёт механизма модерации, но и он также подвержен эффекту правдивой лжи. Вообщем, llm в этом плане не сказать что сильно отличается от других источников информации. Было бы конечно интересно увидеть какие-то исследования данной темы.
Другой вопрос, как этот "процент доверия" повышать и надо ли. см. https://habr.com/ru/articles/947964/
Есть сомнения в обратимости векторизации из за потери информации.
Кмк, что заголовок вводит в заблуждение. Реальных датасетов никто не получает, как и не происходит извлечение информации из весов модели (условное разархивирование).
Добиться этих целей через промпт просто невозможно, так как это вносит недетерминированность всему процессу. Изменение токенов в инпуте неизбежно влияет на выдачу модели, не говоря уже про температуру и прочие техники по сэмплированию в аутпуте (температура и тд.), которые применяются во всех крупных LLM.
Ситуация же реально скорее всего такая же как и в большинстве нейронных сетей. Без специальной архитектуры изначальной модели, специально направленной на инверсию (Invertible neural networks), никакой реальной экстрации обучающих данных из LLM скорее всего не будет, что приводит к мысли, что автор изначальной статьи занимается очень сомнительным с точки зрения полезности упражнением.
Сервильные клоуны продолжают писать лламу со звёздочкой, как бы чего не вышло. Надо еще "чур меня чур" добавлять и плеваться через левое плечо, как когда супостата поминаешь.
ИИ-консерва: как мы «взламывали» LLM-модели, чтобы извлечь датасеты и рассуждения