В статье измеряют смысловые расстояния между словами в сгенерированных текстах и в эталонах. При этом забывают, что в смысловой эмбеддинг слова конвертируют тоже нейросети на основании уже своих знаний о смыслах! Причём эти нейросети достаточно небольшие. И их знания, актуальность, области знаний - разнятся
И технически такие ошибки LLM правильнее назвать конфабуляцией или ложными воспоминаниями. У людей ложные воспоминания и галлюцинации имеют мало общего. Так что ошибки LLM называть галлюцинациями - плохая идея. Но термин устоялся, так что вот мы здесь
Статья классно и старательно проработана. Но она повторяют одну и ту же ошибку снова и слова: о том, что LLM просто всего лишь предсказывает следующее слово. Нет, оно предсказывает следующее облако смысла, и только в самом конце сводит свой следующий проход в генерации к одному токену. Затем всё "обдумывание" промпта и уже написанного повторяется снова, формируется снова абстрактное понимание вопроса и ответа, и снова на финальном слое сети это облако смысла сводится до одного токена. И так снова и снова и снова. Это не просто "статистическое предсказание следующего слова". Это индуктивный процесс работы над смыслом с превращением этого неимоверно широкого и невероятно сложного процесса в слово.
Если бы сетка "статистически предсказывало следующее наиболее вероятное слово", тогда она даже фразу "an apple" написать не смогла бы. Потому что чтобы предсказать "an", нужно заранее знать, что следом будет "apple", а не "table" например. Она на относительно асбтрактном уровне понимает ещё на этапе генерации артикля, что следом будет apple, но когда нужно сделать самое последнее вычисление на самом последнем слое генерации, эта абстракция превращается в простой артикль "an". Во время следующего прохода генерации она будет иметь дело снова с похожим абстрактным облаком, в котором, опять же, приблизительно будут присутствовать и an, a apple, и даже остальные представления о будущем предложении, но сгенерирует она на этом проходе только "apple"
> А может быть, надо не валить, поджав хвост, а сделать лучше там, где вы находитесь?
Пробовали люди. Их называли потом американскими агентами и заводили дела
Сходи к соседям, забери у них всё, что тебе будет полезно в геополитическом плане, а потом рассказывай ментам, что ты прав, потому что это для твоей семьи
Еще фильтры по полям для поиска не помешали бы. Еще можно позволить пользователям создавать кнопки кастом-action для записей, типа «перегенерировать thumbnails» или «move to trash» или «restore»
В статье измеряют смысловые расстояния между словами в сгенерированных текстах и в эталонах. При этом забывают, что в смысловой эмбеддинг слова конвертируют тоже нейросети на основании уже своих знаний о смыслах! Причём эти нейросети достаточно небольшие. И их знания, актуальность, области знаний - разнятся
И технически такие ошибки LLM правильнее назвать конфабуляцией или ложными воспоминаниями. У людей ложные воспоминания и галлюцинации имеют мало общего. Так что ошибки LLM называть галлюцинациями - плохая идея. Но термин устоялся, так что вот мы здесь
Это какие такие проблемы? В том, что вероятности, внезапно, не точные? :)
Статья классно и старательно проработана. Но она повторяют одну и ту же ошибку снова и слова: о том, что LLM просто всего лишь предсказывает следующее слово. Нет, оно предсказывает следующее облако смысла, и только в самом конце сводит свой следующий проход в генерации к одному токену. Затем всё "обдумывание" промпта и уже написанного повторяется снова, формируется снова абстрактное понимание вопроса и ответа, и снова на финальном слое сети это облако смысла сводится до одного токена. И так снова и снова и снова. Это не просто "статистическое предсказание следующего слова". Это индуктивный процесс работы над смыслом с превращением этого неимоверно широкого и невероятно сложного процесса в слово.
Если бы сетка "статистически предсказывало следующее наиболее вероятное слово", тогда она даже фразу "an apple" написать не смогла бы. Потому что чтобы предсказать "an", нужно заранее знать, что следом будет "apple", а не "table" например. Она на относительно асбтрактном уровне понимает ещё на этапе генерации артикля, что следом будет apple, но когда нужно сделать самое последнее вычисление на самом последнем слое генерации, эта абстракция превращается в простой артикль "an". Во время следующего прохода генерации она будет иметь дело снова с похожим абстрактным облаком, в котором, опять же, приблизительно будут присутствовать и an, a apple, и даже остальные представления о будущем предложении, но сгенерирует она на этом проходе только "apple"
Пробовали люди. Их называли потом американскими агентами и заводили дела