Comments 20
Куски текста настолько малосвязаны, что возникает ощущение что текст и есть результат той самой пресловутой нейросети.
Эта статья - "постирония", проверка аудитории Хабра на прочность. За ней должен последовать пост-разоблачения, как Хабр "скатился" и какой автор гениальный тролль.
Если я неправ, то пусть автор объяснит:
как соотносятся алгоритм работы GPT и описание выше - "псевдослучайный выбор вариантов" и "ценность информации"?
вот этот пассаж - явно троллинг:
В конце февраля 2023 года автор открывает тестовую площадку. На этой тестовой площадке можно будет самостоятельно задавать вопросы и получать ответы в типовых конфигурациях УТ, КА и ERP."
напоминает нетленку:
Вот, изволите видеть, так называемая эвристическая машина, — сказал старичок. — Точный электронно-механический прибор для отвечания на любые вопросы, а именно — на научные и хозяйственные.
Но на Хабр "постирония" не пройдёт.
Вы же можете легко проверить то, что описано в статье. Введите вопросы, получите ответы, после чего делайте выводы. Можете использовать ChatGPT, но лучше CODEX
А ничего особенного не делать, говорят разработчики современных языковых моделей. Все так же, брать в руки генератор случайных чисел, и вперед. В результате с вероятностью 0.8927% вы получите второй вариант выбора первого слова. А так, как процесс повторяется много раз, за первым словом вы получите все остальные. И эти остальные слова с высокой вероятностью будут излагать вам наиболее убедительную версию изначально странного утверждения. Именно поэтому часть экспертов и называет современные языковые модели «генераторами бреда». Некоторые еще и добавляют: бреда, опасного своей убедительностью.Сразу полез в статью проверять действительно используются генераторы случайных чисел) Нигде про генераторы не упоминается. Это дидактический прием такой, для разъяснения публике принципа работы? Думал там сети из формальных нейронов используются. И все вместе это реализует огромную авторегрессионную модель языка, фактически некоторую модель ассоциативного мышления человека. И происхождение фантазий больше связано именно с этим, а не враньем в обучающей выборке. Чат что-то ответит, даже если его спросить — Земля в форме бублика? И в обучающей выборке ничего про форму Земли в виде бублика не было. Произойдет аппроксимация, и сеть найдет хотя бы косвенную связь между формой Земли и любыми упоминаниями бубликов, и даже если таковых не было. Не могу проверить это, т.к. нет доступа к чату. Это и будет фантазией чата в этом случае. Эти фантазии могут нести и новую информацию, комбинирующую представленную в обучающей выборке. Например, эксперты из этого исследования заключили, что в 90% ответов чата была новая информация по темам в сравнении с обычными, стандартными ответами людей. Но ведь это тоже фантазии сети, а не цитаты из источников.
Вообще почему говорят о «галлюцинациях» таких систем? Они приняли что-то или их разработчики) Человек тоже фантазирует и воображает, и это в порядке нормы, т.к. это основа креативного, творческого мышления. Конечно подавляющая часть этих фантазий, после критического анализа отпадает, но появляются и не плохие идеи, которые могут требовать доработки. Глюки это из области патологий, типы шизофрении, или специальных условий, типа длительной глубокой сенсорной депривации, или во время сна в виде сновидений, которые тоже связаны с частичной сенсорной депривацией. Хотя есть ситуации, когда люди могут вполне осознанно врать, а есть в порядке вещей постоянно сочинять) Некорректно отношение к этому переносить на результаты работы языковых моделей, как кажется.
Раздел 2.4 Evaluation
Сама чат основан на языковой модели GPT-3 с архитектурой трансформер, на которой основаны также различные переводчики. Не замечал, чтобы при переводе они выдавали разные варианты перевода для одних и тех же фраз. В зависимости от контекста да, например, для омонимов, но это разные фразы.
Если ответы действительно разные, то это может быть решением на уровне организации работы самого чата, его интерфейса обработки запросов, а не связано с языковой моделью. Единственной причиной по которй результаты обучение ИНС и генерации вывода могут варьироваться является цифровой шум, особенно для больших моделей.
Вы вводите некий текст. Нейросеть его обрабатывает. Результат работы нейросети - это ОЦЕНКА ВЕРОЯТНОСТИ появления того или иного слова за тем, что вы ввели. Очередное слово выбирается на основе этой оценки. Но не детерминированно, а с использованием генератора случайных чисел. GPT работает именно так. Я лично получал разные ответы на полностью идентичные вопросы. Если вы мне не верите, почитайте других авторов. Или проверьте самостоятельно. На сайте OpenAI там даже специальная опция есть: "показывать вероятности"
Признаться, только сейчас дочитал статью до конца, ранее остановился на той цитате. Ваш пример с вероятностями ответов о форме Земли несколько вводит в заблуждение, и это может объяснять негативную реакцию читателей, а не только отсутствие ссылок в подтверждении сказанного. Можно приводить статистику таких ответов, как результаты опросов, но отдельный человек не выдает их случайно, а практически детерменированно, в зависимости от индивидуальных знаний и психологических установок. Эти установки можно считать общим контекстом формирования ответа. Лишь в определенных условиях ответы могут варьировать. Как пример таких контекстов и их влияния на принятие решений, включая ответы, см. перцептивная готовность (примеры) или родственное явление прайминга.
GPT3, в частности чат на ее основе, формирует ответы в диалогах иначе, чем человек. Человек обычно не помнить дословно весь предыдущий диалог, особенно длительный, чтобы на его основании формировать ответ. Его содержание постоянно сжимается, что бы удерживать в рабочей памяти, объем которой конечен, формируя к общим установкам дополнительный контекст диалога. Как-то, речь о теме диалога, основные моменты, выявленные цели, мотивы, интересы, и тп. Это позволяет, в основном, не терять его нить. Однако в чате видимо контекстное окно быстро переполняется, и пользователю необходимо его поддерживать самостоятельно. Если не поддерживать, то контекст теряется и чат начинает отвечать не в тему. Это, кстати, привело к тому, что в чате Бинга ограничили число вопросов в сессии от пользователей. По аналогии с возможностями человека можно сжимать ввод, или его часть, тем более, что GPT3 может реферировать тексты, тем самым отдаляя момент переполнения контекстного окна.
Почему же разработчики пошли по этому пути? По моему личному убеждению, именно недетерминированность больших языковых моделей, использование генератора случайных чисел и явилось причиной столь ошеломляющего успеха. Хотя объемы обучающей выборки тоже сыграли свою роль, но недетерминированность оказалась важнее. Она как бы придала описанному выше чисто механическому процессу человеческое лицо.У человека недерменированность проявляется по другому, и носит контекстуальный характер, с родни квантовой контекстуальности. Это приводит к тому, что для описания психических феноменов больше подходит квантовый формализм вероятностного описания (небольшой обзор), чем классический, в частности, цепей Маркова, как в этой языковой модели. Давно известный пример — зависимость ответа в опросах от порядка вопросов в нем. Этакий аналог не коммутативности кв. переменных в КМ, называемый эффектом порядка (др. описание, примеры). Сторонники этого подхода к описанию психических явлений разработали даже собственную интерпретацию КМ, которая распространяется на описание подобных феноменов. Речь не о квантовом сознании в стиле Пенроуза, или что-то подобное, а именно использовании кв. формализма. Вообще интересно было бы проверить подобные эффекты в ответах чатов на основе GPT3, некотрые аналоги, пусть отдаленные, психологических феноменов уже находят.
Попробую сформулировать мысль точней:
IMHO, статья формирует не только упрощенное, но и откровенно некорректное представление о работе. трансформера. Для Яндекс Дзен такого объяснения достаточно, но не для Habr - где, кстати, уже полно статей по GPT.
Трансформер не просто случайно (взвешенно) выбирает следующую порцию текста из глубин интернета, по принципу "какой ответ рядом лежал". Трансформер учитывает семантику исходного текста (self-attention), а не просто подбирает следующий токен, исходя из совместных вероятностей токенов в обучающей выборки.
Что это меняет? Трансформер отработал и выдал оценку вероятностей появления тех или иных слов. Дальше с этими оценками можно работать по-разному. Можно брать всегда самую высокую и это будет детерминированное поведение. А можно выбирать случайно-взвешенно. Именно так сейчас и работает языковая модель от OpenAI
Если настолько все упростить, то нет никакой разницы между трансформерами, рекуррентными сетями и прочими технологиями, используемыми когда-либо для генерации текста. И там, и там есть недетерминированный компонент. Например, в сеть "случайность" была зашита при начальном выборе весов. Вы обсуждаете достоинства и недостатки сложной технологии, исходя лишь из самого факта наличия в ней недетерминированного компонента.
Вы, кмк, с водой выплеснули ребенка:
Поэтому модель ищет первое слово, следующее за этим самым вопросом. Этот вопрос уже когда-то обсуждали в интернете и давали на него ответы. Каждый ответ начинался с какого-либо слова. Из этих слов и выбирается первое.
Такое упрощение пойдет для Дзена, где читателю надо охватить предмет за 3 минуты. Но не для Хабра. Повторюсь: трансформер определяет семантику, а не частоты появления определенных слов попарно. Вы же низвели трансформер до поисковой системы со случайным выбором результата поиска.
Да, и кстати. В какой еще статье говорится о том (и показывается как), что GPT можно использовать в учете? Подскажите, я буду вам очень признателен. Без какой-либо иронии или постиронии.
В бухгалтерском учете: вот. В складском учете - не нашел... а стоит ли? Blockchain в 2017-м году тоже пытались "применить" где можно, и где нельзя.
Ок, вероятно, я правда ошибся, и ваша статься - не постирония. Но вопросы остаются.
Ждём статью на хабре, написанную чатом и потом срачем в комментах с этим же чатом))
Для всех желающих доступна тестовая площадка. На ней можно проверить самостоятельно все, что описано в статье
Как недетерминированная GPT может выдавать четкие ответы