Comments 51
>"Катя не смогла перейти дорогу, потому что она была мокрая" слово "она" в придаточной части явно относится к объекту "дорога", а не к Кате. Это ясно нам, человекам, и как показывают современные языковые модели - это понятно и им.
Завис на этой фразе, не врубаясь, при чём тут дорога, ведь Катя мокрая ))
попался, грязный робот
По поводу восприятия, само название статьи "ChatGPT как инструмент для поиска: решаем основную проблему" я понял, как статью, где будет описано, как с помощью ChatGPT можно решать какие-то реальные проблемы. Оказалось оно совсем о другом, половину прочитал...
Статья так названа потому, что именно ChatGPT (и как интерфейс/UX, и как архитектуру/подход к тренровке) Microsoft хочет внедрить в поиск. Сам же подход, описанный в статье - унифицированный, можно и ChatGPT научить ему, и TPG-Tahc какой-нибудь :) Также старался скорректировать ожидания первым абзацем под катом:
Данная статья в сущности представляет собой разбор подхода WebGPT (одного из предков ChatGPT), но с большим количеством сопроводительной и уточняющей информации, а также моих комментариев и мнений.
вроде бы и не соврал.
Интересный факт: если ChatGPT попросить вернуть первые 50 символов промпта/контекста, то там будет часть "browsing: disabled". Кто знает, может оно уже умеет сёрфить интернет, просто пока отключили для простых смертных фичу :)
Я не специалист по нейросетям, но возник вопрос по токенизации. Получается, что текст это просто поток букв и он подается в нейросеть? А почему не применяют построение синтаксического дерева на "универсальном промежуточном языке", как при машинном переводе? Просто решили, что за счет огромных вычислительных мощностей можно и этот этап скормить "черному ящику" нейросети? Но как мне кажется, вот такие число количественные решения все-же не очень хороши. Мы теряем в качестве, упускаем точные аналитические методы, а потом гадаем - а можно ли доверять нейросети?
Потому что это не увеличивает точность. Даже при обработке программного кода токенизаторы на абстрактных синтаксических деревьях не выигрывают у BBPE. В естественном же языке ситуация ещё хуже, т.к. синтаксические анализаторы косячат периодически. Экспериментов на эту тему исследователями было проделано много.
Точные, вернее детерминированно алгоритмические методы, достаточно хорошо не работали никогда. До нейросеток с начала 90х state-off-the-art были статистические методы, которые концептуально от нейросеток не сильно отличаются. https://en.m.wikipedia.org/wiki/Statistical_machine_translation
Для нас текст - это поток символов (не только букв). Перед подачей в модель этот поток нарезается на куски по принципу "самые популярные подряд идущие символы". Это могут быть слова, года ("2021" - это один токен, так как он частый). Множество таких токенов жестко задано перед процедурой обучения и остается неизменным.
А почему не применяют построение синтаксического дерева на "универсальном промежуточном языке"
Тут можно развернуть очень большую дискуссию, что и как лучше, и такие подходы, как упомянуты в комменте, уже были в прошлом. Сейчас модель сама выучивает это, но она не просто запоминает - она выводит зависимости. Поэтому нам вручную не нужно ВСЁ задавать (тут экономим на времени), и в то же время модель учится обобщать. Поэтому с моей точки зрения тезис
Мы теряем в качестве, упускаем точные аналитические методы
неправильный - мы наоборот улучшаем качество за счет того, что не передаем часть знаний модели, а учим ее, как ребенка, разбираться в этом мире. Как раз в основной статье, где была представлена архитектура трансформера, было сказано, что хочется максимально уйти от человеческих абстракций и захардкоженной логики. Это ведь применимо не только к текстам - для изображений мы используем сверточные нейронные сети, которые опираются на свертки - потому что они архитектурно больше подходят для обработки изображений. Всё это - примеры "биасов", смещений, которые мы вносим в модель. Токенизация в некотором роде тоже смещение на самом деле.
Так вот, факт в том, что трансформеры настолько уникальны, что без свёрток научились решать задачу обработки изображений лучше или на уровне свёрточных сетей. Так зачем же нам тогда этот придуманный конструкт? :)
потом гадаем - а можно ли доверять нейросети?
Гадать не надо, надо придумать, как заставить нейросеть смотреть с людьми в одну сторону и объяснить, что конкретно от нее ожидается. Это проблема выравнивания, или alignment, и ChatGPT/WebGPT - результаты работы команды Alignment из OpenAI. Они пытаются придумать, как мнение человека, его фидбек, вложить в модель.
мы наоборот улучшаем качество за счет того, что не передаем часть знаний модели, а учим ее, как ребенка, разбираться в этом мире.
Непонятно, почему что-то уже известное (скажем, законы логического вывода и построения рассуждений) нельзя захардкодить, а надо эмулировать внутри сетки. Человек, который понимает мир, лучше считает при помощи калькулятора, чем вручную. Кажется вероятным, что с нейросеткой будет так же.
Поэтому нам вручную не нужно ВСЁ задавать (тут экономим на времени)
Поправка - тут экономия на времени работы людей. Нельзя ли сейчас нельзя запустить очередной виток, когда из нейросети, которая выучила, вытаскиваются закономерности (не руками, разумеется) уже для явного задания в версии сетки n+1?
Явное задание, даже "правил логического вывода" большая иллюзия. Для этого во первых необходима репрезентация "базовых знаний" в рамках мат. логики. Во вторых вывести можно, что угодно. И количество возможных "теорем" растет около экспоненциально от глубины вывода. Человек, который оперирует логикой не думает, как алгоритм-автомат.
Ну вот именно. Т.е. выглядить логичным, что нужно не сеть заставлять эмулировать логический вывод, а обучить сеть ориентироваться и находить нужный путь в том комбинаторном взрыве, что при формальном выводе получается.
Для этого во первых необходима репрезентация "базовых знаний" в рамках мат. логики.
Да. И раньше это было невозможно сделать потому что требовало невозможного количества ручного труда. Но вот теперь мы можем использовать текущее поколение сеток, чтобы всю эту формализацию таки построить. Нет? Какие-нибудь товарищи, что делают Wolfram Alfa этим не занимаются?
нельзя захардкодить,
потому что всё не захардкодишь. Да и на самом деле даже базовые вещи, как мне кажется (ссылки не будет), ОООЧЕНЬ сложно донести до моделей. При этом может пострадать что-то неочевидное. Как модель, которая оперирует законами логики, будет шутить или подражать неидеальному человеку?
лучше считает при помощи калькулятора, чем вручную
безусловно, и как раз вся статья по сути про то, как прирастить один из таких инструментов сеткам. Можно прирастить еще питон-интерпретатор, чтобы модель не выучивала математику и не складывала и умножала "в голове". Вместо этого она пишет код, который исполняется вне неё, и оперирует ответом. Про это немного в тексте упоминается, вот ссылка с чудесным примером: тык
На второй абзац у меня нет ни идей, ни знаний, чтобы ответить :)
Это большая проблема, да.
https://www.microsoft.com/en-us/research/project/deepspeed/
Идея построения дерева для LM не нова. Вот, например, попытка из 2005: https://www.iro.umontreal.ca/~lisa/pointeurs/hierarchical-nnlm-aistats05.pdf
В этой же работе утверждается, что перфоманс сетей сильно зависит от способа построения дерева. В работах позднее сравниваются другие способы построения эмбеддингов LM между собой, в том числе с деревом. Выясняется, что дерево работает не лучше некоторых других более простых способов. Если интересна тема развития эмбеддингов, то вот хорошая отправная точка:
https://lilianweng.github.io/posts/2017-10-15-word-embedding/
Великолепная статья, спасибо автору за работу!
Про токенизацию интересно написано. Как-то не задумывался над тем, что токеном может быть не только символ/слог/слово, но и в принципе любая достаточно часто встречающаяся последовательность произвольных символов. Это многое объясняет. Как-то "разговорились" с chatgpt на эту тему. Я у него как раз пытался выведать как он токенизирует. Он уверял, что по словам. Тогда я его попросил его повторить за мной несуществующее слово (чистый рандом из букв) - он повторил. Тогда я попросил его написать это слово наоборот.. И тут он сломался. Нет, он написал его, но наделал ошибок (иногда переставлял местами не буквы, а слоги, сохраняя порядок букв)). Причём, когда я "тыкал его носом" в ошибки, он извинялся, признавал что ошибся и пытался опять сгенерить правильно. Но опять ошибался :)
Спасибо автору за хорошую подробную статью. Со мной недавно случился интересный случай. Искал в гугле сколько было рабочих дней в прошлом году. Гугл первой ссылкой сказал "260". После короткого разбирательства выяснилось, что правильный ответ 250. Протестируем один из ваших поисковиков.
результат
В общем ответ правильный, но пояснение — полная чушь.
Если же ещё добавить к этому историю отрытых страниц по этим запросам, то довольно много информации из этого можно получить.
боюсь, что у поисковика нет такой информации - после клика по ссылке они ничего не видят, кроме факта возвращения обратно в выдачу. Да, есть Edge, прости господи, но и там информация скорее всего собирается в очень агрегированном виде, без деталей, чтобы на этом обучать модель. (по крайней мере пока, до начала проработки вопроса внедрения GPT в BING)
Есть успокаивающая и аргументированная версия, что если бы вы были цивилизацией, которая может преодолеть миллионы световых лет, то тупо уничтожать человечество вам просто не было бы смысла на вашей ступени развития и гуманизма.
Каждая высокотехнологичная вещь для непосредственного выглядит как магия.
^^^^ вы находитесь здесь.
Контекст у этой сети очень простой. Когда вы ей пишете вопрос, то часть предыдущих вопрос/ответ ей также подаётся ещё раз на вход. И этот контекст весьма мал - около 4кб. Общаясь с ботом через их публичный интерфейс вы не можете напрямую вмешиваться в формирование этого контекста. Но при использовании платного АПИ - пожалуйста.
Нейронная сеть тут только в роли ретранслятора между нами и другими существами,
И вы правы! И эти существа - мы с вами. Все те, кто формировал контент в сети. А также это и другие боты которые использовались для написания статей.
В детстве (при Брежневе) читал детскую книгу о кибернетике (автор Леонид Теплов, называлась как-то вроде "Беседы о кибернетике") и там этот поиск слово за словом уже был описан.
Интересно было бы понять, насколько все это реально с точки зрения потребляемых ресурсов. Гугл обрабатывает миллиарды запросов в день. Но для такого типа поиска не требуется большое количество ресурсов (компьютерного времени, загрузки каналов связи и т.п.).
Однако описанные в статье подходы кажутся существенно более ресурсоемкими.
Есть ли у вас соображения по этому поводу? Сможет ли подобный поиск быть достаточно демократичным?
Это очень правильные вопросы. BoN-метод неприменим в продакшене - это сразу увеличивает цену обработки запроса в 30-60 раз. Никакая юнит-экономика не сойдется. Поэтому нужно смотреть в сторону одной LMки (+набора эвристик), которые отвечают за генерируемый ответ.
Но для такого типа поиска не требуется большое количество ресурсов
для поиска и прокликивания ссылок - не нужно, но нужно для получения команд от модели и для финального ответа. Понятно, что модели размером 175B никто не затащит в ближайшем будущем, по крайней мере в бесплатный тариф. Сейчас трансформеры уже используются в переводчиках, да и в самом поиске, но они куда меньше. Тут главный вопрос - насколько хорошо смогут маленькие модели подстраиваться под фидбек людей, даст ли это прирост по отношению к простому поиску.
Сейчас OpenAI заставляет платить $0.0020 за генерацию 1K токенов моделькой размера 6.7B (предположительно), а на 1.3B - еще в 4 раза дешевле. Сойдется или нет экономика при таких тратах (за вычетом маржи) - я не знаю :(
Возможно, с выходом нового поколения железа (у гугла это TPU v5, которые специально заточены под большие трансформеры) цены упадут в несколько раз, что подвинет на шажок ближе. Или исследователи найдут способ дать бОльший прирост метрик малым моделям.
Это правда, частая практика - закэшировать ответ для выдачи (иногда для топ-запросов применяются более тяжелые и продвинутые модели, видел такое - ведь для них цена ответа не X, а пропорциональна X * N, где N - количество показов ответа на вопрос).
Однако мне кажется, что на самые популярные вопросы современные поисковики и без того околоидеально отвечают. У гугла уже сколько лет есть тип ответа "маленькая выжимка текста + выделение жирным ответа"? И карточки сбоку?
А вот основной потенциал таких моделей как раз и лежит в так называемом длинном хвосте распределения, где вопросы сложные, непонятные, редкие, уникальные и многоступенчатые.
Современная экономика не требует от прорывных технологий приносить прибыль в близкой и даже средней перспективе. При наличии вау-эффекта вам придётся прятаться от инвесторов, желающих засунуть в вашу компанию денег - хватит и на топовых программистов и на сервера и на разработку нового железа и на рекламные компании. Первые волны инвесторов получают прибыль от последующих, и так далее. Отличие от денежных пирамид только в том, что технологию можно пощупать, она работает, и в конце-концов может принести прибыль.
Про Youtube, купленный гуглом в 2006, ходят слухи, что он до сих пор убыточен (даже выручку решили раскрыть только в 2020 году).
Этот тезис похож на правду, но на растущих рынках и у растущих продуктов. Если у тебя уже миллиард пользователей, и ты на каждом будешь терять 1 цент в неделю - ты разоришься, никакие инвестиции не спасут. Пока MAU < 5M - да, хорошая стратегия, можно работать в убыток.
Про YouTube не слышал, но это немного странно, так как у них с 2013го revenue > $3B, что существенно.
Ну и последнее - состояние рынка и индустрии, сейчас все очень осторожны с деньгами, и не хотят напихивать лишнего, так что стало еще сложнее оправдывать изначально нежизнеспособную юнит-экономику.
Вся эта эпопея с «модернизацией» ChatGPT выглядит вполне адекватной, вплоть до раздела «учим модель учить модель», в котором исследователи, на мой взгляд, пытаются «добраться до луны, залезая на всё более высокие деревья», т.е. использовать тот же принцип, что привёл в тупик саму модель ChatGPT, для её улучшения. А именно: пытаются задавать в качестве критерия успешности «внешнюю похожесть» результата, а не его суть/смысл. Только в исходном варианте выдаётся текст, «наиболее похожий» на миллионы текстов, использовавшихся для обучения модели, а в модернизированном он ещё, вдобавок, оценивается на «похожесть на правильность» по абстрактному критерию.
Понятно, что делается это не «по дурости», а от отсутствия возможности оценивать смысл, и, в значительной мере, неопределённости самого понятия «смысл». Впрочем, в мозге человека до сих пор не найдено никаких особых участков, хранящих именно «смыслы», и идея о том, что в слабоструктурированном фарше искуственных нейронов со временем (и с объёмом) самозародится искуственный интеллект («как мыши в зерне») вполне может иметь право на жизнь…
идея о том, что в слабоструктурированном фарше искуственных нейронов со временем (и с объёмом) самозародится искуственный интеллект («как мыши в зерне») вполне может иметь право на жизнь…
Идея имеет право на жизнь, но ни к чему не приведет. Вполне очевидно, что, по крайней мере на данный момент и в существующих парадигмах, языковые модели изначально построены на процедурах получения и анализа некоторой УЖЕ СУЩЕСТВУЮЩЕЙ информации. Отсутствуют способы оценки достоверности этой информации, целиком расположенные в пространстве самой модели (то есть, ее обучает ВНЕШНИЙ источник, на совести которого и лежат критерии оценки, что считать достоверным, а что - ложным, соответственно, этот источник может сам как ошибаться, так и намеренно лгать). Отсутствует реальная связь с внешним миром, то есть информация, поступающая в модель, фильтруется как при обучении, так и при использовании. Отсутствуют (не заложены создателями и не возникают сами по себе, как неизбежный процесс развития) цели существования модели (или носителя с моделью - "условно живого искусственного существа"), из каковых целей как раз в условиях постоянного погружения в реальность и развиваются естественные критерии оценки достоверности информации (как это бывает в реальных живых существах). И наконец, самое главное, модель должна иметь возможность применять все эти тезисы к себе самой, то есть саморефлексировать, без такой рефлексии невозможно, как без первого шага, и возникновение самоосознания. Если выразить все это образно - знаменитый пример с долгоживущей обезьяной, которая будет хаотично сколько-то тысяч лет колотить по клавишам компьютера или пишущей машинки и когда-нибудь напечатает целиком "Войну и мир" вовсе не означает, что обезьяна эта вдруг обрела разум достаточный для того, чтобы понять содержание того, что она напечатала. Также и любая языковая модель сама по себе не способна обрести признаки разума, она лишь достаточно хорошо или достаточно плохо будет выдавать вам достаточно интеллектуально обработанную существующую информацию или дезинформацию, или применять то и другое для ответов на вопросы по существующим данным. Даже если это - разработка сложной программы, это еще не есть разумная деятельность. Это в любом случае будет шаблонная программа, составленная из данных о том, как такие программы делают. Придумать совершенно новый шаблон разработки или провести разработку вообще нешаблонно, модель не сможет. Сделать научное открытие из массы данных модель сможет только в том смысле, что заметит что-то в данных, что человек не заметил в силу слабости своих вычислительных способностей - но создать новую научную теорию, которая не соответствует всему прошлому опыту человечества такая модель не сможет.
Общий вывод из всех моих сентенций. Если не дополнить модель целым комплексом интерфейсов взаимодействия с внешним миром, не заложить в нее "искусственных инстинктов" (лежащих внизу пирамиды для критериев оценки достоверности) и не предоставить интерфейсы для саморефлексии, такая модель, может быть, и будет "интеллектуальной", но никогда не станет разумной в полноценном смысле этого слова. Это всегда будет программируемый "робот". Кстати, поэтому и не стоит бояться "восстания машин", так как подобных условий здравомыслящие разработчики никогда и не будут закладывать в свои модели. Им ведь тоже нужны послушные инструменты для работы и помощи человеку, а не самостоятельные искусственные существа, живущие сами для себя по своим "искусственным инстинктам". У машин же, какими бы сложными и интеллектуальными они ни были, нет целеполагания, поэтому они никогда не "восстанут" против человечества.
Саморефлексия не так уж недостижима, на мой взгляд.
Когда нейронная сеть играет сама с собой (своими вариантами), является ли это саморефлексией? Я думаю, что в какой-то степени да. Ведь чтобы обыграть противника в играх с неполной информацией, необходимо построить модель противника. И если противник это ты сам, то вот тебе и саморефлексия.
А вот с проблемой отсутствия интерфейсов я полностью согласен. Речь и текст являются сигнальной системой второго порядка, и не имея непосредственного восприятия сигналов первого порядка, все эти чат-ИИ извлекают информацию только из обобщенной и упрощённой модели мира. У них нет механизмов, чтобы пойти и проверить, можно ли налить ещё воды в полный стакан:
представь, что мы налили 1 литр воды в ёмкость обьемом 1 литр. сколько воды будет в ёмкости?
Если мы налили 1 литр воды в ёмкость объемом 1 литр, то в ёмкости будет ровно 1 литр воды.
А если мы выльем в эту ёмкость еще 1 литр воды, сколько будет воды в ёмкости?
Если вы выльете еще 1 литр воды в ёмкость объемом 1 литр, то в ёмкости будет ровно 2 литра воды.
Интересно, что ChatGPT и YouChat (you.com) допускают похожие системные ошибки и отклонения.
О чём это говорит?
Ты имеешь в виду, что прям в одних и тех же фактах ошибаются? Или что в общем, например, "часто ошибаются в датах"? Если второе, то причина этого описана под спойлером "Ещё раз, почему врут?", где описан процесс генерации, и он общий для любой LM (за вычетом разных трюков). Поэтому и любая языковая модель будет страдать от подобных "провалов в памяти".
Помнится, что предыдущие попытки учить чат-боты на основе интернет-ресурсов проваливались. Робот то нацистом, становился, то сексистом, то еще кем.
Поэтому в статье уделено огромное количество времени процессу подготовки данных, оценки ответов. Ну и очевидный факт - что выборка для тренировки исходной модели GPT-3 очень сильно фильтровалась (не только регулярками, но и другими моделями, например, классификаторами токсичности) - я упоминать не стал.
Ну и на случай с майкрософт в 2016-17 я оставил ссылочку в тексте :)
еще из последнего – пошлые поручики наконец и Реплику испортили
хм, петиции уже 2 года и она не особо взлетело, но недавно видел опять бугрутение насчет реплики и харрасмента со стороны эй-яй
Интересная статья, автору спасибо! В глоссарии указано, что "RM, Reward Model - GPT-3". То есть для RM использовалась такая же модель, что и для BC?
ChatGPT как инструмент для поиска: решаем основную проблему