Comments 82
Дополню, что головы внимания, которые додумывают окончания слов/словосочетаний, повторяя некоторые части уже показанного текста ("ley" после "Durs") часто встречаются в литературе по interpretability под названием Induction Heads. Лучше всего понять, как они функционируют, можно, поиграв с ними в этом колабе - https://colab.research.google.com/drive/1gZdHsBL8Ljq7nSWJtxxlsI4JWHmllxxP?usp=sharing (он же встречается в туторе, на который stalkermustang выложил ссылку в предыдущей ветке).
Ну и почитав в статье, если захочется углубиться поподробнее: https://arxiv.org/abs/2209.11895
у модели в какой-то момент «щёлкает»
нейросети должны ржать над подобными попытками понять их
«Понять» формулу в конечном итоге оказывается легче, чем выучить все ответы
Слова это инструменты, в данном случае, инструменты стоит подобрать другие - нейросеть, как пример, сумела сложить складывающий по модулю стишок
Для понимания мышления нейросетей людям, для начала, надо покопаться в своем мышлении
Может нейросети и должны ржать над людьми, но у меня в голове именно так и сложилось понимание внутрянки работы Пролога. В какой-то момент я просто понял (щёлкнуло) и за 10 минут написал код, над которым сидел почти всю пару. После этого мог писать на Прологе вообще всё институтское без напряга. У писателя Хайнлайна есть такая фраза - "грокнуть во всей полноте". Она как раз про "щёлк".
отлично, а теперь напишите работающий код "щелчка" - нейросеть написала
Ну так и я его создал, в своей голове. Если коротко, то вы обнаруживаете шаблон решения типовой задачи на основании множества примеров - "придумываете формулу". Каждой типовой задаче соответствует свой шаблон. И у человеков, и у ИИ так это работает. Что тут ещё копаться-то?
У писателя Хайнлайна есть такая фраза - "грокнуть во всей полноте"
TIL, откуда произошёл термин "Гроккинг" в ML
нейросети должны ржать над подобными попытками понять их
У этого механизма есть название — Гроккинг, его можно отследить, от много где наблюдался, но до коцна ещё не изучен.
Как ты понимаешь, писать ещё 30 минут в конце под объяснение я не стал. Мб будет во второй-третьей части :)
Вчера в Nature communications вышла статья на эту же тему под названием "Thermodynamics-inspired explanations of artificial intelligence". Она в свободном доступе. Думаю, будет интересно тем, кто в теме.
(Кстати, оставляйте комментарий, если хотите, чтобы мы разобрали этот и другие методы из мира механистической интерпретируемости!)
Оставляю комментарий, было бы интересно почитать. За эту статью - спасибо!
Можно сказать, что параметры нейросети пришли в состояние, задающее эту формулу
А мы умеем эти формулы оттуда как-то извлекать в привычном нам математическом виде?
Только ручками и с пониманием, что конкретно искать — вот как раз для сложения так и сделали. То есть можно посмотреть на веса и разобраться, какое преобразование данных они делают (например, поворот вектора в пространстве).
А можно, интересно, для этого обучить отдельную нейросеть, которая в рамках определённой области знаний будет конвертить преобразование весов в латеховскую формулу? Или такое невозможно?
Затрудняюсь ответить, мне кажется пока теоретической базы и наработанных примеров мало, чтобы сделать такую систему. Не уверен, что в ближайшие полтора-два года стоит ждать.
Относительно недавно придумали KAN, там обучаемые "синапсы" являются функциями, а "нейроны" сложением и помимо других разнообразных плюшек авторы придумали как автоматически конвертировать их в человекочитаемые функции
Вопрос насчёт алгоритма сложения, который вывела LLM. А на каких входных данных нужно обучать LLM, чтобы объяснить ей данный алгоритм напрямую? То есть, не через тысячи примеров сложения разных чисел?
Конкретно для сложения и тысячи примеров нагенерить не сложно, но для более сложных концепций так уже не получится. Поэтому важно научиться объяснять именно логику.
Есть ли работы в этом направлении?
То есть, не через тысячи примеров сложения разных чисел?
не знаю ¯\_(ツ)_/¯
в теории, есть какой-то датасет меньшего размера, чем использовали авторы, который позволяет добиться такого же эффекта. Мб там хватит всего 1000 примеров для сложения трёхзначных чисел, повторить 100'000 раз (эпохи обучения) — и снова «щелкнет», выучится алгоритм.
Есть ли работы в этом направлении?
я бы сказал, что более всего на это похожа генерация синтетики через использование Verifier (для математики это калькулятор, для кода это тесты, для задач общего типа это может быть отдельная LLM, которая ищет проблемы с ответом, и даёт фидбек). Дообучение на этой синтетике улучшает навык модели.
Для сложения все просто - даже очень простая линейная нейронка собирает веса так, что через 5-10 примеров выдает очень неплохие результаты (игрался давно с умножением). Ведь по сути, у сложения нет логики - есть правила, как сложение делать. И физический смысл, типа два яблока и три яблока - 5 яблок, но и сетка очень быстро научится этому.
Конкретно для сложения и тысячи примеров нагенерить не сложно, но для более сложных концепций так уже не получится
И не нужно. У вас целеполагание неверное. Если мы знаем логику процесса - нам нейронка не нужна, логика легко декларативно описывается на любом нужном ЯП. Нейронка - это как раз очень продвинутый аппроксиматор, который используют, когда известны входы, известны выходы, но связь между ними уловить не получается.
Чатгпт(и все остальные тоже) не умеет считать. Проверить можно сделав запрос через апи где ты контролируешь используемые инструменты сам. Если не использовать калькулятор то будет ошибаться уже на 3значных цифрах.
У клод-сонет тоже самое, цифры другие но тоже неправильные.
Пример из статьи работает в АПИ. Ответ (удивительно!) снова правильный.
Скрытый текст
Несколько преувеличиваете возможности трансформеров в этой области) ChatGPT уже не та ЯМ, что была 2 года назад. Это обросший коммерческий сервис с миллионами запросов в день. Было бы странно, если он часто выдавал ошибки в арифметических операциях. Точно не известно как там обрабатываются запросы, это закрытая информация, даже по числу параметров самой модели, не говоря о таких деталях. Но в новостях неоднократно писалось о его улучшениях, устранении ошибок, доработках, и тп. Возможно с арифметическими подсчетами также ведется отдельная обработка, если необходимые плагины не используются. Почему это возможно? Трансформеры, как прямые сети, в текущей архитектуре, в принципе не могут выработать эти процедуры (генерализации) для любых чисел. Для этого она должна поддерживать циклы внутри сети и память для промежуточных результатов, т.е. быть рекуррентной. Сейчас имеется только внешний авторегрессивный цикл и контекстное окно. Можно обучит чат контекстно, например, сложению по шагам, т.е. избавиться от цикла, но из-за конечности объема контекстного окна, для очень больших чисел все равно будут возникать ошибки. В одной из статей этот случай рассматривался. Возможно нечто подобное используется в ChatGPT.
Что происходит на самом деле? Сеть использует все имеющиеся в обучающей выборке примеры для выработки приближенной (аппроксимационной) модели сложения. Часто видел примеры в которых чат выдает близкие, но не точные результаты, если даже включен жадный режим сэмплирования. Проблема в том, что целых чисел бесконечное множество, а вещественных несчетное, поэтому в обучающей выборке даже большую их часть в принципе указать нельзя, и соответственно выработать точную модель для этих операций.
Приведенный пример со сложением по модулю демонстрирует это. Во первых, его алгоритм даже не циклический, как в сложении, во вторых, p при обучении задавалось равным 113, т.е. число всех пар 113*113, не такое уж большое, для обучения использовалось 30%. Для этого числа точная аппроксимация выстраивается, и ее можно выписать даже в виде формул. Но если бы число было на порядок больше, то сомнительно, что выстроилась, модель была только приближенной.
Забавный факт, нативно человек также подсчитает число предметов приближенно благодаря чувству численности, и точность подсчета определяется законом Вебера (отношение разброса ошибки к числу предметов константа). На основании этой эволюционно выработанной интуиции (в каком-то виде она имеется и у животных) у человека возникли абстрактные числа и счет для любых чисел. Дети на конечном числе примеров вырабатывают процедуры счета для любых чисел, и они, в отличии от запоминания конкретных примеров в ассоциативной памяти (таблиц сложения, умножения), запоминаются в процедурной. Такой памяти у трансформеров пока нет. У них фактически только аналог ассоциативной с разной силой связи (1, 2), что позволяет строить аппроксимационные модели разной степени точности.
Один из пользователей провел регулярное тестирование моделей на умножение - результат.
Чем мне нравятся LLM — так это то что они не додумаются к статье, где показываются примеры со сложением, приводить как контр-аргумент умножение. Это прям ух, реально прорыв в области интеллекта.
Первое, спасибо за статью было очень интересно!
Второе, справедливости ради, предыдущий оратор скорее всего ссылался на то, что умножение, хотя и другая операция, но не должно быть сильно сложнее, чем сложение. Поэтому не совсем ясно, почему LLM может в сложение, но не может в умножение.
Кстати, я попробовал поиграться с отниманием (для математики суть сложение), но похоже ChatGPT, пока не вывел корректную формулу. Вот что у меня получилось.
На промпт
You are a calculator. output the result: 676797809057863124389 - 124508876333265758976869
Я получил ответ:
The result of 676797809057863124389−124508876333265758976869 is:
−124508199535456701113480
Питон утверждает, что правильный ответ -123832078524207895852480.
я не согласен в корне с тем, что умножение не сильно сложнее сложения. если модели дать возможность писать промежуточные вычисления, делая подсчёт столбиком, то она справится (затрудняюсь оценить процент успешных ответов, от балды скажу что значимо больше нуля, но не такой высокий).
причина в том как это работает с точки зрения слоёв внутри модели. Сложение операция поразрядная, и её легко internalize (интернализировать?). Не нужно смотреть на все цифры сразу и держать в голове кучу контекста. Умножение же не подпадает под это требование, даже чтобы написать первую цифру понадобится сразу перемножить все разряды и просуммировать 2 числа.
Про вычитание — два комментария:
1) мой пример (как и пример опенаи) делает акцент на том, что в обоих числах одинаково разрядов, и мб поэтому тут так не работает
2) это может быть другой навык ¯\_(ツ)_/¯ я не видел его анализа, было бы интересно посмотреть, выучивается ли что-то по другому, и вообще какой модель видит связь этих двух операций.
Я согласен с тем, что операция умножения сложнее, чем операция сложения(кстати для вычисления последней цифры результата, при умножении нужен точно, такой же размер контекста как и при сложении :-) ). Я так же согласен с тем что сложение операция поразрядная.
Однако, тут возникает логичный вопрос. Смотрите, в статье вы описали, что одна из малых, но специализированный нейронок вывела формулу сложения по модулю.(Кстати, поделитесь, пожалуйста, ссылкой на статью). Эта формула явно требует больше контекста, чем просто умножение. И похоже, что сама формула не поразрядная. Значит ли это, что дело не в поразрядности операции и величине контекста?
Вот (внутри есть ссылка на Arxiv, если так удобнее). Добавлю ещё в блогпост.
Эта формула явно требует больше контекста, чем просто умножение
не понял этого тезиса(
Я думаю что с появлением нейросетей стоит переосмыслять проблему ИИ с нуля. И начать стоит с того, что такое интеллект вообще. Просто я все больше замечаю, что проблема не в том, что ИИ не обладает интеллектом, а в том, что в сравнении с ИИ большинство людей так же не обладает интеллектом, и все, что есть у них в голове, это набор паттернов и алгоритмов.
Ну например, интервью. Спикер говорит:
-Все люди в той или иной мере идиоты.
На что ведущий возражает:
-Но вы ведь тоже человек!
И большинство тех, кто это прочитал сейчас, вроде как считают, что понимают, что имел в виду ведущий. Вроде: "ну получается, что вы, товарищ спикер, тоже в той или иной мере идиот тогда". Но сама формулировка ведущего лишена как логики, так и смысла. Он мог спросить, почему спикер так считает, или возразить ему, что нет, не все, и так далее. Но он применяет именно такую формулировку. И видя такое возражение, можно засомневаться, обладает ли ведущий интеллектом, или просто лепит слова невпопад?
Или например у многих людей нет в голове ассоциативных связей между "кислота" и "кислый" (да, если вы понимаете, что кислота кислая на вкус, то вам это кажется диким, но я довольно много провел исследований на эту тему). Так, например, люди считают, что кислота - это вещество. Например кислота ортофосфорная в кока коле, это стабилизатор и консервант, а кислый вкус получается от добавления кислых продуктов. Например уксуса. То, что на бутылке с уксусом мелким шрифтом написано "уксусная кислота" они за 50 лет жизни могли не разу и не прочесть. И это не прикол, если что. Процентов десять людей не в курсе, что кислота кислая на вкус. И что если добавить например в консервацию лимонную кислоту, которая по рецепту, консервант, то консервация приобретет кислый вкус. И потом удивляются, как так, абрикосы были сладкие, а варенье из них кислое. Магия.
Или вот разговоры с некоторыми представительницами "прекрасного" пола вообще иногда выбивают дно. Ну из разряда когда говоришь "ребенок это пассив, который требует средств и времени на свое обслуживание, при этом накладывает ограничения на родителей по свободе перемещения, выбора места для жизни и так далее", то можно в ответ услышать что то вроде "но дети такие милые" или "так что теперь, не нужно рожать детей?", что вообще никак не пересекается с тем, что было сказано в начале. То-есть "на столе лежит кирпич, красной армии солдат". Но говорящая это считает, что она дает прямой ответ/возражение на сказанное.
И на этом фоне я все чаще задумываюсь над тем, а есть ли у людей вообще интеллект? И если есть, то у какого процента? Ну и на этом фоне интеллект ЛЛМ не кажется таким уж "плоским" и "слабым" по сравнению с средним человеческим интеллектом.
P.S. И кстати, имея некоторый опыт взаимодействия с докторами, я все чаще склоняюсь к мысли, что я бы предпочел что бы меня лечила и ставила мне диагноз ЛЛМ, чем среднестатистический доктор из районной больницы... И да, когда я говорю ЛЛМ, я имею в виду именно ЛЛМ, а не специализированную медицинскую нейросеть. Потому что даже ЛЛМ ставит диагноз точнее и более вдумчиво, чем эти промоутеры фарм-компаний и болонской системы образования в белых халатах.
Да очень точно подметили эту раздражающую особенность, что люди часто отвечают не напрямую на вопрос а выдают предложение через фильтр своих впечатлений (обучающих выборок информации как у нейронок). Если выборка маленькая, т.е. человек не начитан то общаться невозможно. Т.к. одна мысль где то услышанная когда -то формирует все ответы.
-ты видел сделали асфальт кривой?
-аты госдолг США видел?
Слишком категоричное мнение, при этом оно полностью подходит под обвинения. Каждый из ответов что ведущего, что про детей можно продлить и понять о чем говорил человек. Не стоит так же забывать про различные типы интеллекта, такие как: Эмоциональный интеллект, Социальный интеллект и тому подобные, которые у каждого человека развиты по разному, по этому для ведущего могло быть оскорбительно это высказывание, а для представительниц прекрасного пола милота ребенка, что обусловлено биологическими и эволюционными факторами, будет выше чем деньги или затраченное время.
Не стоит забывать про когнитивные искажения, к примеру в данном случае; что у вас, что у людей в ситуациях можно увидеть: "Подтверждающее искажение" (я верю что вакцина плохая и буду эту инфу искать и дальше верить), "Искажение доступности" (увидел в ТГ канале что самолёт упал, и боюсь несмотря на статистику, то есть оценивать вероятность или частоту событий исходя из легкости, с которой человек может вспомнить похожие случаи), а так же "Проклятие знаний" (не понимаю кто-то что-то не можно знать в этом мире, или как такое можно не знать?!). Вот к примеру последнее явно проявляется в вопросе с кислотой, ну не обладают некоторые этим знанием, но ведь это не значит что человек не обладает интеллектом, который в инглиш вики можно найти в различных вариациях и описаниях и я лично вам рекомендую к прочтению, так как термин очень широкий. И вообще, сами разговоры что обладает интеллектом, а что нет включая LLM, напоминают курицу и яйцо, вот человек сам по себе является проявлением интеллекта и 0 точкой отсчёта. Мы можем заявить, что у растений нет интеллекта, нет нейронов, но они способны обучатся от внешних раздражителей, что является одним из признаков интеллекта, а вот некоторые виды обезьян, не обладают человеческим интеллектом, но в сравнении с растением, там ух какой интеллект, то есть как с курицей и яйцом, нет четкой границы, так как у нас он есть, а вот у других он меньше, или больше (чего хотят сделать с ИИ). Но нельзя при этом сказать что у тех есть, у тех нет, а вот тот кто не знает что кислота даёт кислый вкус, вообще им не обладает.
Ваше описание опыта с врачами, которое явно не удачное, учитывает только ваш опыт, и вашу среду, зачем говорить что llm лучше и врачи не нужны?
Вот смотрите:
Я пишу в начале поста, что следует пересмотреть понятие интеллекта в принципе.
Базовый интеллект в его первичном понимании, это способность строить логические последовательности. Например "бил гейтс бросил университет и стал миллиардером, из этого следует что если я брошу школу, я тоже стану миллиардером". Это пример простой логической последовательности. И человек, который может построить такую последовательность, обладает интеллектом. Да, он обладает низким интеллектом, потому что он сделал ложный вывод. Ведь бил гейст стал миллирдером после того, как бросил школу, но не в следствии этого. Но тем не менее, у него присутствует интеллект.
А "бил гейтс бросил школу и стал миллиадером, потому что миллиардеры - это круто" - это не признак интеллекта, это просто простое ассоциативное мышление. Такое же как: "зеленый-идти, красный-стоять, самка-хотеть, фрукт-жевать, горящая машина - садиться и гореть".
И то, что вы говорите, что на:
ребенок это пассив, который требует средств и времени на свое обслуживание, при этом накладывает ограничения на родителей по свободе перемещения, выбора места для жизни и так далее
Ответ: "но ребенок милый, я хочу ребенка", это не следствие интеллекта. Это простейшие ассоциативные паттерны. И они есть даже у рептилий или ближайших родственников динозавров - индюков, например. Индейка (индюшка, хз как правильно), когда видит цыплёнка или утенка, который пищит, сразу же считает его своим ребенком, и защищает его. Потому что у нее срабатывание паттерна на писк идет. Аналогично по этой же причине, когда скорпиону наступают на голову, он жалит.
Здесь просто паттерн, который ничем не отличается от любого другого условного рефлекса (врожденного или приобретенного, не важно).
То-есть из утверждения, что "дети это пассив", никак не следует "но дети милые". Повторюсь. Никак не следует. Более того, это даже не возражение у утверждению что "дети - это пассив". Это примерно как "камень твердый, но мокрый". "Но" тут не уместно.
Собственно из за этого так сложно находить общий язык с людьми и о чем то договариваться. Потому что часто думаешь, что разговариваешь с человеком, а по факту разговариваешь с шимпанзе, в чьей голове тригнернулся на слово "дети" какой то ассоциативный паттерн, и человек спешит его озвучить. И получается что один "хочу на море", а второй "море - вода, вода - акулы, акулы - туруруру, я акула туруруру". И важно, эта цепь не логическая, она ассоциативная. По типу "что пьет корова? - молоко".
И когда мы говорим о неправильны ответах ЛЛМ, то нам стоит не ЛЛМ изучать, а в первую очередь проводить параллели между ЛЛМ и человеческим интеллектом. Потому что на вопрос "что пьет корова" человек часто дает ответ "молоко".
Проклятие знания имеет место быть. Но тогда когда мы говорим о том, что нейросеть неправильно дает ответ на вопрос, как мы можем быть уверены, что она вообще знает о чем речь и правильно понимает предмет вопроса? У нейросети спрашивают за цифры. Но откуда она в принципе может знать цифры? У нее был курс математики? Ее обучали геометрии? Как она может понять геометрию, если она видит мир исключительно через текст? То-есть говорить, что ЛЛМ не обладает интеллектом, потому что не может в цифры и не может посчитать количество букв в слове ставберри в этом случае не совсем корректно, по крайней мере до тех пор, пока мы не убедились, что она вообще понимает о чем речь.
P.S. Про врачей я специально вынес в PS.
То-есть из утверждения, что "дети это пассив", никак не следует "но дети милые". Повторюсь. Никак не следует. Более того, это даже не возражение у утверждению что "дети - это пассив". Это примерно как "камень твердый, но мокрый". "Но" тут не уместно.
Человеческий интеллект создан естественным отбором не для поиска правды и логики, а для размножения и добычи ресурсов, так же как мозги и организмы других животных. Утверждение, что дети пассив, может восприниматься как аргумент против размножения, а для биологии это недопустимо. Поэтому сразу же начинаются приводиться контраргументы, такие как миловидность детей и т.д.
Особенно дети важны с точки зрения самок, если речь идёт о млекопитающих. У большинства млекопитающих самки гораздо более озабочены потомством, чем самцы. Самцы в среднем чаще склонны оплодотворить и свалить, чтобы дальше распространять свои гены.
Из моего комментария никак не следует то, что вы пишете. Мой комментарий сравнивает человеческий интеллект и интеллект ЛЛМ. Для чего человеческий интеллект был создан я не рассматриваю вообще. Более того, дети не важны в контексте моего комментария и поста. У вас сработало ассоциативное мышление. Вы увидели в комментарии то, что вас зацепило, и вас понесло в эту сторону. Разговор вообще не о детях.
То-есть из утверждения, что "дети это пассив", никак не следует "но дети милые". Повторюсь. Никак не следует. Более того, это даже не возражение у утверждению что "дети - это пассив".
Именно что возражение. Дети милые - дети это актив, способствующий возникновению новых привязанностей и выработке сопутствующих гормонов, благотворно влияющих на человека.
С этим аргументом можно спорить, но это именно что возражение.
Максимализм + снобизм
Вы мне старый баян с Баша напомнили.
Она: ответь мне, только честно, да или нет, хорошо?
Он: спрашивай
Она: почему мужчины смеются над блондинками?
Он: да
Знакомое ощущение абсурдности мышления людей. Однако тут не помешает отнестись со скепсисом и к самому себе. Допустите ли вы мысль, что если вы включите все обстоятельства в рассмотрение, то внезапно окажется, что всё вокруг вполне логично, в т.ч. и способы мышления людей?
Люди руководствуются в большинстве случаев своими жизненными интересами, поэтому ориентируются на понятия хорошо/плохо, приятно/больно, свой/чужой и т.п. Дискуссии они представляют как борьбу и защиту и поэтому спешат сортировать собеседников под известные им ярлыки, в то же время постоянно отслеживают свой статус в сообществе и производят в голове расчеты как на этот статус повлияет то или иное их слово/действие, и т.д.
Занятия чистой логикой - дело очень трудное, вязкое, редко оправданное, и страшно затратное в расчетах, что лишает их применимости в повседневной деятельности. Даже когда на кону стоят жизнь и благополучие человека, даже это не всегда достаточное обстоятельство, чтобы заставить его думать над логикой.
Да, именно так.
Все вокруг вполне логично. И более того, поведение людей логично. Но при этом сами люди не логичны.
То-есть если мы посмотрим на поведение со стороны, как это сделали вы, то мы можем логически объяснить их действия, но при этом сами действия будут лишены логики. Ну например человек, который царапает машину соседу, а потом платит штраф (руководствуясь принципом "ни себе, ни людям", ну или "луз-луз"), то его действия понятны. Он чем то оскоблен и мстит обидчику, или он завидует, от того, что на фоне соседа его место в иерархии упало, после того, как сосед купил машину. Ведь только вчера пили пиво, а сейчас сосед на камри, а он так и остался подписвасником. И объяснить действия людей можно с точки зрения логики и понимания природы их поступков. То-есть мир в целом логичен, и поддается логическому осмыслению.
Но при этом конкретно эти люди не руководствуются логикой.
Есть много типов мышления, и логическое - одно из них. Есть еще ассоциативное, абстрактное, эмоциональное и так далее. И вот конкретно человек, который царапает машину, возможно делает это на эмоциях. Стороннему наблюдателю очевидно, что он делает дичь, и интеллектом в этот момент не пользуется (или вообще не обладает), но самому человеку нормально. Более того, он уверен, что действует правильно и рационально.
Ну и возвращаясь к теме поста. Когда мы оцениваем ИИ с точки зрения того, обладает он интеллектом и способностью к логическим рассуждениям, или он просто триггерится на какие то паттерны и выдает связки слов по типу "корова-молоко" (когда спросить человека, что пьет корова, то первая мысль будет - молоко, а после он перепроверит ее, и ответит правильно, или нет), и так далее. То оценивая ИИ с точки зрения интеллекта стоит сразу рассмотреть, что есть интеллект в принципе. Просто когда мы говорим что ИИ не обладает интеллектом, как люди, а потом смотрим на людей, которые гвоздем царапают новую машину соседа просто потому, что сосед ее купил, гад такой, то невольно задумываешься, а обладают ли люди интеллектом? И только лишь все, или не каждый?
Это старая дискуссия об определении слова интеллект. Любой термин - это вопрос договоренности между людьми, что под этим подразумевать. Пока что люди не договорились о трактовке и это нормально. Когда само мышление будет изучено глубже, и станут видны границы явлений тогда и договорятся о терминах. А пока что это что-то не очень определенное, многогранное и местами противоречивое.
А пример с царапателем скорее показывает что да, человек обладает интеллектом. Интерес его - уменьшить свою боль от своего статуса, компенсировать её мелкой местью, и он действует вполне логично относительно своего интереса, и даже действует скрытно, чтобы избежать наказания. Это довольно интеллектуально) Не каждая кошка или собака так сумеет. И вот когда ИИ начнёт выкидывать подобные трюки тогда мы и заподозрим что он наконец добрался до высоты человеческого интеллекта)
Мне одному кажется или в каждай статье Игоря он объясняет Аттеншн?
А где про прошлогодние военные учения, на которых дрон с ИИ попытался уничтожить своего оператора?
На испытаниях в США беспилотник с ИИ принял решение убить оператора
Минус возможно аргументировать? (по ссылке пруф)
>>попытался уничтожить своего оператора
Прям классический пример “ученый изнасиловал журналиста”.
“А вот теоретичеки, ИИ может принять решение избавиться от оператора, если он ему мешает” превращается в “принял решение” в заголовке, а оттуда в вашем перескаже он уже “попытался уничтожить"
Спасибо за статью! Продолжая сталкиваться с галлюцинациями в ответах LLM (выдумывание имён персонажей и сюжетных элементов даже в известных книгах, причём при повторении вопроса на английском ситуация улучшается), так и не пойму - есть ли перспективы в ближайшем будущем быстро определять, что та или иная часть ответа была сгенерирована с меньшим использованием (встречаемостью) данных из обучающей выборки? Эх, как-нибудь красненьким такие токены помечались бы в ответах...
Перспектива есть, вот один шаг был описан в статье, где мы отслеживаем внимание модели и проверяем, что оно указывает на реальный текст, а не на <start of sentence>
С внутренними знаниями тема сложнее, но прогресс ожидаю. И думаю, что масштабирование LLM тоже уменьшит величину проблемы — то есть от GPT-5 стоит ждать сподвижек.
Человек изучает мозг, чтобы сделать AI (AGI), и мне кажется пришел в точку, когда понял, что мозг-то на самом деле это просто очень большая натренированная LLM. И дело уже не в том, как модель устроена, а в том, чем мы её кормим.
На данный момент LLM обучаются на извлеченном текстовом знании.
Думаю следующий большой прорыв будет, когда LLM обучат на миллиардах часов видеозаписей с обычных видеокамер в общественных местах.
И тогда LLM cможет вычленить то, что называется Tacid knowledge.
Tacit knowledge or implicit knowledge—as opposed to formalized, codified or explicit knowledge—is knowledge that is difficult to express or extract
И начнется думаю, все с корпоративного уровня: камеры на предприятиях, анализ рабочих созвонов, ведущий conference-call и т.д.
Tacit это в данному контексте эмпирический?
Думаю следующий большой прорыв будет, когда LLM обучат на миллиардах часов видеозаписей с обычных видеокамер в общественных местах.
А если сделают робота с камерой и датчиками, который сможет в реальном времени ездить везде, смотреть, щупать и т.д. Т.е. получать весь спектр информации и взаимодействовать с миром - как маленький ребенок - тогда инфы для обучения и анализа будет еще больше.
Мне одному показалось, что вся статья о том, что - учёные придумали LLM и не понимают как оно работает внутри?!!
И целые отделы других учёных пытаются понять что придумали предыдущие, потому что те видимо были под наркотиками и забыли чего они там изобрели.
Как работает ДВС и гравитация - вопросов ни у кого нет. А как LLM - чёт целая загадка прям.
Так что же изобрели то?
А я как чат джпт версии 10 Вам отвечу - легковерного балтуна сплетника балабола.
Из будущего комментарий. Хз как сработало, но пишу Вам из 2045 года. Картошка сама себя не поливает зараза до сих пор
Как работает ДВС и гравитация - вопросов ни у кого нет.
Ага, с гравитацией конечно все понятно… С ДВС вроде понятно, но вот вопросы синтеза прошленного углерода из газа (просто тупо сжиганием) до сих пор нифига не моделируются нормально. Эмпирически подобрали режимы. Хотя казалось бы, штука-то простая.
Эффективные менеджеры, по принципу Неуловимого Джо, сэр. Зачем чего-то там моделировать, если подобрать эмпирически быстрее и дешевле?
Что вы несете? Что дешевле? Там улучшение выхода на десять процентов — уже офигеть какая прибыль. Там очень много науки.
https://www.nkj.ru/archive/articles/34057/
То есть, по-Вашему, капиталисты такие тупые, что не хотят увеличить свою прибыль путём расчёта более выгодного режима?
Вы читаете что я пишу вообще? ОНО СЛОЖНОЕ. Оно пока не считается, нет матмоделей этого процесса. Даже за деньги. Даже привлекая физиков. Даже за большие деньги.
За 50 лет нашли режимы, в которых выход норм, но все еще далек от идеала. Рады бы получить больше выход, но вот не получается пока.
Оно на то эксперимент, что иногда просто тупо перебирают все возможные комбинации параметров. Да, долго, да, недёшево — но ведь работает. А проделать нужно всего один раз, а потом всю оставшуюся жизнь пожинать плюшки.
Возможно, что нейронки не совсем "придумали" а скорее сделали. Как ветряные мельницы или первые самолёты. Примерно понимали как использовать физические эффекты, но детальной теории аэродинамики не было.
Я как-то выразил мнение, что нейронки это такой сверхнастойчивый брутфорс и фаззинг-тест реальности, включая психику человека, его биологию, законы биосферы и прочего. Но как-то не поддержали моё видение хабраюзеры. А мне кажется, что нам всем очень повезло своими глазами увидеть искрящийся апокалипсис или рождение чего-то невероятно крутого, нового и волшебного (что уничтожит привычный уклад мира как выполнившую функцию "ботву", оставив семена новой жизни).
Скажите, а где-то можно за бесплатно получить доступ к самым передовым LLM чтобы по русски понимали, хочу получить синтетические матюги :)
Есть ли понимание, почему ни один провайдер LLM-сервисов не предоставляет информацию об уверенности модели в ответе? При достаточном понимании уже 2 года назад, как это может работать и почему (можно как вы написали, можно логиты последнего слоя смотреть и считать prediction intervals, в общем много чего можно, и это будет вот прямо работать супер), очень откровенно бесило что никто такого сервиса не даёт через API (понятно что можно завести свою большую LLaMa, ну так вопрос цены...), и приходится плясать какие-то дикие бубны, сэмплируя множество LLM по нескольку раз и прочую дичь, чтобы хоть как-то оценить галлюциноген. Неужели причина только деньги (понятно, что мои пляски с бубнами на каждый запрос кратно повышают их чек). Но ладно бы это только меня как клиента раздражало. Это же порождает дурные совершенно спекуляции из серии "ах, никуда ваши нейронки не годятся, галлюцинируют, 'ChatGPT is bullshit', о ужас чёрный ящик, никто !!! не знает как это работает поэтому мы не станем их использовать" и т.д., ну глупость же несусветная. И такое ощущение, что это ровно то что производители LLM API и хотели - поднять кипеш и бурление, при этом срубая кратный чек. Можно, конечно, ещё допустить, что условные Мира Мурати и Сем Альтман действительно не очень в курсе и не хотят (не готовы, не могут, ...) понять и принять те вещи, о которых мы тут говорим, и потому они никогда не происходят в виде функционала API, хотя им настоящие разработчики этого дела постоянно это может быть и предлагали, но вероятность мне кажется не очень большая...
Очень крутая статья. Понравился пример как того, как GPT-4 сознательно врет, для того чтобы решить проблему
Спасибо, очень интересная статья!
Есть ли у вас какие-то идеи, какие исследования по mechanistic interpretability можно сделать "дома на коленке"? Давно интересуюсь этой темой и хочу положить какой-нибудь пет-проект в портфолио для будущего PhD. Очень впечатлила статья про Golden Gate Claude, но там метод не очень подробно раскрыт. На Kaggle как-то ничего вдохновляющего не нашлось.
Дополню, что головы внимания, которые додумывают окончания слов/словосочетаний, повторяя некоторые части уже показанного текста ("ley" после "Durs") часто встречаются в литературе по interpretability под названием Induction Heads. Лучше всего понять, как они функционируют, можно, поиграв с ними в этом колабе - https://colab.research.google.com/drive/1gZdHsBL8Ljq7nSWJtxxlsI4JWHmllxxP?usp=sharing (он же встречается в туторе, на который stalkermustang выложил ссылку в предыдущей ветке).
Ну и почитав в статье, если захочется углубиться поподробнее: https://arxiv.org/abs/2209.11895
В задаче со скрепками некорректно сформулированы условия. Сказано, что Наталья продала в апреле скрепки 48 своим друзьям, а в мае продала скрепок в два раза меньше, на основании чего предлагается определить общее число скрепок, проданных Натальей в апреле и мае. Строго говоря, у нас нет достаточной информации для решения задачи. Наталья в апреле продала не 48 скрепок, а некоторое количество скрепок 48 своим друзьям. Нигде в условиях задачи не сказано, что каждому другу было продано по 1 скрепке. Каждый из друзей мог купить любое число скрепок от 1 и более. Соответственно, Наталья в апреле вполне могла продать и более 48 скрепок. Нейросеть же не заметила некорректности формулировки и по умолчанию приняла предположение, что "1 друг = 1 скрепка".
Тут этот пример с HAL 9000 на картинке выше — топ-1 по влиянию, что неудивительно.
Неудивительно?? Честно говоря, я, мягко говоря, охренел с этого факта. Фантазия Артура Кларка про "инстинкт выживания" робота, зафиксированная на бумаге десятки лет назад, пронеслась через пространство-время, попала в обучающую выборку для ИИ и легла в основу поведения мощной (по меркам времён написания рассказов Кларком) настоящей системы киберинтеллекта. По-моему это очень яркий пример "самоисполняющегося пророчества".
Приятно читаеться. Спасибо. Многое понял об LLM. 👍
Вставлю пять важных копеек. LLM до сих пор не умеет умножать два числа. (Без обращения к запуску сторонних программ). Накидайте умножение, как в первом примере вначале статьи, а не сложение и любая модель сильно ошибется. До скайнета еще не так близко...
Большие и чёрные (ящики): что мы знаем о том, как «думают» нейросети?