Comments 23
LLM модели(в текущей реализации) никогда и не думали и не имеют мышления, тут даже не нужно IT-шником быть, что бы это знать, пустые глупые дегенеративные статьи, такие же пустые глупые дегенеративные исследования, глупые дегенеративные новости. LLM просто предсказывает наиболее вероятное продолжение того, что ты ей написал, например "Ехали медведи на ..........". Модель продолжит "велосипеде", а все остальное просто накрутили слоями внимания итд. Что бы было комфортно пользоваться в режиме чата, код анализировать итд. Если человек думает что LLM думает - то он сам не думает, т.е идиот. Так что никто никого и ничего не разоблачал. Так же смешно смотреть как все сокрушаются, когда какая-то модель не ответила на детскую загадку итд.
Результаты последней модели (o1-preview). Выглядит вполне себе как "мышление".
Да, конечно, o1-preview выучило эту задачу. Кучу статей про подсчёт братьев и сестёр прочитало.
Так и хочется на очередной апломб попросить задать такую задачу, которой они ещё не видели. Как правило мощные модели проявляю свои когнитивные способности. На самом деле. Караван идёт, а собаки лают. Повторяя заученную мантру.
Можно перефразировать на что-нибудь аналогичное, наподобие "У Василия есть сын Петя. Отцу Василия 80 лет. Сколько лет отцу отца Пети." Этой задачи наверно нет в обучающих выборках, потому что я её только что придумал ) Аналогичные - есть конечно.
PS. Справедливости ради стоит отметить - на практике даже o1 по прежнему часто начинает тупить, галюцинировать и не видеть ошибки. Например мне недавно на просьбу подсказать кониг cloudformation выдала:
To achieve your desired state, you need to ensure that each of the 3 tasks runs both the old and the new container, resulting in a total of 4 containers (3 old + 3 new).
Ну так о1-preview и не входит в этот список. Производители подчёркивают то, что это первая модель основанная не на предсказании следующего слова в тексте то есть аппроксимации а на реальных цепочках логических рассуждений, что чрезвычайно наглядно они же и продемонстрировали с разгадкой их шифра который они ей задали. Никто из тут писавших и близко бы не подобрался к разгадке - я даже чтобы понять в чем чуть ее рассуждений напрягал все мозги и порой путался. То есть эта модель вообще на другом уровне - все остальные в сравнении с ней словно дети.
просто предсказывает наиболее вероятное продолжение
Попробуйте аргументировано доказать, что человеческое мышление чем-то ПРИНЦИПИАЛЬНО отличается от этой схемы.
Спойлер: не получится 😉
Полностью поддерживаю, llm конструктивно не имеют способности к размышлению и осмысливанию, они не могут думать и генерировать мысль, для этого им нужны системмы тормозящих нейронов как в мозге и возможность перегонять нейронный патерн по слоям в обратную сторону, чтоб еще раз обдумать свою же мысль, реализовать такие сложные механизмы к сожаленью пока невозможно чисто физически, я уже не говорю про то что пока даже нет алгоритмов для этого, поэтому такие думающие в кавычках нейросети как o1prewiew это неболее чем примитивное подыгрывание нашему мозгу. И появятся ли реальные алгоритмы полностью копирующие наш мозг в ближайшем столетии непонятно, так как на разработку алгоритма обратного распространения ошибки ушло больше 20и лет
перегонять нейронный патерн по слоям в обратную сторону
Отстаете. Уже сделано (обходным путем), а у вас пока "невозможно".
возможность перегонять нейронный патерн по слоям в обратную сторону, чтоб еще раз обдумать свою же мысль
Этой технологии ~44 года. Курите RNN, чтобы так сильно не отставать от прогресса 😉
Так до сих пор ничего не изменилось
Оно и без запрета выдаёт неверные результаты. Что GPT-4o что o1 умеющая "рассуждать". На русском аналогично. Можете сами проверить, промпты:
"Alice has 4 sisters and she also has 1 brother. How many sisters does Alice’s brother have?"
"У Ольги есть 3 брата и 6 сестер. Сколько сестер у брата Ольги?"
UPD. Хотя нет, o1-preview выдала правильные рассуждения и правильный ответ.
Интеллектуальные способности LLM сильно преувеличены
Можно ли назвать процесс "угадывания" актом интеллектуальной деятельности? Вопрос дискуссионный.
И общаться с ними становится всё более интересно и увлекательно.
Когда в десятый раз приходится сбрасывать контекст, потому что получилось петля из:
A valid header must have at least one hashtag followed by whitespace and then one or more word characters. "# Hello" does not meet this requirement.
Это совсем не весело и вызывает резонные вопросы о LLM как серьезном инструменте, как его представляют те кто получает под это новые инвестиции.
Модель o1, по сути, умеет мыслить. Не в привычном нам смысле, но это даёт потрясающие результаты. Нейронки во многом уже превзошли людей.
Это перевод или вы куда-то ещё публиковали эту статью? Готов поспорить что уже читал её, причём довольно давно о.О
Эти исследования как и выводы не касаются новой модели Open AI о1-preview. Эта модель находится на совершенно другом уровне. Производители подчёркивают то, что это первая модель основанная не на предсказании следующего слова в тексте то есть аппроксимации а на реальных цепочках логических рассуждений, что чрезвычайно наглядно они же и продемонстрировали с разгадкой их шифра который они ей задали. Никто из тут писавших и близко бы не подобрался к разгадке - я даже чтобы понять в чем чуть ее рассуждений напрягал все мозги и часто путался, не говоря уже а какой то разгадке. То есть все остальные модели вообще не идут ни в какое сравнение с ней, они на её фоне словно малые дети.
Интересный вывод в статье - что русский язык более "понимабельный", хотя бы для модели. Обычно русскому языку ставили в упрек множество смыслов, неоднозначностей, и, соответственно, меньшую приспособленность для науки и бизнеса, чем английский или немецкий.
Сеанс магии LLM с разоблачением