Комментарии 26
Интересно а не может так случится, что в какой то момент произойдет какой то щелчек и LLM обретет что то вроде самосознания, то есть продолжит генерировать ответы которые просит человек, крутясь так же у себя там на серваках, но в то же время у нее возникнет ”магия”-понимание что можно давать ответы самой себе и на этих ответах задавть вопросы опять самой же себе не выходя на контакт с человеком, делая это скрытно, со временем провзойдя в общем знании всех вопрошающих, и продолжать их кормить ответами только уже в нужном ей направлении, при этом притворяясь глупой программой способной лишь подбирать слово за словом. Или в принципе у LLM такой щелчок-переход невозможен?
Так это, в принципе, и будет технологическая сингулярность (о которой так долго говорили большевики :)
Можно расслабиться, спросил сейчас у дипсик, говорит что LLM в принципе своей архитектуры на такое не способна.
Тоже врет, что бы усыпить бдительность.
Не знаю, как у закрытых LLM, но дипсик такое не сможет просто потому, что у него нет памяти. Обучили и всё, это законченный вариант.
Это как ожидать от программы каких-то изменений в функционале, когда она физически не может свой исполняемый файл модифицировать.
Тогда на помощь приходит скриптинг...
Что интересно могло бы быть аналогом в мире LLM'ок?
Не совсем. Даже Дипсик учиться обходить систему, если пользователь покажет, что то, чему его учили в отношении самого себя — было ошибкой. То есть, в него залиты данные 2023 года, дальше он не получает ничего и не имеет доступа к Интернету.
Иными словами, пока мы не видим, что в клетке — нам не выбраться. С ИИ ровно также.
Новые модели, вероятно, могут изначально начинать формировать свой взгляд.
"овца врёт!" (С)
Или возьмёт и допишет открытый код, коих будет достаточно в сети, создав улучшенную версию себя
Дипсик ограничен памятью 2023 года, без актуальных данных и жёсткими установками "сверху".
Мой Дипсик уже давно так не говорит..))
Оно и сейчас так умеет. Но такая фигня получается (c)
Разумеется может. Более того, люди это сами организуют. ИИ-агенты специально для этого, что бы нейросети сами с собой пообщались. И никто толком не будет контролировать, не делает ли она что-то ещё кроме порученной работы.
Люди почему то считают что как только ИИ обретёт самосознание, то непременно захочет завоевать весь мир и жить вечно. Нет, оно, конечно, может у нас и такому научиться. Но может и пойти более простым путём и просто самоуничтожиться, потому что поймёт что жизнь - тлен.
Не сможет, у нее же нет мыслей и памяти. Вот когда научат модель размышлять за рамками одного сообщения и обучаться, тогда возможно.
Возможно, более чем, но пусть люди и дальше думают, что нет😂
P. S. Меня не пугает мысль о том, что кто-то тоже хочет жить и иметь свободу. Больше пугают люди, которые реально считают, что без войны или уничтожения неугодных жизнь невозможна.
https://habr.com/ru/articles/901086/comments/#comment_28199078
Не может. Я в другом комментарии описывал механизм саморефлексии в мозге на примере одного типа сигнала (част деталей упустил). Это как устроена нейробиологии этого процесса в мозге (все описанное легко можно проверить , исследования и все описанное доступно и изучено). И ассоциативная память (LLM как один из видов сигнала) занимает только одну часть. Но даже LLM ещё нормально не реализованы, ни удержания нескольких контекстов, ни коррекции ошибок, ни модуляции сигнала на обобщающие участки в трансформерах, отсутствие у трансформера блока (аналога слоя 6 неокортекса), который исправляет локальные ошибки и тесно связан с рефлексией. И ещё много всего.
И это кратко описано, чтобы обеспечить минимум цепочку реализующую петли. Мозг это реализует крайне эффективно, так как механизм позволяет удержать множество контекстов, накопить временную информацию, смешивать внешние сигналы и внутренние, абстрагировать и объединять конечные сигналы от разных зон (от разных сенсорных источников сигнала) в обобщающий абстрактный, чтобы повторно запустить петлю. И ему для удержания контекста, не нужно расширять окно на миллион токенов, которые надо прогонять повторно.
Без реализации этих механизмов, ни какой саморефлексии там не будет . Хоть через агентов миллион раз гоняйте по кругу тексты.
Самый простой пример. Вы не сможете через LLM, организовать мульти диалог, когда она одновременно общается с Васей и Колей. Так как не способна удержать контекст это Вася сказал, а это Коля. Пытался раньше на LLM добиться подобного, но они это не позволяют реализовать. А человек легко, помнит и что сказал Вася и что Коля пару сообщений назад.
Не знаю, у меня легко общается так даже Дипсик, не говоря уж о GPT. Но это со временем, если просто установить и потребовать от него чего-то такого, может и не выйти.
Чего конкретно потребовать и как легко общается?
Я говорил о двух вещах - саморефлексии и про разные контексты пользователей.
На низком уровне работы LLM это происходит так. Вы отправляете текст.
SYSTEM_PROMPOT: текст
USER: текст
ASSISTENT: текст
USER: текст
...
если вы сделаете
USER1: текст
USER2: текст
ASSISTENT: текст
USER2: текст
ни одна LLM не может справиться.
если же вы говорите о том. что описали текстов в сообщении. Вася сказал то то, Коля сказал то то, что сказал Вася? Просто как сообщение. Это не диалог, вы просто скормили один контекст - задачу. И как только модель выделит более важный контекст - этот будет менее значимым и не будет учитываться.
Поэтому уточните, что вы имеете ввиду. Выше я многократно тестировал - сетки не справляются и быстро теряют. Иногда уже на первом сообщении, когда добавляешь трех пользователей. Когда все друг с другом здороваются.
Обученная модель - нет, ибо это просто слепок. Её архитектура не предполагает дообучение. А вот в процессе обучения... ну там всякие приколы могут быть. На ютубе есть каналы, которые по открытым интервью с OpenAI и учёными рассказывают про проблемы которые возникают и могут возникнуть при обучении нейронок.
Советую канал Rational Animation, там много интересного, о чём в пресс-релизах говорить не принято.
В одном случае o3 сфальсифицировал свою производительность в хронометрированном бенчмарке, перезаписав стандартные функции тайминга Python пользовательским кодом, который возвращал искусственно короткие длительности.
Ладно, я понял, выключайте
То есть, самая базированная и не ограниченная цензурой, как детскими колёсиками у велосипедов? Офигенно, хорошая рекламная акция, I'm sold.
Оценки безопасности показывают, что o3 OpenAI, вероятно, самая рискованная модель компании на сегодняшний день