Комментарии 11
«Мы переносим человеческий интеллект из человеческих умов в машинные умы», — сказал Джонатан Сиддхарт, генеральный директор и соучредитель Turing, компании по инфраструктуре ИИ, которая работает с OpenAI, Meta* и другими. ...
OpenAI сотрудничала с экспертами в теоретической физике, чтобы объяснить, как они подошли бы к решению самых сложных проблем в своей сфере. Это также может помочь Orion стать умнее.
Если бы все было так просто, то ИИ решающий задачи как человек появился давно, когда еще работали над технологией Экспертных систем в прошлом веке. Они должны были воспроизводить рассуждения экспертов, включая, математиков, физиков, и тд. Однако выяснилось, что рассуждения экспертов =/= их методу решения задач. На эту тему было сломано не мало копий с целью поиска причин, см. работы Дрейфуса на эту тему - обзор. Хотя сейчас используются нейросетевой (коннективистский) подход, более близкий к биологическому прототипу организации мозга, проблема по прежнему осталась. Эксперты должны свою интуицию, воображение, вообще образные формы мышления, которые существенны при при решении творческих задач, и часто они индивидуальны, выразить языком, как-то формализовать. При этом теряются существенная часть контекста решения, используемых неявных знаний и представлений. Например, для теоретика, решение может возникнуть из отдаленной аналогии о которой он не упомянет в решении, а само решение окажется достаточно тривиальным, известным. Как показывают нейрофизиологические исследования с визуализацией при решении творческих задач активизируются самые различные области мозга, включая сенсо-моторные, а не только ассоциативные в высших отделах, и эта активность имеет сложную динамику, включая обратные связи. Однако архитектура трансформеров, на которых основана технология GPT, такими внутренними связями не обладает, и ограничивается только внешним циклом. Т.е. в основном является статическим, а не динамическим решением, как в биологическом прототипе. Требуется добавление рекуррентности в архитектуру, которая может приводить к возникновению аттракторов, отвечающих за многие феномены в мозге. Движение в этом направлении в других проектах имеется.
"Эксперты должны свою интуицию, воображение, вообще образные формы мышления" - скорее осознание сути абстрактного мышления совершит прорыв в развитии ИИ
Абстрактное мышление осознается нами, в этом суть, поддается волевому контролю - хочу мыслю так, хочу по другому, а интуиция и воображение нет. Это безсознательный уровень психики. Можно его мотивировать, например, длительным изучением и обдумыванием проблем, но полностью контролировать нет. Это, условно, различие между фронтендом и бэкендом, что там внутри можно только догадываться.
Так с интуицией и воображением у сеток как раз все впорядке, по этим параметрам они в разы обгоняют человека. Проблема как раз в том и состоит что кроме этих интуиции и воображения у сеток больше ни чего нет. Сетка дает инуитивный ответ, но думать не может.
ЯМ на трансформерах пока как-то моделируют ассоциативное языковое мышление и память человека. Из-за этого они могут фантазировать ("галлюцинировать"). Сейчас пытаются освоить логический и критический уровень мышления, чтобы контролировать эти фантазии, но для этого нужно развивать архитектуру сетей. Интуиция и воображение связаны с образным уровнем мышления - аудио-визуальным, тактильным, и другими модальностями. На трансформерах и эти возможности как-то пытаются моделировать, но их архитектура для этого не оптимальна. Для связывания всех этих уровней мышления еще далеко и ростом числа параметров сеток и объема обучающих выборок эти проблемы не решить. Собственно даже поддержка языка на пределе возможностей этой технологии. У человека много типов мышления и они все интегрированы, см. список. Пока ЯМ не могут без привлечения внешних средств освоить даже арифметические операции для любых чисел, это тоже связано с ограничениями архитектуры. Возможно все эти ограничения удастся преодолеть в энергоэффективных нейроморфных решениях, которые лучше моделируют биологические прототипы нейронов и сетей из них. Похоже мой прогноз полуторолетней давности развития этой технологии начинает понемногу сбываться)
Читал твою статью за 2023 год. И меня, если честно, забавляет, насколько ты пытаешься показать глубину своего анализа, хотя на самом деле высказываешь банальные и очевидные вещи, как какой-нибудь "Капитан Очевидность". И без тебя эти "временные" проблемы, давно обсуждаются более компетентными людьми. Все, кто хотя бы немного в теме, и так уже давно осознают ограничения текущих моделей. Более того, многие из этих "прогнозов" (рост энергозатрат, нехватка данных, ограничения трансформеров) — это вообще не твоя идея, а очевидные выводы, которые регулярно обсуждаются лидерами индустрии, такими как Илья Суцкевер, Сэм Альтман и другие. Кроме того, ставить в один ряд такие вещи, как VR/AR, 3D-печать и мультимодальные языковые модели (ЯМ), выглядит мягко говоря странно и поверхностно. Эти технологии изначально создавались с совершенно разными целями и имеют совершенно иной потенциал. Это как сравнивать дедушкин велосипед "Урал", с космическим кораблем, просто потому, что оба имеют какие-то связи с прогрессом. Логика тут хромает. Ты вот явно не следишь за развитием нейросетей или же намеренно преуменьшаешь успехи последних двух лет. Модель "o3" от OpenAI показала результат 75,7% в бенчмарке ARC-AGI-Pub. Это было вот-вот недавно. Эта модель продолжает развиваться как инструмент реального применения, и ее использование внутри компании, рано или поздно приведёт к тому, что она станет доступна всем. Сложности? Они, конечно, есть, но кто и когда говорил, что их не предвидели? В этой сфере никогда не было иллюзий, что все решится "по щелчку пальцев". Сейчас к примеру уже идет работа над синтетическими данными, новыми подходами к обучению, а также проектированием более энергоэффективных вычислительных систем. Да, мощности могут расти до уровня подключения АЭС — это факт, о котором открыто говорят лидеры индустрии. Сэм например. Но это не признаки «стагнации», как ты пытаешься представить, а этап естественного развития.
Еще один весёлый момент (почему веселый? Потому что ты второй кому мне приходится об этом писать): твое упоминание проблемы "захламления данных" тоже выглядит несостоятельным. Об этом знают абсолютно все, кто работает с большими языковыми моделями, и решения уже разрабатываются. Использование фильтрации данных, синтетических наборов, комбинация реальной и симулированной информации — всё это активно используется уже сейчас, а в 2025 году, обязательно даст отдачу. Иначе не будет. Ты вот тупо пытаешься возвысить свой "прогноз" как нечто особенное, но все ключевые замечания — это просто очевидности, которые были понятны всем давно. Развитие технологии не остановится на трансформерах — никто с этим не спорит. Но именно они продолжают давать ощутимые результаты, которых уже не добиться через "экспертные системы" прошлого века, которые ты почему-то считаешь удачной аналогией. Трансформеры — это не тупиковая ветвь, а ФУНДАМЕНТ, который эволюционирует в том числе в новые архитектуры, включая нейроморфные решения (о которых ты вскользь упомянул) и другие подходы, — чего ты, собственно, и не отрицаешь. Тогда у меня ток один вопрос вопрос: зачем вообще так пафосно это заявлять? И так раздувать своё ЧСВ?".
P.S.1 Нагрубить не пытался. Просто я не понял твоего "прогноза" и что ты этим вообще сказать хотел. Прогресс идёт, но не идеально, как всем хотелось бы. И это нормально. Кстати-ка на очках VR/AR, я бы тоже крест не ставил. Мультимодальные языковые модели, прекрасно впишутся в такие вот девайсы. А реально работающий прототип, есть у "Меты". Просто надо подождать
P.S.2 Ну и сегодняшнюю фразу приведу в пример. Не люблю когда Сэм напускает "туман войны", но видимо директора по шапке дадут, если болтать лишнее будет: «Сейчас это звучит как научная фантастика, и даже говорить об этом немного безумно», — Сэм Альтман уже знает, как создать сверхразум или суперинтеллект.
Свое мнение о перспективах чисто трансформерного ИИ обосновывал ссылками на источники, так что оно не только лично мое.
Модель "o3" от OpenAI показала результат 75,7% в бенчмарке ARC-AGI-Pub.
С этими тестами часто незадача, если они стандартные, ответы на них могут присутствовать в обучающих выборках. Какие-бы результаты не показывали трансформеры, если эта архитектура не способна обучиться арифметическому счету с любыми числами, и без привлечения внешних средств правильно считать, то это сомнительный ИИ. Это касается любых операций требующих процедурную память. У трансформеров ее нет. Моделируется только что-то напоминающее ассоциативную. Это их ограничение, которое пытаются устранить различными внешними примочками, вместо того чтобы развивать архитектуру.
твое упоминание проблемы "захламления данных" тоже выглядит несостоятельным
Чтобы разобраться в этом вопросе нужно понимать, что такое процесс познания? Что является источником знаний? Такими способностями обладают системы с когнитивной архитектурой (обзор, все перечисленное там проекты во всем объеме пока так и не были доведены да рабочего состояния). Человек ей соответствует. Все современные реализации ИИ также ей не обладают. На это претендуют проекты ИИ-агентов в будущем, но вряд ли на трансформерной основе. По этим причинам перспектива захламления сети ИИ-мусором вполне реальная, если люди перестанут ее обновлять новыми знаниями, фактами и данными. Пользователи сети уже жалуются на этот мусор в выдаче поисковиков.
По этим вопросам проведено немало исследований - 1, 2, 3, 4, 5
"экспертные системы" прошлого века, которые ты почему-то считаешь удачной аналогией
Это был один из проектов символического ИИ, который помог выявить многие проблемы разработки таких систем, включая на этапе их обучения.
Трансформеры — это не тупиковая ветвь, а ФУНДАМЕНТ, который эволюционирует в том числе в новые архитектуры, включая нейроморфные решения (о которых ты вскользь упомянул) и другие подходы, — чего ты, собственно, и не отрицаешь.
Где там написано про тупиковую ветвь? Трансформеры вовсе не база для нейроморфных решений. Это другая аппаратная платформа, а не раздутые графические процессоры. Со временем решения на трансформерах займут свою нишу, где их архитектура будет эффективной. Основная проблема с ними требование огромных вычислительных ресурсов, и соответственно энергопотребление, как на обучение, так и дата-центры обслуживания онлайн. Есть еще немало недостатков. На это пока закрывают глаза и идут на затраты, чтобы создать индустрию ИИ, рынок. Если вложения не оправдаются, может повторится история с кризисом доткомов.
А реально работающий прототип, есть у "Меты". Просто надо подождать
Да, реально работающий прототип очков когда-то уже был у гугла) Все это мелочи, ждем нейроинтерфейсы. Вот это прорывная технология, и там ИИ тоже может понадобиться. А также использования ИИ со специальной архитектурой в научных исследования для обучения на эмпирических данных типа этого, а не на текстовом хламе (в основном) из сети.
Судя по тексту и количеству ссылок вы просто идолопоклонник Альтмана) Он даже не придумал трансформеры, или еще что в этом роде, это просто менеджер, который не всегда принимает верные решения. Фактически разогнал исследовательский отдел компании, все поставил на трансформеры, а не на развитие архитектуры. Пытается превратить организацию в чисто коммерческую структуру из исследовательской заявленной в уставе. Посмотри, чем это все кончится.
Интересно, а не подскажете в каких проектах идет движение в данном направлении - из того же цеха, что и OpenAI, т.е. Anthropic и пр., или же это в принципе другие коллективы?
Почему OpenAI откладывает релиз ChatGPT-5? Все дело в недостатке данных