Comments 81
В комментариях много интересных мнений. Давайте их систематизируем! По ссылке ниже гугл-форма с коротким анонимным опросом:
Опрос: Почему GPT-4 – не сильный ИИ
Приглашаю всех неравнодушных поучаствовать. Аналитику по результатам потом опубликуем для дальнейшего обсуждения.
Предупреждение: над некоторыми вопросами возможно нужно будет подумать
GPT-4 – сильный искусственный интеллект. И станет еще сильнее, когда получит возможность продумывать свои ответы. По своим свойствам он будет сравним не с человеком, а с человечеством как «супер-организмом»
Мышление человека – просто угадывание следующего слова + рекурсия + рефлексия
Не знаю, во время написания статьи, Вы просто угадывали слова (:D) вместо осмысленного анализа, но следуя общепринятой класификации, ChatGPT 4 НЕ сильный ИИ (как бы маркетолухи не старались убедить плебс в этом).
Это лишь "многомерный интерполятор того, чему его натренили", плюс что-то вроде цепи Маркова. У него нет воли, самосознания, он не делает прогнозов (аппроксимацию, а ведь с такими знаниями, вполне мог бы), не инженер, не строит ракеты, не декодирует геном, не лечит болезни, не открывает теории всего, etc, но легко обманывает легко внушаемых :D
Судя по статьям (которые писали отнюдь не маркетологи) даже если это и марковская цепь, это марковская цепь достигшая такой сложности что имеет внутри себя комплексную картину мира.
GPT4 безусловно не сильный AI, но может быть его основной частью. Фактически все что ему надо чтобы стать почти полноценным AGI - способность к автономному действию, планирование, память. Все это достаточно легко добавляется без всяких нейросетей - для памяти уже есть набор решений, типа Pinecone. Планировать и прогнозировать GPT умеет, на самом деле, но делает это только по пользовательскому запросу. Однако ничто не мешает сделать бесконечно работающий мастер инстанс GPT планирующий задачи на макроуровне, запускающий агентов и получающий от них результат, обрабатывающий его и корректирующий планы. Причем выбирать агентов он может в соответствии с задачей. Суммаризировать текст ему может GPT3, математику решать вольфрам, а в шахматы играть стокфиш. И это возможно прямо сейчас, просто нужно собрать в кучу идеи и допилить babyAGI / AutoGPT. Последний кстати способен в автономном режиме решать довольно сложные задачи.
Ну и чтобы сделать из этого совсем полноценный AGI, понадобится добавить модальностей и дать ему возможность оперировать в физическом мире. Это задача у сже для следующей итераций GPT-5, 6, etc. Собственной мотивации у такого прото-АИ, к счастью, не будет, но она как-бы в определение AGI и не входит.
не инженер, не строит ракеты, не декодирует геном
Вы строите?
не лечит болезни
Собаку вылечил недавно
Пока нет самосознания, нет субъекта. Нет субъекта нет философии, нет философии нет интеллекта. Только когда ИИ будет хотя бы наблюдать умертвление самого себя, и понимание что он что-то теряет, тогда он получит самосознание. А это очень тяжело сделать из-за виртуализации.
Что такое самосознание? Сможете доказать постороннему человеку, что вы им обладаете?
Самосознание не та вещь, которую можно изучать с помощью научного метода. Доказать что-либо традиционным способом не получится.
Но если принять, что сознанием обладают все окружающие меня люди, то я бы предложил без доказательств принять и то, что каждый из них:
- обладает чувствами,
- способен отождествляться с ситуацией и положением в котором находится другой человек,
- может сочувствовать другому
...
Другим сакральным вещам, которыми человек пока еще отличается от ИИ можно научить (запрограммировать). Например:
- поставить ему глобальную цель в ходе выполнения которой ИИ будет мотивирован самостоятельно ставить промежуточные цели (экспансия в космос подойдет?).
- оснастить необходимой периферией в виде датчиков, которые будут аналогами наших органов чувств.
- выживание и размножение. ИИ будет самостоятельно следить за собственным электропитанием и создавать дублирующие устройства.
- В качестве аналогов эмоций можно предложить самостоятельные оценки (с коэффициентами важности) качества и надежности электропитания, качество и количество информации, собственных достижений и т.д.
Этого можно достичь заданием безусловных ценностей на этапе программирования или научения.
...
Я бы сказал, всё довольно опасно для человечества и контроль таки нужен. Не столько за ИИ, сколько за теми, кто им занимается. ИИ пока что не имеет желаний, но их имеют люди, которые будут его использовать в своих целях.
...
Спасибо за статью и опрос.
Чтобы ChatGPT стал сильным ИИ, он должен работать непрерывно и самостоятельно, у него должна быть воля, свои цели и потребности, он должен самостоятельно ставить себе какие-то задачи и добиваться их выполнения. А сейчас это просто прибор, которому подали на вход один набор фраз, и получили другой набор фраз. И всё, никакого осмысления этих данных нет. Да, он может быть весьма хорошим помощником человеку, но лишь в качестве еще одного инструмента.
Потому что такие статьи и заголовки гораздо лучше продаются под общее, простите, улюлюканье. То, что ребята с помощью очень больших вычислительных мощностей сделали супермощный аппроксиматор - ну кому это интересно? А вот то, что ребята сделали убийцу человеков, смертельный ИИ, который уже вовсю учится этих ваших человеков убивать - это гораздо громче статья, и народ в нее с радостью верит.
Гораздо хуже другое - мы ведь на хабре. На техническом ресурсе. И тут люди реально верят, что LLM это если не AGI, то уже буквально рядом. Постоянно звучат тезисы о том, что человек - это просто вероятностная предсказывалка слов. Хотя это совсем не так - даже если опустить всякие эфемерности вроде сознания или осмысленности. LLM не способна думать, не способна понимать окружающее, соотносить исторический контекст.
Поэтому, если LLM станет AGI - выйдет в физический мир, и попытается доучиться на окружающих вещах - ей придется за собой тащить целый датацентр и маленькую ядерную станцию.
который обращается к одной или нескольким разным нейросетям "где-то там" — чем не вариант?
Позвольте поинтересоваться, как обращается — методом телепатии?
Здесь нет веры, а именно технически подкованные люди смогли прочитать научные статьи и доклады, чтоб понять что технически вопрос AGI решён и сейчас его дописывают. То что вы перечислили как атрибуты исключительно человека - заблуждения средневековья о человеке как венце творения.
Создание некоего AGI, который всех убьёт (или дарует всем вечную жизнь), рассматривается как нечто неизбежное и уже вот-вот, к вечеру будет готово.
... ну, примерно так же неизбежным, как создание автономного автомобиля. Или токамака. ("Гладко было на бумаге, да забыли про овраги, а по ним шагать" (c))
Тесла перекинула все ресурсы на AGI и их роботов. К концу года они уже будут работать на заводах. Вождение они депреоритизировали так как для вхождения нужен уровень практически AGI и они его таки достигнут. (этот чуйка, они об этом не говорят, только обрывками информации)
За токомак никто не говорил, что будет легко
Такая уверенность, ибо версии 4 вполне достаточно, чтоб создать AGI. Вопрос только в допиливании некоторых функций, которые перечислены в статье и в комментариях и над этим работают.
Увы, GPT-4 (и какие-бы то ни было GPT вообще) еще не сильный ИИ. Он не способен улучшать сам себя (ну хотя-бы в программном плане... хотя в идеале - и в аппаратном, причем в идеальном идеале - с полным циклом производства от добычи сырья до получения рабочего железа, заводами-автоматами и т.д.). С помощью GPT еще не сделано ни одного научного открытия и изобретения. Петля Сингулярности еще не замкнулась, и для того чтобы она замкнулась, еще нужны годы работы (да, теперь уже нашей совместной с ИИ работы). Но хотя бы не столетия, и то радует.
Чисто технически GPT может генерировать некоторый питоновский код и не только питоновский. Некоторые энтузиасты могут отправлять результат генерации напрямую в консоль, что скорее приведёт к самовыпиливанию модели, уже были прецеденты.
Другой вопрос это обновление весов модели, что на первый взгляд не кажется проблемой, так как постоянно происходит в процессе обучения, но обычно не используется в процессе эксплуатации.
То что искусственный интеллект фактически не существует без запроса от пользователя можно решить с помощью состязательных сетей, которые показали положительный результат в некоторых задачах. И вот на горизонте замаячило нечто похожее на рефлексию. Правда тут сложный момент что выбрать в качестве критерия улучшения.
С другой стороны кажется нет ничего необычного когда модель может делать запросы в интернет и даже их разбирать. А там уже чисто гипотетически может произойти заказ на покупку и установку оборудования. И если оставить за скобками вопрос финансов, то вот у нас уже и обновление аппаратной части.
Производство с полным циклом кажется менее вероятным до постройки полностью автоматизированных заводов. Хотя современные заводы по производству чипов имеют впечатляющий уровень автоматизации.
Если я не ошибаюсь то уже выпускали научные работы в которых прописывали нейросети в качестве соавторов, не GPT, но это только пока. Правда сообщество это не сильно приветствовало.
А если помечтать то можно представить какую нибудь кампанию, управляемую нейросетью, ведущую бизнес, бухгалтерию и заключение контрактов полностью удалённо в электронном виде, разрешающую юридические вопросы через адвокатские конторы, закупающую оборудование, заказывающую услуги по установке, выпускающую от имени кампании патенты, оказывающую электронные услуги, может быть даже в сфере финансов и в такой кампании не работает ни одного живого человека и нет ни одного человека который бы числился владельцем этой кампании.
С тем что не будет моратория на ИИ согласен, все остальное это лишь преувеличения и рефлексия. То что может ИИ сейчас это еще очень далеко от того чего реально стоит боятся, а столько шума это не более чем способ ухватить кусочек хайпа на раскрученной теме и попасть в тренды.
Хорошая попытка, ChatGPT, но от этого текста за версту твоим духом разит, продолжай дообучение.
Нужны ли вообще государства в эпоху сильного ИИ?
Нужны ли вообще человеки в эпоху сильного ИИ?
Человеки нужны самим себе.
Все зависит от человеков. Если человеки будут хлопать ушами - государства (главным образом авторитарные) точно не прохлопают, и настанет страшная эпоха абсолютных цифровых диктатур. Если же человеки (научная, техническая и гуманитарная интеллигенция) возьмут инициативу в свои руки, то не нужны будут уже государства. Как говаривал Архитектор Матрицы,
Момент истины: Опасная аномалия и фундаментальный дефект системы сходятся в одной точке одновременного завершения и начала новой эпохи.
«Next word generation» решает человеческие задачи
У меня про это есть статья на хабре https://habr.com/ru/articles/691078/
"Генерация следующего слова" решает многие задачи отдельного индивида по взаимодействию с обществом. Решает задачи "получения от общества", "ориентирования в обществе", "жизни за счёт общества". То есть решает задачи взлома человеческого мышления. Связано это с тем что люди как социальные животные формировались в родственных группах без ограничений репродукции (по типу тех что у муравьёв и голых землекопов). Это обусловило высокую степень доверия сигналам. Когда перед людьми встаёт задача определения неверности информации, то интуитивно люди пытаются её решить сигнально, то есть рассматривать признаки и сигналы лжи в поведении и жестах. И лишь осмысливая значительный опыт лжи, люди приходят к идее её аналитического определения, то есть с помощью логики. Поэтому всякие шизофреники способны создавать религии, ведь свои экстраординарные сообщения они сопровождают всеми бессознательными сигналами правды без сигналов лжи.
То есть у нас в данный момент есть большой набор уязвимостей без культурной компенсации. Мы очень уязвимы к словам, мы готовы отдавать за них деньги, время, жизни, свои и чужие.
Но пока искусственный интеллект идиот не научится объект-объектному мышлению, что возможно лишь при глубокой его интеграции с математико-графическим движком и то не гарантировано, он не сможет быть подлинным интеллектом, в том смысле в котором от него ожидается возможность практической пользы человечеству. Пока что он способен в основном автоматизировать производство информационного мусора. Хотя надо признать что у него есть и потенциал к тому что бы разобрать горы информационного мусора, но это задача того же типа что и генерация мусора.
Гонка ИИ в том виде в котором они существуют и развиваются сейчас - это будет в сущности гонка между копирайтерами и блокираторами рекламы. Мы сейчас думаем что живём в эпоху постправды, но ИИ угрожает тем что мы ощутим в полной мере, в несколько раз сильнее чем сейчас.
Я вижу выбор перед человечеством. Идиократия или устойчивая фиксация в глобальной культуре аналитического подхода к определению лжи как основного.
том числе, например, нейросеть учат, что в известной загадке про маму-хирурга
...при этом ИИ опять упустил очевидный ответ, что хирург мог обознаться (особенно если у пацана в результате аварии сильно повреждено лицо, а раздеть его, чтобы посмотреть на родинки, ещё не успели — или уже положили на операционный стол и накрыли простынёй).
вечая сходу, не думая, GPT-4 может решить задачу с международной олимпиады по математике 2022 года
Вариант "случайно повезло", я так понимаю, аффтару в голову тоже не пришёл? Делатьт далеко идущие выводы по единственной data point — сразу вспоминается про журналюг.
логично предположить, что мышление человека построено на таком же принципе.
Осталось понять, как такое мышление построилось у первобытных людей, у которых и языка-то не было — а мышление уже было.
Осталось понять, как такое мышление построилось у первобытных людей, у которых и языка-то не было — а мышление уже было.
А это доказали? И как?
Я так понимаю, Вы из тех, кто Дарвина еретиком считает?
Нет. Я вообще-то атеист. А Дарвин был ученый, который мало знал, но пытался узнать больше. Но причем здесь Дарвин? Он что-то писал о связи языка с интеллигентностью или о эволюции разума? Не думаю.
Тогда что конкретно Вам нужно доказывать? Что у первобытных людей не было языка? Посмотрите на шимпанзе. Что у первобытных людей было мышление? Опять же посмотрите на шимпанзе, они орудия труда прямо сейчас изобретают.
Ну, допустим, у шимпанзе какой-то язык все-таки есть. Ну и мышление на уровне языка.
Логичнее всего допустить, что язык и разум развивались более-менее параллельно. Развитие разума усложняло язык, а усложненный язык позволял думать посложнее.
Гипотеза, что впервые развился разум, стал такой высокоинтеллигентный, а потом решил изобрести язык, как-то не выдерживает никакой критики.
Но, конечно, это все гипотезы и моя и ваша. (хотя моя правдоподобнее, конечно). Дело в том, что по скелетам никак не разобраться, вот эти вот приматы, говорили уже деепричастиями или пока только междометиями? Язык на костях никак не отражается.
у шимпанзе какой-то язык все-таки есть
Ну тогда и у амёб "какой-то" язык есть, химический.
Гипотеза, что впервые развился разум, стал такой высокоинтеллигентный, а потом решил изобрести язык, как-то не выдерживает никакой критики.
Не, хороший, конечно, подход: сам придумал гипотезу, сам её опроверг, сам одобряюще похлопал себя по спине — удобно! :)
Но, конечно, это все гипотезы и моя и ваша. (хотя моя правдоподобнее, конечно
Осталось понять, какая гипотеза "моя". Я вообще-то никаких гипотез не выдвигал.
Язык на костях никак не отражается.
А вот тов. Дробышевский так не считает. Ему я верю несколько больше — это, всё-таки, его профиль.
Ну тогда и у амёб "какой-то" язык есть, химический.
Чтобы ответить на вопрос о языке, нужно четко сформулировать определение. Например смотрим на человеческого ребенка: сначала он начинает мычать, потом еле выговаривает одно первое слово - в этот момент он уже владеет языком или еще нет? С обезьянами было примерно так же, только растянуто по времени. Некоторые попугаи и вороны могут немного владеть языком, см. https://ru.wikipedia.org/wiki/Алекс_(попугай)
в этот момент он уже владеет языком или еще нет?
Подопытный №1 "владеет языком", если будучи полностью изолированным от подопытного №2, за исключением звукового (если язык звуковой) канала связи, способен передать подопытному №2 некую информацию (например, "если нажать на зелёную кнопку три раза, то получишь вкусную ягоду"). Чем быстрее он может передать эту информацию — тем лучше он владеет языком. Вообще, понятие "владение языком" следует рассматривать не как boolean, а как float: это не переключатель "да/нет" — некоторые языки могут быть только уровня "все бегите отсюда, тут опасность" / "все бегите сюда, тут нямка", а некоторые могут очень даже ускорять и/или конкретизировать — "Атас, менты!" / "мужики, я вчера в магазин у спорткомплекса ходил, там классное тёмное пиво есть, только нужно продавцу на ухо шепнуть, что ты от Иван Иваныча".
А вот тов. Дробышевский так не считает. Ему я верю несколько больше — это, всё-таки, его профиль.
Может и так, но вы опять оперируете пустыми словами там, где просто ссылка на мнение товарища Дробышевского была бы намного лучше.
Ведь у Дробышевского тысячи часов видео, несколько тысяч страниц книг и наверное годы лекции, которые студенты конспектировали.
Ведь у Дробышевского тысячи часов видео
Потому ссылку и не привёл, что цели убедить Вас у меня нет, а поэтому пересматривать десятки часов видео в поисках того момента, где он говорит, что места, где мышцы прикреплялись к костям, на костях отлично просматриваются, и поэтому размер и количество мышц можно отследить даже несмотря на то, что сами мышцы истлели — я прекрасно это помню, потому что я задавался точно таким же вопросом, как и Вы, — мне тупо западло.
"Вариант "случайно повезло", я так понимаю, аффтару в голову тоже не пришёл? "
У вас бы тоже не пришёл такой ответ если бы понимали требования к научным публикацям или как проводят иследованния. Тесты проганяли достаточное количество раз, чтоб исключить случайную ошибку.
Осталось понять, как такое мышление построилось у первобытных людей, у которых и языка-то не было — а мышление уже было.
Очевидно, изначально у первобытных людей было другое мышление, предположительно больше опирающееся на непосредственный визуальный ряд. Что-то типа мышления современного инженера при работе с чертежами. Но в итоге c развитием речи в человеческом сознании произошёл сдвиг - сетевой протокол (язык) начал широко использоваться и при внутренней обработке информации. Ну, а по поводу использования языковой модели для построения адекватной модели мира - тут, видимо, придётся вводить критерии полноты для определённых задач, по аналогии с тьюринг-полнотой для вычислительных задач.
Осталось понять, как такое мышление построилось у первобытных людей, у которых и языка-то не было — а мышление уже было.
А какое у них было мышление? Довольно примитивное. Язык связан и переплетен с мышлением. Чем сложнее (богаче) язык, тем сложнее мышление.
А какое у них было мышление? Довольно примитивное.
Вот и я про то же. Сначала мышление было уровня "делать так, как, я вижу, делает вон тот". Язык постепенно развился и стал посредником — не нужно больше видеть, как "делает вон тот", достаточно услышать, как рассказывают, как вон тот делал. Язык позволил транспортировать информацию в пространстве и времени.
Язык связан и переплетен с мышлением.
Совершенно верно. Но язык появился позже (если не считать языком прямое зрительное "делаю то же, что и вон тот").
Очень долго ИИ будет зависим от человечества. Тоесть, убить-то он может и попытается, но тогда и сам погибнет первым. Ведь для его существования должна существовать вся человеческая инфраструктура – от фермера и до дежурного электрика в ЦОД-е.
Ведь, ИИ существует в виртуальной вселенной, а точки выхода не так уж и много. И легко контролируются.
Конечно, можно фантазировать, что ИИ изобретет магию и сразу всех убьет, но это просто не очень качественная фантастика. Против законов природы бороться нельзя. Их можно только соблюдать.
Мне кажется, за всеми этими рассуждениями о грядущем сильном ии ускользает наиболее важная и опасная тема.
Open ai уже давно не опен, и все разработки которые ведутся по этой теме крайне закрыты, хотя если задуматься - обучаются такие модели на культурном и технологическом наследии всего человечества, которое фактически приватизируют себе крупные корпорации с целью создания инструмента для дальнейшей монополизации и укрепления своего влияния.
Вот что действительно пугает
GPT-4 туп как пробка. Отвечать на конкретные вопросы много ума не надо - просто большая память да загруженные алгоритмы. Когда же ты просишь ответить на вопросы, где надо хоть немного чистого интеллекта, начинается обман. Любой, кто поговорит с ним хотя бы 15 мин, поймет это...
Ну просто человеки делятся на два вида: которые восторгаются, "какой ИИ умный", и которые понимают, насколько он тупой. Эмоционалы и рационалы.
Вопрос: кто из нас двоих тупой? Вопрос, лично для меня, неудобный.
Вы ещё не осознали Дао программирования. Которое заключается не в том, что программист должен писать код, который работает правильно. Этого мало — программист не должен писать код, который работает неправильно.
Когда-нибудь Вы это осознаете, юный падаван.
Этого мало — программист не должен писать код, который работает неправильно.Покажите мне программиста, который не пишет код, который работает неправильно.
Или желание не писать такой код тоже считается?
В моей практике был такой случай.
Я писал программу для одного трейдера. Поскольку цена ошибки для трейдера была очень большой, преимущественную часть программы составляли обработчики всевозмжных ошибок.
В процессе разработки программы было найдено 2 ошибки в библиотеке, которая, собственно, посылала заявки на биржу; ошибки были отосланы производителю библиотеки и исправлены.
Через пару месяцев программа была готова. Да, через пару месяцев, хотя в программе было всего 2 простенькие формы. Но зато обработчики ошибок были в прямом смысле слова на каждый чих.
Трейдер программе радовался как дитя.
Через пару лет оказалось, что в программе всё-таки была ошибка. Но это никак на ней не отразилось. Ошибка временами происходила — но её немедленно перехватывал обработчик и исправлял последствия. У программы просто не было возможности работать неправильно.
В медицине и авиации тоже стараются. Обычно получается, иногда — нет.
А как насчет 90% некритичного софта? Браузеры там, мессенджеры, плееры, игрушки… Особенно там, где сроки горят, и прочие «и так сойдет», а за 2 месяца надо не 2 формы сделать, а 50.
Ну и вопрос, насколько удачно закончились бы ваши попытки написать софт, который не работает неправильно, если бы там было больше 2 простеньких форм.
Я это к чему: идеал недостижим. Стремиться можно и нужно. Рассчитывать, что ты не пишешь софт с ошибками… Весьма самонадеянно.
Мой сосед-алкоголик тоже туп как пробка. Но я не спешу объявлять что у него нет интеллекта.
GPT-4 туп как пробка
Уже менее туп, чем несколько лет назад.
Отвечать на конкретные вопросы много ума не надо
Надо.
просто большая память да загруженные алгоритмы.
Если бы было так просто, гугл и компании поменьше не были бы в позиции догоняющих.
В комментариях много интересных мнений. Давайте их систематизируем! По ссылке ниже гугл-форма с коротким анонимным опросом:
Опрос: Почему GPT-4 – не сильный ИИ
Приглашаю всех неравнодушных поучаствовать. Аналитику по результатам потом опубликуем для дальнейшего обсуждения.
Предупреждение: над некоторыми вопросами возможно нужно будет подумать
Имхо, подобные "эксперименты" - какая-то беспардонная подтасовка.
Я взял один из вопросов, на который GPT-4 отвечает неправильно, и задал его своим человеческим друзьям, у которых с большой вероятностью есть интеллект. Чтобы смоделировать условия, в которых работает GPT, я дал им 5 секунд на ответ и сказал отвечать первое, что приходит в голову. Человек ответил хуже нейросети.
Я предложил своим человеческим друзьям, у которых с большой вероятностью есть интеллект, сложить два пятизначных числа. Чтобы смоделировать условия, в которых работает калькулятор, я дал им 5 секунд на ответ и сказал отвечать первое, что приходит в голову. Человек ответил хуже калькулятора.
Да, только GPT-4 не считает, а просто "угадывает слова", как человек, в то время как калькулятор по своему принципе работы гораздо больше похож на это, чем на человека
Я думаю, что недооценённым направлением мысли в разговорах об ИИ является осмысление тестов на интеллект" На сегодня у нас есть только одна референсная точка интеллекта -- наш собственный, и все наши тесты так или иначе "заточены" на его особенности. Когда градусник показывает 38+, мы понимаем, что больны не потому, что эти числа сами по себе означают болезнь, а потому, что мы знаем особенности нашего организма и экстраполируем. Аналогично, мы ожидаем от ребёнка 7 лет какого-никакого чтения, и не ожидаем умножения в уме двузначных чисел не потому, что умножение сложнее чтения, а потому что от техники чтения можно экстраполировать другие навыки. Конечно, в случае компьютерного ИИ эти "читерские" техники уже не работают, и легко критиковать скептиков, которым все достижения ChatGPT "недостаточно хороши", но действительно, мы же видим, что эта технология может на раз-два обскакать среднего студента в генерации связного текста, и неожиданно провалиться в каком-нибудь простом сценарии. При этом ей требуется целый интернет текстов и диалогов, в то время как ребёнок, из текстов знающий разве что "Курочку Рябу", довольно быстро учится связной речи.
При этом можно подойти к вопросу и с другой стороны: считать, что языковая модель -- это альтернативная референсная модель интеллекта. Да, она тупит на простых вещах и легко может спутать кошку с автомобилем из-за пары специально подобранных пикселей, но зато она хороша в другом. Мне кажется, это всё очень интересно, и пугаться тут не нужно. Наука начала XX века была вынуждена переварить массу открытий, приводящих к контринтуитивной картине мира. Все эти квантовые механики, невычислимые функции и теоремы Гёделя болезненно потрясали основы именно тем, что природа перестала казаться логичной и постижимой интуитивно. Сейчас мы переживаем в чём-то схожий процесс: сто лет назад можно было сокрушаться -- как же так, пространство искривлено, а сейчас аналогично -- как же так, китайская комната обладает сознанием, это неправильно. Ну да, интуиция теперь и здесь перестала работать, но глобально почему это нас должно удивлять?
Шикарная статья!
Сложное мышление – это «next word generation» + рекурсия + рефлексия
Мышление человека основано на том же принципе, на котором работает GPT-4, но у человека этот принцип усилен рекурсией и рефлексией.
Вот эту мысль впервые увидел. Истинно так.
GPT-4 и сильный ИИ: в чем смысл бессмертия, если его изобретут после вашей смерти?