Комментарии 40
Да, учитывая, что человек может с резиновой уточкой советоваться, к оценке "человекоподобия" надо подходить максимально критично....
Это вообще что?! Что за расистский высер?! Тесты IQ, не учитывающие культурный и образовательный контекст, показывают только низкий интеллект своих создателей, авторов и публикаторов подобных картинок, но никак не умственные способности людей из неразвитых обществ.
Там есть текстовая обёртка до картинки и после, про бессмысленность метрики и глупость картинки
Это я уже её передвинул, поскольку многие не дочитывают до нужного фрагмента.
да, спасибо, стало лучше. Мне смутно показалось, что текст изменился, но я не понял — это у меня ложная память или действительно поменялся.
Я первую часть прочитал и уже успел даже скорчить сложные щщи, типа "чивооо? абизяна будет мне рассказывать про глобальное потепление, это серьезно сейчас?" Но к счастью прочитал следующие пару предложений и уже не отрывался до конца статьи =)
Интеллект горилле Коко замеряла тоже Франсис Паттерсон, с тем же набором предвзятости подтверждения в методах исследования, что и для изучения её словарного запаса и способности к формулированию сложных языковых конструкций?
Похоже. Хотя бы 10 одинаковых горилл и слепое исследование инструкторами, не знающими деталей вплоть до того, кто подопытный - они или гориллы. Иначе там bias на bias-е и bias-ом погоняет.
Но не исключено, что исследовательница попала под влияние своих же предубеждений совершенно бескорыстно и верила в то, что говорит. Я писал про такое.
Причём Франсис горилле тупо по-английски шпарит — не на упрощённом пиджине, а именно на нормальном инглише, в полной уверенности, что Коко всё это реально понимает.
Эта горилла Коко - раздутый проект своих создателей.
На мой взгляд, добавкой про нейросети вы сделали хуже интересную статью про исследования обезьян. Сравнивать медийный шум гуманитариев основанный на выдаваниии желаемого за действительное в рамках пары проектов, и новую отрасль с многомиллиардными инвестициями сейчас и триллионными в перспективе, некорректно. Связь натянута, мягко говоря.
Почему некорректно? Фонд Gorilla Foundation тоже собирал деньги, пусть и на порядки меньше, миллионами долларов.
Смысл в том, что мне модель o1 не нравится. Думаю, она даст лишь небольшой, инкрементальный рост точности ответов. И никакого универсального искусственного интеллекта усилением больших языковых моделей получиться не может.
Однако также я считаю, что моё мнение роли не играет, поскольку мир бывает несправедлив, и модель принесёт компании OpenAI успех. Просто иллюстрация этой несправедливости чуточку растянулась.
o1 это просто одна из ступенек в развитии одного из ведущих игроков AI. Модель доступна, можно ознакомиться с ее работой лично, можно обратиться к множественным экспертным оценкам. Что она действительно может, чем лучше предыдущих, сообщество разобралось буквально за дни после релиза. В своей статье вы приводите пример как исследователи вводили в заблуждение окружающих несуществующими способностями обезьян. Это совершенно разные ситуации. Если вы так хотите провести аналогии с миром ИИ, можно вспомнить IBM Watson, вот там была интересная история - закрытый продукт, о возможностях которого большинство судило по рекламным презентациям.
Модель доступна, можно ознакомиться с ее работой лично, можно обратиться к множественным экспертным оценкам.
Механизм работы модели показывают не до конца. o1-preview — самый закрытый продукт OpenAI. Токены размышления скрыты, и за попытку их исследовать по почте прилетает угроза получить бан аккаунта. Число запросов ограничено 50 в сутки (изначально было 50 в неделю). Тяжело оценить детально, насколько хорошо идут размышления.
Но речь не про это. Я говорю о том, что пока что нет причин думать, что вот такими мелкими нововведениями когда-то будет достигнут универсальный ИИ. По моим ощущениям, сообщество в реальном использовании разобралось, что o1-preview именно чуть-чуть точнее отвечает. Как показывают примеры (хотя бы тот с заменой условия задачи) размышлять и планировать модель всё равно не умеет. А именно размышлять и планировать должен универсальный ИИ.
Но также я думаю, что попытки изобрести универсальный сильный ИИ продолжат вот такими надстройками над языковыми моделями. И ничего с этими тенденциями поделать нельзя.
Совершенно верно, потому что думаем мы, люди, как бы не языком. Тесла (который ученый, а не автомобиль), при всей неоднозначности его личности и хайпе всяких антинаучных чертей на его имени, в автобиографии писал о мучавших с детства галлюцинациях, которые он со временем научился контролировать и превращать в визуализации своих изобретений. То есть, он мог проектировать сложные системы и ставить эксперимент умозрительно. Это, конечно, крайний случай, но у любого опытного технаря есть определенная инженерная интуиция, человек не проговаривает словами "а вот если тут поставить сдвиговый регистр, то тогда..." - а ЛЛМ так не может, это имитация синтеза, если в книжках корпуса обучения не было описано явлений А и Б, она и не догадается, что можно построить из них В.
Они и не должны ничего никому показывать, модель закрытая. Процесс размышления дополнительно скрыт потому что, по сути, нововведения o1 это набор как общеизвестных техник промтинжениринга так и, вероятно, каких то ноу-хау которыми они не хотят делиться. Прирост качества разочаровал? Бывает, но вы же видите его, можете пощупать, все честно. Кстати, он не такой маленький, просто ощутим на малой группе задач и обходится дорого. Реальный прогресс ожидается при маштабировании, которого запланировано еще несколько этапов, ближайший в процессе обучения (а может уже внутреннего тестирования).
В любом случае, мне кажется, вы путаете собственное неудовольствие от того что мир такой какой есть с неэтичным поведением/плохим дизайном исследований.
А мне понравилась аналогия. Удивляюсь, что не только журналисты хайпят на тему AI, но и многие IT-профессионалы допускают рассуждения на уровне фантастики. Например, про безопасность ИИ. Сама тема про безопасность - верная, но так и хочется сказать: "вы бежите сильно впереди лошади".
Ни одна современная языковая модель не может правильно решить изменённую задачу про волка, коза и капусту.
"Ни одна" это слишком сильное утверждение:
A farmer stands at the side of a river with a pig. There is a boat with enough room for one person and one animal. How can the farmer get himself and the pig to the other side of the river using the boat in the smallest number of trips?
reka-core-20240904:
The farmer can get himself and the pig to the other side of the river in just one trip. Here's how:
The farmer gets into the boat with the pig.
He rows across the river with the pig.
Both the farmer and the pig get off the boat on the other side.
Since the boat can carry both the farmer and the pig at the same time, there is no need for multiple trips. They can both cross the river together in a single journey.
mistral-large-2407:
The farmer can get himself and the pig to the other side of the river in just one trip by simply putting the pig in the boat, getting in the boat himself, and then rowing across the river. Since the boat has enough room for one person and one animal, they can both cross together in a single trip.
Справедливости ради, многие модели действительно путаются на этой задаче.
Предполагаю что проблема в дообучении, где отсутствовали простые решения простейших задач. LLM тренируют на самых сложных задачах и возникает искажение "восприятия", когда LLM всегда ждёт сложности там где их может не быть.
del
Да, это похоже на эффект, когда взрослые затрудняются решить детсадовские задачи, хотя для детей они элементарны.
если бы убрать строки, где после равно цифра больше 4, то, наверно, было-бы сложно, а так - нет :) Возможно ещё и потому, что вы указали, что с задачей справляются дети до семи лет.
Скрытый текст
2?
А это точно, что для детсадовцев они элементарны? Просто такие задачи обычно публикуются в пабликах, с задачами, наподобие "только те, у кого IQ больше 100 могут решить эту задачу". Что не добавляет таким заявлениям достоверности. А сам проверить не имею возможности.
Вспомнился мой отец и свиньи, это был примерно 94 год. Он сначала их выращивал, а потом не смог их убить, для этого он позвал своего друга, который большим кинжалом заколол их в сердце. Потом мать сделала из них холодец, поставила на стол, но отца вырвало. После этого события, мы выращивали подсолнухи и помидоры, в топку животноводство.
Ну наконец-то.
Много раз попадались статьи о Коко с восторгами. Я думал - ну вот вдруг исследователям попалась гениальная обезьяна - почему нет, даже собаки и кошки бывают более умные и менее. Потом посмотрел видео с Коко и что-то не увидел признаков особенно разумного повеждения - цирковые животные и то более интересны.
Наверное можно было бы вывести породу особо умных горилл - но нужен отбор по интеллекту. Размножаться гориллы могут лет в 10-12, в общем это эксперимент надолго.
при этом язык они перенимают не от родителей, а от сверстников или детей чуть постарше
А в школу или детский сад дети в семьях с одним ребенком получается идут, не умея говорить?
Из живущих сегодня на Земле существ говорить могут только люди.
Ну формально дельфины не живут на земле, они живут в воде. Но всё таки они живут на Земле, если с большой буквы.
Это всё статистика. Реальные последовательности слов жалки и примитивны. По таблицам легко заметить, что шимпанзе просто брутфорсил получение еды и просил с ним играть.
Кошка, орущая "ЖРАТЬ" и прыгающая вам на грудь в 5 утра - это примерно то же самое, но без extra steps, связанных с домысливанием.
Вообще "язык" кошек и собак (а точнее язык их манипуляции нами) люди неплохо понимают. Но кошки явно более сложные существа, чем их "язык" для выпрашивания еды.
Ещё кстати если наблюдать за прайдами обычных кошек, у них довольно сложные интересные и сложные "жесты" общения. Но это конечно не говорит о том, что у них есть "язык".
Когда Коко пыталась «поговорить» с кем-то, кроме своих хозяев, она не могла выдать ничего, кроме бессмысленной тарабарщины. Возможно, она научилась правильно использовать несколько простых знаков, например, «еда» или «вода», но на этом всё.
Del, случайный повтор
Очень не хватает эксперимента, рассматривающего речь с другой стороны. Обучение чтению. Визуально, животные достаточно хорошо разделяют то что видят. Чтение, позволяет накопить больше информации, развить мышление, освоить грамматику и многое другое.
Я не встречал экспериментов, где были попытки обучить чтению горит и шимпанзе.
И ещё вопрос. А если в семье оба родителя не могут говорить, и общаются языком жестов - ребенок жестами лепечет. Но издаёт ли он какие-то звуки при этом?
И как в такой семье ребенка учат говорить?
Чему может научить горилла Коко