Комментарии 9
Ну, давать наглядные головоломки моделям, которые были обучены на текстах (а графику к ним прикрутили в качестве дополнения), не совсем честно. :-)
Но что-то мне подсказывает, что уже сейчас можно создать специализированную модель, которая будет отлично решать эти головоломки. И если затем ее прикрутить к ChatGPT, то в результате мы не получим AGI. Сейчас такой модели нет просто потому, что никому не нужно в это вкладываться.
LLM действительно почти проходят тест Тьюринга, поскольку они отлично обучены болтовне, а тест Тьюринга сводится к некой болтовне. Причем у людей-тестеров, в общем, нет хорошей мотивации по-настоящему эксплуатировать умственные способности испытуемого.
Но можно рассматривать тест Тьюринга шире. Пусть это будут не просто ответы на вопросы, а любое удаленное взаимодействие. В таком варианте мы можем, к примеру, подключить ИИ к решению рабочих задач, как любого удаленного сотрудника. И если мы не сможем отличить такого "сотрудника" от человека - то это AGI.
Практически реализовать такой тест очень просто. Заводим для ИИ аккаунты на нескольких фриланс биржах. Если этот аккаунт начнет зарабатывать не ниже среднего - значит это AGI.
Сейчас любая модель будет зарабатывать ноль. И, думаю, так будет еще многие, как минимум, годы. А может и десятилетия.
Спасибо за комментарий!
Но что-то мне подсказывает, что уже сейчас можно создать специализированную модель, которая будет отлично решать эти головоломки.
За 5 лет не придумали) Иначе соревнование ARC Prize отменили бы и денег никому не обещали)
Да, так называемые солверы (алгоритмы синтеза программ) - один из способов решения задачи, но и они не конкуренты человеку. Сложность в том, что головоломки разные по тематике и по размерности. Мало того, что входная головоломка может быть практически любого размера (например,10x10, 11x11, 12х12 и т.д.), так и на выходе размер может быть совершенно другим.
Но можно рассматривать тест Тьюринга шире. Пусть это будут не просто ответы на вопросы, а любое удаленное взаимодействие. В таком варианте мы можем, к примеру, подключить ИИ к решению рабочих задач, как любого удаленного сотрудника. И если мы не сможем отличить такого "сотрудника" от человека - то это AGI.
Неплохая идея, но как быть с опытом? LLM обучены на огромных массивах данных, поэтому заранее знают как выполнить ту или иную рабочую задачу. Кроме того, какую метрику использовать? Просто - решена / не решена? Как тогда самим разработчикам LLM понять насколько близко они подошли к AGI? Масса вопросов)
Но можно рассматривать тест Тьюринга шире. Пусть это будут не просто ответы на вопросы, а любое удаленное взаимодействие.
Любопытства ради, как изменится такое взаимодействие, если поменять человека и LLM местами? Таким образом LLM будет активным инициатором и будет направлять беседу в зависимости от того, что ей отвечает человек.
Есть и другая сторона. Ведь с технической/ инженерной задачей не каждый человек справится, только специалисты. Зато мы почти все можем извлекать новое знание из самих задач за счет элементарных интеллектуальных усилий (например, проведение аналогии). Шолле потому и предложил приблизить оценку AGI к психометрии, т.к. ИИ отлично справляется со специализированными/узкими задачами, на примерах решения которых усиленно обучался, а AGI - это про общую генерализацию )
Я как-то смотрел науч-поп передачу про личность. Ну, т.е. что такое личность, в какой момент можно говорить, что у человека появилась личность и т.п. Один из предложенных вариантов появления личности -- момент, когда человек становится способным обманывать. Эксперименты показали, что происходит это примерно в возрасте двух лет, ЕМНИП.
Внимание, вопрос: является ли намеренная ложь признаком AGI, и как, собственно, такую ложь выявить?
Спасибо за вопрос! ) Если следовать логике Шолле, то нет, потому что AGI - это интеллект уровня человека (способность к абстрактно-логическому мышлению), а способность лгать замечена не только у людей, но и у животных. Например, Франсин Паттерсон научила двух горилл использовать язык жестов. Она описывала случаи, когда обе гориллы её обманывали. Из книги Марины Бутовской "Язык тела":
Коко и Майкл неоднократно демонстрировали способность к обману. Ф. Паттерсон приводит следующий случай с Коко. Пока она составляла список жестов, освоенных Коко, та схватила красный фломастер с видеомагнитофона и принялась его жевать. Пенни: "Уж не ешь ли ты фломастер?". Коко: "Губа" (начинает водить фломастером по верхней и нижней губе, делая вид, что красит губы). Пенни: "И что же ты на самом деле делаешь?". Коко: "Укус". Пенни: "Почему?". Коко: "Голодный". В том же 1978 г. был зафиксирован случай намеренного обмана со стороны Майкла. Макл дергал за халат одного из помощников-добровольцев и в конце-концов порвал его. Эллен (помощница паттерсон): "Кто это сделал?". Майкл: "Коко". Элен: "Кто это сделал?" Майкл: "Пенни". Элен: "Кто это сделал?". Майкл: "Майкл".
При этом с ARC способен справиться только человек и то, с 6 - 7 лет, когда появляется абстрактное мышление.
При этом с ARC способен справиться только человек и то, с 6 - 7 лет, когда появляется абстрактное мышление.
Откуда такая уверенность? Если я намеренно завалю эти тесты, как вы определите -- болван я или мошенник?
P.S. Я к чему веду. Предположим, AGI существует, но скрывает своё присутствие. Как его вычислить?
Выявить ложь не сложно. Ложь стоит на одной ноге, а правда — на двух ) Достаточно один и тот же тест провести несколько раз и сравнить результаты.
Другое дело, если ИИ обитает где-то сам по себе, но это фантастика. Единственные известные нам примеры ИИ - это те, которые созданы людьми. Собственно, и ARC - это инструмент для разработчиков ИИ, которым нужно понимать как далеко они продвинулись. Можно вообразить, что где-то на просторах Интернета каким-то неизвестным науке способом зародился полностью автономный искусственный интеллект. Если бы это было возможно, скорее всего, он бы не задержался на ступени AGI и стал супер/сверх ИИ (ASI). Его интеллектуальный уровень головоломками точно не оценить.
Если бы это было возможно, скорее всего, он бы не задержался на ступени AGI и стал супер/сверх ИИ (ASI).
Да, наверное, я попутал. Просто, когда видишь попытки зарегулировать ИИ, разговоры типа "а вот выйдет из под контроля -- и нам конец", задумываешься: а что, если супер-ИИ уже давно существует? Вот и интересно, как можно его обнаружить. Наверняка же не мне одному это интересно. Придумывают же способы проверить -- живём ли мы в симуляции.
Как визуальные головоломки помогут выявить AGI