Comments 10
Обладает-обладает, он меня тут на днях пытался убедить, что в 12-м Angular появилась несуществующая директива и упирался до тех пор, пока я не попросил ссылку на документацию, которую он, кстати, тоже выдумал и скинул, но после ошибки 404 наконец сознался. Так что сочинять он горазд.
ИИ справился с тестом на креативность лучше людей; но это не значит, что он обладает творческими способностями
Отсебятину гнать оно вполне себе может, да.
Возможно, модель не выдвигала новых творческих идей, она просто опиралась на то, что уже видела в своих обучающих данных, которые могли включать именно эту задачу альтернативного использования
Ну и в чем была проблема придумать новую задачу оригинального использования? В крайнем случае, попросили бы ИИ.
В результате средние оценки чат-ботов оказались выше человеческих. Но почти все максимальные и минимальные оценки принадлежали людям.
А тест честный?)
- "учёные взяли тест альтернативного использования (Alternative Uses Test или AUT)", т.е. стандартный тест ответы на вопросы которого уже могли быть в обучающей выборке протестированных моделей. Для корректного проведения нужны оригинальные тестовые задания, гарантированно отсутствующие на момент их бучения.
- "На придумывание идей для каждого предмета отводилось 30 секунд." Т.е. фактически отключали у людей Систему 2 в упомянутой дуальной модели мышления. Постарались приравнять возможности человека к возможностям испытуемых ИИ. В тестах нужно ориентироваться на максимальные возможности, а не минимальные. При таком подходе можно создать условия, когда младенцы по интеллектуальным способностям могут превзойти взрослого)
- "В рамках AUT-теста 256 человек получили задание". Всего? И их ответы сравниваются с ответами моделей, которые были обучены на знаниях всего человечества? Или почти всего. Нужно больше испытуемых, и посообразительнее. А то опять неявная фора.
- "придумать оригинальное и творческое применение для четырёх предметов — верёвки, коробки, карандаша и свечи". Креатив, но не самый высокий на который способен человек. Настоящее творчество, это поиск решений новых задач требующих инсайта. Способны на такое испытанные ЯМ?
Известно, что продолжительный интенсивный поиск решений может стимулировать появление новых синаптических связей в мозге, возможно стимулировать нейрогенез (например, в гиппокампе), а не только изменять существующие связи. Это называется нейронной пластичностью мозга (также морфогенезом нейросетей мозга). Нейронные сети мозга могут перестраивать свою "архитектуру" на лету, в процессе функционирования, включая при поиске решений, в отличии от архитектур существующих ЯМ, которые фактически остается фиксированной после обучения. Их контекстное обучение по примерам частично решает эту проблему. Человек также может прибегать при поиске решений к примерам, а также более сложным приемам мышления — аналогиям, метафорам, концептуальному переносу, и др. Этот процесс может приводить к возникновению нетривиальных ассоциаций, инсайтам. Но это творится самим человеком, а ЯМ в контексте дообучает пользователь, подводя ее к решению. Возможно творческие способности ИИ со временем удастся приблизить к возможностям человека, и даже превзойти, с помощью биологически более правдоподобных нейроморфных сетей, которые моделируют пластические (динамические) возможности нейронных сетей мозга.
Ну совсем плохо то не думайте об учёных. Думаю уникальность задания была важнейшим приоритетом, чтобы ни у людей, ни у машин не было преимущества.
Но ведь машина тоже не пользуются дуальной моделью мышления, хотя уже есть способные на что-то подобное модели. И они уже достаточно далеко продвинулись со времён autogpt.
Если выборка релевантная, то с точки зрения статистики 256 человек достаточно, чтобы делать значимые выводы.
Важно дать такое задание, которое эксперты смогут оценить. Кроме того сложные креативные задачи поставили бы абсолютное большинство людей в тупик и они получили бы 0 в тесте, что привело к тому, что всё исследование держалось на том - повезло ли 1% самых одарённых найти решение.
- Информации по этому тесту в сети полно, поиск — Alternate Uses Tasks. Он с 1967 г. используется. Простые граждане о нем могут не знать, а в обучающей выборке ЯМ примеры его использования вполне могли присутствовать.
- Не пользуются, так к чему утверждение в заголовоке статьи — ИИ справился с тестом на креативность лучше людей? если эти ЯМ по определению не обладают некоторыми формами мышления человека, а их не две на самом деле, это упрощенное представление, их много.
- А давайте обучим ЯМ только на знаниях этих 256 человек, чтобы были равные условия, и проведем сравнение.
- Инсайты случаются у простых людей, а не только гениев, и даже у обезьян. Речь о том, что аналогов механизмов ответственных за него у человека и животных пока нет в полном объеме в архитектуре ЯМ. Пока у них он возможен только по подсказкам человека. Это вовсе не значит, что со временем такая способность у ИИ не появится, но с приближением их архитектуры к когнитивной.
Вовсе не умоляю достижений больших ЯМ, они впечатляют, но не стоит их переоценивать, чтобы не испытывать разочарований, как было с ожиданиями от некоторых других технологий. Открытия, которые может сделать ИИ, недоступные человеку, стоит ожидать при обучении не на текстовом материале, а на эмпирических данных. Примером такого ИИ является эта разработка (статья), в которой после обучения ИИ оценивает размерность пространства состояний сложных динамических систем.
А что тогда значит? Ему эти тесты нужны? А если он захочет людишек по тестировать? Может он тоже засомневаться в умственных способностях учёных.
ИИ справился с тестом на креативность лучше людей; но это не значит, что он обладает творческими способностями