DeepMind утверждает, что ее языковая модель на 280 млрд параметров превосходит аналоги в 25 раз крупнее

[zxweed]

При этом она обеспечивает производительность, сравнимую с производительностью обычного трансформатора

— мама, что такое трансформатор?
— это как наш папа, получает 220, отдаёт 127, а на остальное гудит

[elingur]

Да-да, переводчику следовало бы ознакомится с терминологией в предметной области :) Речь идет, конечно, о трансформерах .

[DaneSoul]

В первом же диалоге грубая биологическая ошибка.
Все прокариоты — одноклеточные, но не все одноклеточные — прокариоты!

[phenik]

Прогресс впечатляет, но стат. модели языка не достигнут полной передачи смысла в предложениях, например, в таких:

Кошка произнесла мяу-мяу-мяу-мяу, сколь раз мяу произнесла кошка?

Протестированные модели генерировали тексты про кошку, но не давали простого ответа — три. Хотя это были демоверсии (напр, эта). В этом предложении смысл за пределами языка, нужно понимать смысл чисел, счета, и обращаться к самому предложению. Статистикой такие отношения не охватить, их бесконечное разнообразие. Здесь требуется отдельная процедура для понимания смысла чисел и оперирования с ними, у человека она имеется.

[DaneSoul]

Кошка произнесла мяу-мяу-мяу-мяу, сколь раз мяу произнесла кошка?

Протестированные модели генерировали тексты про кошку, но не давали простого ответа — три.

Почему три, когда в тексте до запятой четыре раза через дефис?

[phenik]

Сорру, вначале было три мяу, поэтому три. Но показалось мало, сделал четыре, а исправить число забыл, ошибки человеческого интеллекта на внимание) Надеюсь ИИ таким страдать не будет)

[TydymBydym]

Однозначно, вы предвзяты сверх меры. Себе готовы простить грубейшие ошибки, а ИИ заранее отказываете в мелочах )))

[phenik]

А вы читали исходные статьи, или судите по случайной картинке?

Видел статьи где обученные ИНС решают не только мат. задачи, но и физические (причем на порядки сложнее, управляют экспериментами, напр, успешно корректируют ошибки кв. кубитов), а также биохимические (фолдинг биомолекул), астрономические, и тд. Это не значит, что они понимают смысла того, что они делают) Выйдете за пределы обучающей выборки (точнее генеральной совокупности, кот. она представляет), и возникнут проблемы.

А вот тут, например, решают задачки с университетских курсов по линалу и матстату.

Это специализированная система обученная на коде, подозреваю простого ответа про количество мяу она не даст. Может выдаст код программы по их подсчету)

Многие живые люди так хорошо смысл не понимают, как эти эти стат. модели языка :)

Отнюдь… для этого нужно знать откуда проистекает смысл тех же чисел, а не довольствоваться его имитацией в существующих на данный момент ИНС. В этом отношении новорожденные, или многие виды животных, могут оценивать и дискриминировать численность объектов и событий, включая с числом мяуканий кошки, а также карканий, гавканий, и тд, безо всякого обучения цифрам, счету и арифметике. А для ИНС нужно городить специально размеченные обучающие выборки и задания, иначе не получится. В этом отношении ИНС пока напоминают поведение дискалькуликов, кот. могут наизусть рассказать таблицы умножения и сложения, если их попросить об этом, но не могут правильно сложить 1 яблоко + 2 яблока, из-за нарушений во внутритеменной борозде мозга, отвечающей за возникновение интуитивного чувства численности. При этом остальные интеллектуальные функции остаются в норме, в том числе понимание того, что такое яблоки. По опыту общения с айтишниками знаю, что в этом месте обычно возникает недоуменный вопросы, что за такое чувство численности? Есть цифры и операции с ними, кот. обучались еще в школе, этого достаточно для понимания смысла чисел и манипуляций с ними. Да, субъективно воспринимается все именно так, но кухня этого понимания скрыта от нас, доступен только готовый результат. Она проясняется только в когнитивных исследованиях на эту тему.

Несколько подробнее..

Чувство численности является генетически предопределенным механизмом автоматической оценки численности объектов в фокусе внимания. В исследованиях на новорожденных его проявления обнаружены на 2-3 сутки после рождения, по мере роста и развития его острота улучшается. Это равноценно развитию обычных чувств — зрения, слуха, и тд, и даже подчиняется тем же психофизическим закономерностям. По смыслу численность это эволюционно выработанный комплексный биологический признак, помогающий успешно адаптироваться к среде. Подробнее что это за чувство можно посмотреть в этой презентации и проверить его остроту на этом сайте. Эти тесты могут показаться тривиальным занятием, однако это только потому, что нет проблем с этим чувством, точно также, как если имеется 100% зрение, то нет необходимости носить очки. Для нескольких процентов населения Земли это непроходимые тесты из-за различных форм дискалькулии. Понимание и обучение символической арифметике базируется на этом интуитивном чувстве, и как показывают продолжительные исследования успехи в математике коррелируют с развитостью этого чувства (см. обзоры на панамасе). Точно также, как у художников восприятие цветопередачи развито сильнее, чем у простого человека или у парфюмерного нюхача острота восприятия запахов. Проводились исследования чувства численности с нейровизуализацией у проф. математиков, какими бы абстрактными мат. объектами они не занимались или думали о них, в любом случает активировалась область отвечающая за это чувство. Это может показаться странным, почему думая о каких-то кватернионах, за их смыслом (пониманием) приходится опускаться к нативному чувству численности? Какая тут связь? Достаточно простая, обучение в школе начинается с интуитивного чувства численности на котором развиваются (ассоциируются) символические представления о числах и арифметике, затем алгебре, затем в высших учебных учреждениях на этой основе обучаются более продвинутым разделам математики. Так возникает иерархия связей (контекстов), даже когда мы думаем о седионинах, кот. также базируются на натуральных числах, являющихся прямым символическим представлением (обобщением) чувства численности. По этой причине, если возникают нарушения во внутритеменной борозде (т.е. дискалькулия), то нарушается цепочка связывающая числа и яблоки, и их подсчет становится трудновыполнимой задачей. Точно также теряется связь между числами и другими составляющими любых мат. объектов.

На самом деле не все так безнадежно со смыслом чисел в ИНС, как может показаться из приведенного описания. За чувство численности в мозге также отвечает нейросеть, как и за представление языка, и она также может моделироваться ИНС. Этой моделью являются сверточные сети, структура кот. подобна биологическому прототипу — вентральному пути зрительной системы, см. например, эту работу. Модель настолько адекватная, что воспроизводит даже закон Вебера для чувства численности. Остается прикрутить эту модель к статмодели языка, простроить промежуточные интерфейсные сети, и получится подобие интеллектуального агента, или робота, если воплотить в железе. Предложение с вопросом о числе мяуканий в графическом формате проходит через первую сеть, буквы и слова распознаются и перекодируются во входной формат статмодели языка. Выражение «сколько раз» транслируется в запрос к первой сети на перенос фокуса внимания на изображения «мяу», число которых подсчитывается, и передается в статмодель для формирования ответа. Естественно, нет необходимости буквально переносить биологические решения в технические реализации, часто они являются специфичными и избыточными. В этом направлении давно плодотворно работает специалист из MIT Д. Тененбаум (см. на Хабре, список работ на RG) Одна из последних работ — моделирование использования здравого смысла в языковых моделях. Его работы основываются на концепции основного знания (или когнитивного ядра по др. терминологии) (обзор, неплохой обзор на рус. на философском ресурсе, других не нашел).

Последнее замечание. Это относится не только к пониманию смысла чисел, но и др. базовым когнитивным единицам. Если брать математику, то к геометрическим примитивам (линиям, углам, и тд), непрерывным величинам (магнитудам), вероятностным оценкам, и открывает когнитивный уровень поиска оснований и обоснования математики. На физическом уровне это объекты, события, пространство, время и тд, на биосоциальном — агентность, см. ссылки выше на описания состава когнитивного ядра, кот. может отличаться у разных авторов. Это горячая тема в когнитивных исследованиях.

[phenik]

Ошибся веткой.