Comments 12
для получения информации, отсутствовавшей в обучающей выборке
А можете это продемонстрировать? И вообще, откуда вы знаете, что у нейросети было в обучающей выборке, а чего не было?
Тут наверное лучше уточнить что автор имел в виду под получением информации. Создавать новую информацию отсутствующую в обучающей выборке нейросети способны, на мой взгляд это очевидно. Нагляднее всего это демонстрируют сети генерирующие картинки по текстовому описанию, типа Stable Diffusion. С LLM чуть сложнее, но из того что недавно пробовал, достаточно неплохо перевели стихи с русского на английский.
На мой взгляд, чтобы убедиться в том, что языковая модель способна генерировать новую информацию, достаточно попросить ее найти аналогию между вещами или процессами. Она легко проводит аналогии по структуре, по функциональности, по другим признакам. Маловероятно, что всё это она это "прочитала" в обучающей выборке.
В целом, создают ли LLM что-то новое — это фундаментальный вопрос, простого ответа на который не существует и консенсус не достигнут.
Маловероятно, что всё это она это "прочитала" в обучающей выборке.
Ну опять же - мыж не знаем, что у нее там в выборке было. Как показывает моя практика, LLM когда просишь написать код - они достаточно явно пишут его примерно таким, какой можно найти в сети. А если его найти нельзя - то результат как правило плачевный. Т.е. на чем обучали - то и умеют писать (разумеется, с вариациями).
В целом, создают ли LLM что-то новое — это фундаментальный вопрос, простого ответа на который не существует и консенсус не достигнут.
Ну это звучит логично, но по-моему ответ на этот вопрос все-таки пока "нет".
"Любая задача нерелятивистской механики может быть сведена к законам Ньютона...", а квантовую механику местами можно отнести к нерелятивистской
"Если при своем появлении вычислительные машины могли работать только с числами, затем научились обрабатывать тексты, графику, звук и видео, то сейчас они обретают способность оперировать понятиями.". Уточните, как Вы понимаете "...машины могли работать...". Разные триггерочки и регистрики работают только с цифирками, а всё остальное от лукавого, т.е. от софта.
Человеческий мозг тоже работает на электрических импульсах и химических реакциях, но благодаря своим системным свойствам способен обрабатывать различные виды информации.
"Машины могли работать..." я понимаю так, что пользователь машины (человек) может дать ей задачу, содержание которой он сам интерпретирует как, например, "графику" или "звук", а машина, произведя какие-то операции, выдаст понятный для него результат. Калькулятор не может обрабатывать видео, хотя тоже оперирует числами. Это вопрос понимания формата и наличия ресурсов и алгоритмов для обработки.
"Обученная угадывать очередное слово в тексте" - всё-таки сильное упрощение. Это относится к этапу предобучения, а есть ещё файн-тюнинг когда сеть собственно обучается отвечать на вопросы, рассуждать, и т.п. Вся "магия" как раз происходит на втором этапе и насколько помню OpenAI и другие разработчики описывали этот процесс в статьях только общими словами, не раскрывая ноу-хау.
Насчет ноу-хау не знаю, есть же open-source модели.
То, что упрощение, не спорю. Но, согласитесь, первые GPT (включая 3.0) появились именно как программы, решающие задачу предсказания следующего слова. И хотя файн-тьюнинг в сегодняшнем понимании тогда еще не использовался, они уже проявляли определенные интеллектуальные способности, могли, например, генерировать статьи, которые было сложно отличить от человеческих.
Спасибо за публикацию. Один из наиболее глубоких анализов на тему возможностей и перспектив технологии ИИ. Перекликается с собственной оценкой ЯМ на трансформерной основе, котрую высказал в этом коменте. Важное уточнение по арифметическим операциям, освоение обучения которым будет являться некоторым показателем перехода на следующий уровень архитектуры ИИ, и ее приближения к когнитивной, т.е. способной к познанию.
Вот когда оно посмотрит на небо, и само скажет: "Смотри. Это облако похоже на бегемота!" Вот тогда буду знать, что какой-то ИИ есть ...
Искусственный интеллект и «взлом» культуры