Почитайте про AlphaZero, это ж классика и очень увлекательно. И на Хабре были статьи. Да, там просто заложили правила, информацию о последних позициях, потому что это важно для некоторых правил, рокировки, например и запустили играть саму с собой. Через несколько часов игры она уже обыгрывала гроссмейстеров, потом все шахматные программы. Но более значимо, что та же самая программа обучилась игре в Го и тоже всех обыграла. Го на несколько порядков более сложная в плане комбинаторики задача.
Если вы подсчитаете энграммы, то окажется, что никак невозможно запихнуть в нейросеть все комбинации, которые она может выдать. На этапе обучения происходит обобщение, формирование абстракций, связей между объектами. Это и есть модель мира. Это подтверждено исследованием того, какие области активируются при игре в аналог реверси. Была работа. Конечно, это не та модель мира, что будет у человека, хотя мы и о человеческой мало что можем сказать. Вот в этой работе, например, обнаружили где в модели хранятся разные фичи (отдельные объекты, качества вроде лести, понятие уязвимости программы и т.д.) и показано, что они не зависят от языка, от модальности, то есть абстракции высокого уровня. Их можно активировать и стимулировать это качество при ответе модели. Чем не модель мира и влияние на неё?
Claude-3-5-sonnet-20240620 лучше всего справляется и с частными вариантами и в общем виде. Gemini-1.5-pro-exp-0801 решила в частном виде, с общим начала рассуждать правильно, потому вдруг выдала M вместо M+1.
Статья наверное старая, раз не тестировали на версии 3.5. Надо просто подождать. На следующей неделе вроде как Q* (strawberry) возможно выйдет и там как раз логические рассуждения должны пофиксить. Но возможно и нет, там много хайпа пока по теме.
Но в целом да, языковые модели это скорее просто способ извлечь воспоминание/знание из большой базы данных. Хотя даже они демонстрируют весьма впечатляющие результаты. Но это так называемый первый тип мышления. Человек же для большинства задач использует второй тип, когда надо не выпаливать первый пришедший в голову ответ, а строить цепочки рассуждений, критически оценивать, визуализировать. К этому всему только подбираются. Возможно, будет совсем другая архитектура, возможно, поверх языковых моделей добавят агентов, визуальный блокнот и что-то ещё. Те нейросети, что мы видим сейчас, это самые тупые нейросети из тех, что появятся за последующие 10 лет, например. Вспомните какие видео и фото генерировались 2-3 года назад.
Есть задачи намного более простые, с которыми языковые модели путаются. Классическая - подсчитать сколько букв R в слове "strawberry", но тут больше с токенизацией связано, чем с рассуждениями. Задачи где человек легко визуализирует ситуацию и даёт ответ, тоже пока сложны. Думаю, тут развитие мультимодальных моделей, мыслящих не словами, а эмбеддингами, должно помочь. Сейчас такие деньги и интеллектуальные ресурсы в это вбухиваются, что через пару лет мы поверить не сможем, что такой прыжок совершён.
Насколько я понимаю, качество модели определяется и количеством параметров, и количеством входных токенов в датасете, ну и качеством датасета конечно же. Говоря о проценте русского в датасете я упростил, роль играет конечно число и качество входных токенов русского языка и согласованность их с числом параметров модели. Много параметров и мало входных токенов не сделают модель хорошей, а совсем наоборот, заставят её запоминать вместо обобщения. Llama явно не дотягивает до Claude именно с русскими текстами по-видимому из-за меньшего числа параметров и меньшего числа входных русских токенов. На прошлой версии она даже картинки не могла генерировать по описанию на русском, например, в отличие от Dall-E.
Что значит "владеть"? Написать грамотное предложение это не владение ещё. Когнитивные способности нейросети определяются уровнем владения в том числе. Есть много нейросетей, оказывающихся ужасно тупыми на тех языках, на которых их плохо обучали. Эмергентные свойства вроде умения писать стихи, понимать рифмы, формировать яркие образы, создавать новые слова и т.д. проявляются после какого-то критического объёма текстов на заданном языке в датасете.
Думаю, всё-таки от процента русского в датасете зависит больше. Да, сносно что-то выдавать могут и модели на 70b параметров, но тут же речь не о грамматике. Чтобы научилась писать стихи и понимала рифмы, чтобы свободно улавливала разные оттенки, были привязки к культурному контексту, нужно намного больше русскоязычных текстов в датасете. Где-то были данные какой процент текстов на разных языках у ChatGPT. Там доля русского довольно высокая была. Meta же сознательно пошла по пути ограничения.
Плохо, что они в мультиязычность не вкладываются. Оно и понятно, лучше прокачать английский и победить во всех тестах, чем забивать туда лишние языки. Но в итоге пока Claude Sonnet 3.5 для русского наилучшая. Будет интересно когда выйдет Opus.
Курцвейл получил в 1999 году Национальную медаль технологий и инноваций, высшую награду США в области технологий, от президента Билла Клинтона на церемонии в Белом доме. Он получил премию Лемельсона-MIT в размере 500 000 долларов за 2001 год. В 2001 году он был избран членом Национальной инженерной академии за применение технологий для улучшения взаимодействия человека и машины. В 2002 году он был занесен в Национальный зал славы изобретателей, учрежденный Патентным ведомством США. Он имеет 21 почетную докторскую степень и награды трех президентов США. Служба общественного вещания (PBS) включила Курцвейла в число 16 «революционеров, создавших Америку» наряду с другими изобретателями последних двух столетий. Журнал Inc. поставил его на 8-е место среди «самых интересных» предпринимателей США и назвал «законным наследником Эдисона».
Первопричина всех идей, появляющихся у нейросети, очевидно, в её весах и всех данных, приходящих на её входы. А первопричина этих данных, как уже выше отмечал - в сингулярности. Незачем тут усложнять.
Как раз так и можно будет это изучать научными методами. Если в сложной нейросети появилось стремление к творчеству, можно будет отследить, что этому предшествовало, как это можно стимулировать и так далее. Подобно тому, как исследователи из Antropic не так давно смогли обнаружить в нейросети паттерны, соответствующие определённым фичам и произвольно их включать, делая её более самокритичной, например, или заставляя упоминать в ответах о мосте "Золотые ворота".
Что такое восприятие? Это будет бесконечным блужданием в неопределённых терминах, как философы несколько сотен лет назад спорили сколько ангелов может разместиться на конце иглы. Приходили к удовлетворяющих их результатам. Пока это всё не перейдёт в научно изучаемую сферу философам будет работа, чем-то же им надо заниматься.
Материально то, что состоит из материи. Описанные культурные явления это не материя, это информация. Если мы рассыплем коробок спичек и из них сложится нецензурное слово, оно будет нематериально? Нет, его просто нигде нет в описании вселенной, оно имеет значение только для определённым образом обученных нейронных сетей. Каким тут боком свобода воли вообще не понимаю. Ну, хотя да, она может нейросетями восприниматься как их собственные решения, иллюзия свободы воли может существовать. Всё проявляется в материальном мире, списывать её на наше неполное понимание смысла не вижу. Так можно любую идею отстаивать - Бога, инопланетян, Ктулху. Изучать надо работу нейросетей, воспроизводить те же структуры и наблюдать, что в них происходит. Это уже будет объективное исследование.
Не скатывайтесь в ad hominem, пожалуйста. Субъективное можно изучать, как изучают искусство и религию, но это наукой очень условно можно называть, потому что не будет воспроизводимости результатов, непредвзятости и т.д.
Какие явления за пределами материального, о чём речь вообще? Явление это то, что проявляется в чём-то, а проявляться может только в материальном мире. Вы же не о эзотерике и религиях сейчас, надеюсь?
Если наше знание не полное, это не повод плодить сущности, конфликтующие с текущим описанием и не вносящим ничего нового. Если утверждается, что существуют некие неизвестные нематериальные сущности, влияющие при этом на материальные сущности, это экстраординарное заявление требует экстраординарных подтверждений. Так наука работает. А если на уровне философии, то да, можно размышлять, только это никуда не приведёт.
Научный метод, может? Из той же Википедии, как хранилища консенсусных утверждений.
Важной стороной научного метода, его неотъемлемой частью для любой науки, является требование объективности, исключающее субъективное толкование результатов.
Субъективность часто встречается в теоретических построениях, измерениях и концепциях (даже против воли тех, кто пытается быть объективным) — в естественных и точных науках целью является удаление субъективности из утверждений и экспериментов. В таких научных областях, как физика, биология, информатика, химия пытаются устранить субъективность из своей методологии, теории и результатов, и это сегодня составляет значительную часть процесса исследования в этих областях.
Конечно, если вы на уровне искусствоведения сознание изучаете, то можно хоть с точки зрения религии всё это изучать с таким же успехом.
Почему философский, вполне физический. Сторонники наличия свободы воли утверждают по сути, что есть нечто, не подчиняющееся законам Физики, действующее против них, управляемое волей некоего субъекта. Звучит крайне абсурдно. Говоря о свободе воли они не могут даже определить чья именно это воля, какого физического или нефизического объекта и почему тогда электроны не обладают свободой воли. Когда их припирают к стенке, начинают приводить в пример свой последний довод - недетерменированность квантовой физики. Всю свободу воли туда запихивают, получается.
Два месяца для нейросетей целая вечность сейчас при текущей скорости развития.
Почитайте про AlphaZero, это ж классика и очень увлекательно. И на Хабре были статьи. Да, там просто заложили правила, информацию о последних позициях, потому что это важно для некоторых правил, рокировки, например и запустили играть саму с собой. Через несколько часов игры она уже обыгрывала гроссмейстеров, потом все шахматные программы. Но более значимо, что та же самая программа обучилась игре в Го и тоже всех обыграла. Го на несколько порядков более сложная в плане комбинаторики задача.
Если вы подсчитаете энграммы, то окажется, что никак невозможно запихнуть в нейросеть все комбинации, которые она может выдать. На этапе обучения происходит обобщение, формирование абстракций, связей между объектами. Это и есть модель мира. Это подтверждено исследованием того, какие области активируются при игре в аналог реверси. Была работа. Конечно, это не та модель мира, что будет у человека, хотя мы и о человеческой мало что можем сказать. Вот в этой работе, например, обнаружили где в модели хранятся разные фичи (отдельные объекты, качества вроде лести, понятие уязвимости программы и т.д.) и показано, что они не зависят от языка, от модальности, то есть абстракции высокого уровня. Их можно активировать и стимулировать это качество при ответе модели. Чем не модель мира и влияние на неё?
Claude-3-5-sonnet-20240620 лучше всего справляется и с частными вариантами и в общем виде. Gemini-1.5-pro-exp-0801 решила в частном виде, с общим начала рассуждать правильно, потому вдруг выдала M вместо M+1.
Статья наверное старая, раз не тестировали на версии 3.5. Надо просто подождать. На следующей неделе вроде как Q* (strawberry) возможно выйдет и там как раз логические рассуждения должны пофиксить. Но возможно и нет, там много хайпа пока по теме.
Но в целом да, языковые модели это скорее просто способ извлечь воспоминание/знание из большой базы данных. Хотя даже они демонстрируют весьма впечатляющие результаты. Но это так называемый первый тип мышления. Человек же для большинства задач использует второй тип, когда надо не выпаливать первый пришедший в голову ответ, а строить цепочки рассуждений, критически оценивать, визуализировать. К этому всему только подбираются. Возможно, будет совсем другая архитектура, возможно, поверх языковых моделей добавят агентов, визуальный блокнот и что-то ещё. Те нейросети, что мы видим сейчас, это самые тупые нейросети из тех, что появятся за последующие 10 лет, например. Вспомните какие видео и фото генерировались 2-3 года назад.
Есть задачи намного более простые, с которыми языковые модели путаются. Классическая - подсчитать сколько букв R в слове "strawberry", но тут больше с токенизацией связано, чем с рассуждениями. Задачи где человек легко визуализирует ситуацию и даёт ответ, тоже пока сложны. Думаю, тут развитие мультимодальных моделей, мыслящих не словами, а эмбеддингами, должно помочь. Сейчас такие деньги и интеллектуальные ресурсы в это вбухиваются, что через пару лет мы поверить не сможем, что такой прыжок совершён.
Насколько я понимаю, качество модели определяется и количеством параметров, и количеством входных токенов в датасете, ну и качеством датасета конечно же. Говоря о проценте русского в датасете я упростил, роль играет конечно число и качество входных токенов русского языка и согласованность их с числом параметров модели. Много параметров и мало входных токенов не сделают модель хорошей, а совсем наоборот, заставят её запоминать вместо обобщения. Llama явно не дотягивает до Claude именно с русскими текстами по-видимому из-за меньшего числа параметров и меньшего числа входных русских токенов. На прошлой версии она даже картинки не могла генерировать по описанию на русском, например, в отличие от Dall-E.
Что значит "владеть"? Написать грамотное предложение это не владение ещё. Когнитивные способности нейросети определяются уровнем владения в том числе. Есть много нейросетей, оказывающихся ужасно тупыми на тех языках, на которых их плохо обучали. Эмергентные свойства вроде умения писать стихи, понимать рифмы, формировать яркие образы, создавать новые слова и т.д. проявляются после какого-то критического объёма текстов на заданном языке в датасете.
Думаю, всё-таки от процента русского в датасете зависит больше. Да, сносно что-то выдавать могут и модели на 70b параметров, но тут же речь не о грамматике. Чтобы научилась писать стихи и понимала рифмы, чтобы свободно улавливала разные оттенки, были привязки к культурному контексту, нужно намного больше русскоязычных текстов в датасете. Где-то были данные какой процент текстов на разных языках у ChatGPT. Там доля русского довольно высокая была. Meta же сознательно пошла по пути ограничения.
Плохо, что они в мультиязычность не вкладываются. Оно и понятно, лучше прокачать английский и победить во всех тестах, чем забивать туда лишние языки. Но в итоге пока Claude Sonnet 3.5 для русского наилучшая. Будет интересно когда выйдет Opus.
Отдайте ребёнка на воспитание нейросети, столько времени освободится :))
И поаккуратнее там с выбором цветов для рюкзака.
Ну да, типичный гуманитарий:
Да, он и правда ошибся, тест Тьюринга пройден ещё в 2023-м.
Первопричина всех идей, появляющихся у нейросети, очевидно, в её весах и всех данных, приходящих на её входы. А первопричина этих данных, как уже выше отмечал - в сингулярности. Незачем тут усложнять.
Как раз так и можно будет это изучать научными методами. Если в сложной нейросети появилось стремление к творчеству, можно будет отследить, что этому предшествовало, как это можно стимулировать и так далее. Подобно тому, как исследователи из Antropic не так давно смогли обнаружить в нейросети паттерны, соответствующие определённым фичам и произвольно их включать, делая её более самокритичной, например, или заставляя упоминать в ответах о мосте "Золотые ворота".
Что такое восприятие? Это будет бесконечным блужданием в неопределённых терминах, как философы несколько сотен лет назад спорили сколько ангелов может разместиться на конце иглы. Приходили к удовлетворяющих их результатам. Пока это всё не перейдёт в научно изучаемую сферу философам будет работа, чем-то же им надо заниматься.
Материально то, что состоит из материи. Описанные культурные явления это не материя, это информация. Если мы рассыплем коробок спичек и из них сложится нецензурное слово, оно будет нематериально? Нет, его просто нигде нет в описании вселенной, оно имеет значение только для определённым образом обученных нейронных сетей. Каким тут боком свобода воли вообще не понимаю. Ну, хотя да, она может нейросетями восприниматься как их собственные решения, иллюзия свободы воли может существовать. Всё проявляется в материальном мире, списывать её на наше неполное понимание смысла не вижу. Так можно любую идею отстаивать - Бога, инопланетян, Ктулху. Изучать надо работу нейросетей, воспроизводить те же структуры и наблюдать, что в них происходит. Это уже будет объективное исследование.
Не скатывайтесь в ad hominem, пожалуйста. Субъективное можно изучать, как изучают искусство и религию, но это наукой очень условно можно называть, потому что не будет воспроизводимости результатов, непредвзятости и т.д.
Какие явления за пределами материального, о чём речь вообще? Явление это то, что проявляется в чём-то, а проявляться может только в материальном мире. Вы же не о эзотерике и религиях сейчас, надеюсь?
Если наше знание не полное, это не повод плодить сущности, конфликтующие с текущим описанием и не вносящим ничего нового. Если утверждается, что существуют некие неизвестные нематериальные сущности, влияющие при этом на материальные сущности, это экстраординарное заявление требует экстраординарных подтверждений. Так наука работает. А если на уровне философии, то да, можно размышлять, только это никуда не приведёт.
Научный метод, может? Из той же Википедии, как хранилища консенсусных утверждений.
Конечно, если вы на уровне искусствоведения сознание изучаете, то можно хоть с точки зрения религии всё это изучать с таким же успехом.
Почему философский, вполне физический. Сторонники наличия свободы воли утверждают по сути, что есть нечто, не подчиняющееся законам Физики, действующее против них, управляемое волей некоего субъекта. Звучит крайне абсурдно. Говоря о свободе воли они не могут даже определить чья именно это воля, какого физического или нефизического объекта и почему тогда электроны не обладают свободой воли. Когда их припирают к стенке, начинают приводить в пример свой последний довод - недетерменированность квантовой физики. Всю свободу воли туда запихивают, получается.