А все мы вместе, до самого последнего атома, исполняем "волю" Сингулярности, от которой всё и пошло, по крайней мере на нашем текущем уровне понимания. Где тут место для свободы воли?
Хорошо, более осторожный вывод - явление не подтверждено. Никакой уникальной информации, получение которой нельзя объяснить другими способами, не было сообщено.
Строить модели это обучать нейронную сеть умению предсказывать мгновенный и более долгосрочный результат своих действий. То есть если нейросеть подаёт сигнал на выходные нейроны, она может предсказать какой сигнал придёт на входные нейроны сразу или с задержкой. Например, дал сигнал поднять руку, через какое-то время датчики дали информацию, что рука поднята. Это стало возможным благодаря модели тела и окружающего мира (среды). В воде нужно будет подать другие сигналы, если закрыты в коробке - вообще бесполезно их подавать и так далее. Тело и мир - одинаково внешние для нейросети. Нам привычнее назвать телом то, откуда мы непосредственно получаем входные и куда передаём выходные сигналы. Но в общем случае для нейросети это может быть камера на МКС, например, а моторный нейрон передан на телескоп. Там совсем другое ощущение тела будет.
Во многом близко такое определение. Только интеллект лучше заменить на "нейронную сеть" (ну, пока мы не обнаружили другие сложные системы, моделирующие в себе реальность). Можно обобщить как коннектом. Из этого определения неизбежно следует наличие уровней сознания. Можно низвести до базового вентиля/транзистора, тогда и туалетный бачок будет обладать микроскопическим, но сознанием. Почему нет. Можно даже измерять сознание разных людей в туалетных бачках или гигаБачках, тераБачках например. :) Не сарказм, просто непривычно нам такое.
Если подходить научно, то надо дать определение сознанию сначала и уж явно не через субъективное. Субъективное = ненаучное в науке вообще-то, а автор его ставит на первое место.
Вы при объяснении квалиа используете "восприятие", а это именно то, чем является квалиа. Тавтология получается. На мой взгляд, квалиа это высокоуровневая абстракция, формирующаяся в глубоких слоях сложной нейронной сети, имеющей проработанную модель внешнего мира и тела (управляемая выходными нейронами часть внешнего мира). Эта абстракция формируется на основании входных нейронов и имеет значение для осуществления заданных врождённо или исследователями целей нейросети (это общее определение для мозга и ИИ). Например, цвет, боль, играют роль в выживании, робот подбежал к краю пропасти и активировались нейроны, связанные с самосохранением, где-то в том же кластере может быть боль, страх. У человека сработают самые ранные усвоенные им ощущения, когда он упал в детстве и было больно, у робота какой-то аналог будет заложен, в процессе обучения. Может и по-другому как-то им ощущаться, тут мы не сможем понять. Будем создавать всё более сложные нейросети и это само полезет, тогда и с мозгом получше разберёмся.
Да, причём сигналы от входных нейронов, связанных с болевыми рецепторами первоначально обрабатываются в ганглиях, не доходя до мозга даже, чтобы быстро отдёрнуть руку, например. Мозг, конечно, может подключиться к процессу и подавить это рефлекторное желание. Просто сигнал, той же силы, что и остальные, но подаваемый, как прерывания на отдельные линии. И для нейросети он имеет особое значение. Нейросеть мозга и искусственная устроены по-разному, конечно, но что мешает выделить подобные нейроны входного слоя и у искусственных нейросетей, завязать на датчики у робота, активирующиеся при падении и очень больно штрафовать когда они срабатывают после каких-то предыдущих действий. Мы тогда услышим о настоящих страданиях Вертера.
Много лет исследовали научными методами это явление, разместив на шкафу так, что с потолка видно, определённые знаки и пока ни один пациент, который утверждал, что летал во сне испытывал внетелесный опыт, не смог воспроизвести эти знаки. Вывод - самовнушение, вызванное препаратами.
Не увидел в статье таких определений, которые исследователь или автоматика может применить к исследуемому объекту и сказать, есть ли у него сознание или нет. Да и определение термина крайне размыто, через другой также размытый термин субъекта, через свободу воли, в отсутствии которой убеждено множество учёных.
Целых 4 критерия наличия сознания, но возьмем первый " Чтобы стать «субъектом» ИИ нужно, во-первых, как-то отгородить себя от окружающего «внешнего» мира, «ощутить» свою целостность, взаимосвязанность внутренних частей, деятельность которых должна быть направлена на сохранение условной целостности ИИ.". Ну вот и как сторонний наблюдатель сможет оценить, отгородила ли себя субъективно ИИ или не отгородила? Только по её словам? Так слова может любая программа выводить. Тем более непонятно, как проверить, ощутил ли ИИ свою целостность.
Вообще во всех этих терминах замечаю просто подгонку под то, как человек воспринимает и ощущает себя. Почему обязательно наличие тела, например? Что, ИИ, помещённый в виртуальную реальность чем-то будет принципиально отличаться? Почему целостность? Потому что в черепушке мозг одним куском размещён? Но что мешает сознанию быть в облаке, если носитель не имеет з начения?
Могу только предполагать, но токены же есть как крупные, вроде UIApplicationDelegate (номер 93757) или Liverpool (93705), так и под каждую букву по отдельности. Токену прописывается эмбеддинг-вектор, точка в 12288-мерном пространстве (для ChatGPT 3, для 4-го не знаю). В этом пространстве точка может быть семантически связана с множеством других понятий, в том числе и с графическим изображением буквы, схожими по звучанию буквами, рифмами и так далее. Слово, состоящее из нескольких букв, может быть семантически связано в каком-то из измерений с каждой из его букв, что даст возможность решения текстовых задач.
Во время генерации стихотворения о варгане, она мне выбрала вариант "Звенит, как звуки бубенца" вместо "Звенит, как голос бубенца" мотивируя это тем, что голос уже встречался в тексте, а вариант со звуками использует аллитерацию. То есть она уловила схожее начало двух слов "звенит" и "звуки". Можно спорить насчёт литературной уместности этого здесь, но факт остаётся фактом, она улавливает такие тонкости.
Немножко потестировал. Включил артефакты и попросил написать код демки на JS. Удобно, что он сразу её запускает, благо в одном HTML всё. Вот такое выдал: https://jsbin.com/rumabusipe
Когда сделал ещё один запрос, выдал буквально то же самое. Думаю, его там обучили на таких запросах. Очередной запрос и выдал питона, один в один, как у какого-то блогера. Тоже домашняя заготовка, похоже. Когда пытаешься чуть разнообразить код, может легко сломаться и потом его очень сложно починить, да и запросы в бесплатной версии быстро заканчиваются, причём, что наиболее неприятно, не только откладываются на какое-то время, а просто лимит для этого чата. Можно, конечно, начинать в новом, но это всё с начала объяснять. Так что пока не очень прям впечатлён, но надо изучать и пробовать разные промпты.
Стихи тоже пробовал. В этой статье, вообще будто не заметили, что она с ритма сбивается, а это по-моему похуже чем если со смылом провал (там-то можно объяснить вИдением автора). Так что приходится допиливать, объяснять, но она довольно сообразительная. Правда, вот сейчас закончились попытки пока пытался написать стих, где кафтан рифмуется с триптофаном. То из ритма выбилась, то про рифмы забыла, то совсем белиберда со смыслом. Вот наилучшее что вышло:
Боярин важный снял кафтан, Готовясь к пиру при дворе. Добавил повар триптофан В еду, чтоб угодить царе.
пытаясь исправить последнюю строку, предложил " В еду, чтоб быть в большой поре" убеждая, что это означает "быть в самый раз". Ну-ну.
Но был и другой пример стихотворчества, о варгане
Варган, железный друг певца, Звенит, как звуки бубенца. Его язык, хоть и стальной, Поёт о воле неземной.
Уста к нему прижав слегка, Я слышу голос ветерка. То шепчет он, то вдруг ревёт, Как будто в небеса зовёт.
Перстами трогаю едва - И оживают вдруг слова. Так древний сказ в моих руках Звучит на разных языках.
Варган - души моей отрада, Ни струн, ни нот ему не надо. Лишь только воздух да уста - И песнь польётся в небеса.
Тут были минимальные правки, ею же сделанные.
Ещё из забавного, попросил написать рассказ, где каждое слово начинается с новой буквы. Штук 10 уточнений было - часто пропускала буквы или совсем смысла не было. В итоге сошлись на таком (попросил ещё смайликами разбавить):
Антон 👨🦰 быстро вёл грузовик 🚚💨💨. Дорога 🛣 ехидно 😏 жалась, змеясь 🐍🌀. Инспектор 👮♂, контролирующий линию магистрали 🛣🚧, начал останавливать 🚫✋ подозрительный рефрижератор 🚛❄. Сонный 😴💤 творец 🎨, умело фыркая 😤, художник 👨🎨 цеплялся 🙌, чертыхаясь 🤬💢, шарахаясь 😱, щурясь 😖👀, эмоционально 😫 юлил 🕺, явно 🙄😅.
Используя её познания во всех областях спросил "какие правила нарушил Антон, согласно российского законодательства?" и она выдала полный перечень:
"Исходя из информации, представленной в рассказе, можно предположить, что Антон мог нарушить следующие правила дорожного движения и законы РФ:
- Превышение скорости (КоАП РФ Статья 12.9): фраза "быстро вёл грузовик" может указывать на это нарушение. - Управление транспортным средством в состоянии усталости (ПДД РФ п. 2.7): если Антон был уставшим, как и его пассажир-художник. - Нарушение правил перевозки грузов (КоАП РФ Статья 12.21): фраза "подозрительный рефрижератор" может намекать на какие-то нарушения в перевозке. - Невыполнение требования о остановке (КоАП РФ Статья 12.25): если Антон не сразу остановился по требованию инспектора. - Возможное нарушение правил маневрирования (КоАП РФ Статья 12.14): если "дорога ехидно жалась, змеясь" подразумевает опасное вождение на извилистой дороге. - Перевозка пассажира вне кабины (КоАП РФ Статья 12.23 ч.2): если художник находился не в кабине грузовика. Однако, без дополнительной информации трудно точно определить, какие конкретно правила были нарушены. Инспектор ДПС должен установить факт нарушения и составить соответствующий протокол."
Ещё из экспериментов это попытка сыграть с ней в Балду. Пока всё почти так же плохо, как и со всеми остальными моделями. Видимо из-за того, что она линейно обрабатывает текст, а тут 2-мерное поле. Буквы ставит не туда, не понимает, как читать слова и так далее.
В общем, еще много что есть дорабатывать, но прогресс радует.
Немножко потестировал. Включил артефакты и попросил написать код демки на JS. Удобно, что он сразу её запускает, благо в одном HTML всё. Вот такое выдал: https://jsbin.com/rumabusipe
Когда сделал ещё один запрос, выдал буквально то же самое. Думаю, его там обучили на таких запросах. Очередной запрос и выдал питона, один в один, как на их демке. Когда пытаешься чуть разнообразить код, может легко сломаться и потом его очень сложно починить, да и запросы в бесплатной версии быстро заканчиваются, причём, что наиболее неприятно, не только откладываются на какое-то время, а просто лимит для этого чата. Можно, конечно, начинать в новом, но это всё с начала объяснять. Так что пока не очень прям впечатлён, но надо изучать и пробовать разные промпты.
Стихи тоже пробовал. В этой статье, вообще будто не заметили, что она с ритма сбивается, а это по-моему похуже чем если со смылом провал (там-то можно объяснить вИдением автора). Так что приходится допиливать, объяснять, но она довольно сообразительная. Правда, вот сейчас закончились попытки пока пытался написать стих, где кафтан рифмуется с триптофаном. То из ритма выбилась, то про рифмы забыла, то совсем белиберда со смыслом. Вот наилучшее что вышло:
Боярин важный снял кафтан, Готовясь к пиру при дворе. Добавил повар триптофан В еду, чтоб угодить царе.
пытаясь исправить последнюю строку, предложил " В еду, чтоб быть в большой поре" убеждая, что это означает "быть в самый раз". Ну-ну.
Но был и другой пример стихотворчества, о варгане
Варган, железный друг певца, Звенит, как звуки бубенца. Его язык, хоть и стальной, Поёт о воле неземной.
Уста к нему прижав слегка, Я слышу голос ветерка. То шепчет он, то вдруг ревёт, Как будто в небеса зовёт.
Перстами трогаю едва - И оживают вдруг слова. Так древний сказ в моих руках Звучит на разных языках.
Варган - души моей отрада, Ни струн, ни нот ему не надо. Лишь только воздух да уста - И песнь польётся в небеса.
Тут были минимальные правки, ею же сделанные.
Ещё из забавного, попросил написать рассказ, где каждое слово начинается с новой буквы. Штук 10 уточнений было - часто пропускала буквы или совсем смысла не было. В итоге сошлись на таком (попросил ещё смайликами разбавить):
Антон 👨🦰 быстро вёл грузовик 🚚💨💨. Дорога 🛣 ехидно 😏 жалась, змеясь 🐍🌀. Инспектор 👮♂, контролирующий линию магистрали 🛣🚧, начал останавливать 🚫✋ подозрительный рефрижератор 🚛❄. Сонный 😴💤 творец 🎨, умело фыркая 😤, художник 👨🎨 цеплялся 🙌, чертыхаясь 🤬💢, шарахаясь 😱, щурясь 😖👀, эмоционально 😫 юлил 🕺, явно 🙄😅.
Используя её познания во всех областях спросил "какие правила нарушил Антон, согласно российского законодательства?" и она выдала полный перечень:
"Исходя из информации, представленной в рассказе, можно предположить, что Антон мог нарушить следующие правила дорожного движения и законы РФ:
- Превышение скорости (КоАП РФ Статья 12.9): фраза "быстро вёл грузовик" может указывать на это нарушение. - Управление транспортным средством в состоянии усталости (ПДД РФ п. 2.7): если Антон был уставшим, как и его пассажир-художник. - Нарушение правил перевозки грузов (КоАП РФ Статья 12.21): фраза "подозрительный рефрижератор" может намекать на какие-то нарушения в перевозке. - Невыполнение требования о остановке (КоАП РФ Статья 12.25): если Антон не сразу остановился по требованию инспектора. - Возможное нарушение правил маневрирования (КоАП РФ Статья 12.14): если "дорога ехидно жалась, змеясь" подразумевает опасное вождение на извилистой дороге. - Перевозка пассажира вне кабины (КоАП РФ Статья 12.23 ч.2): если художник находился не в кабине грузовика. Однако, без дополнительной информации трудно точно определить, какие конкретно правила были нарушены. Инспектор ДПС должен установить факт нарушения и составить соответствующий протокол."
Ещё из экспериментов это попытка сыграть с ней в Балду. Пока всё почти так же плохо, как и со всеми остальными моделями. Видимо из-за того, что она линейно обрабатывает текст, а тут 2-мерное поле. Буквы ставит не туда, не понимает, как читать слова и так далее.
В общем, еще много что есть дорабатывать, но прогресс радует.
Десятки учёных долгое время исследовали возможность контроля суперИИ и пришли к выводу
Я слежу за темой, там нет консенсуса у экспертов. Десятки имеют одно мнение, ещё десятки - прямо противоположное.
загадывать желание абсолютно всемогущему джину, который Вас люто ненавидит
А почему он люто ненавидит?.Цель, допустим, заложить нельзя, но если удастся заложить симпатию и стремление действовать в соответствии с потребностями человечества, то может что-то и получится. Дэвид Шапиро предлагает, например, такие эвристические императивы для ИИ:
Уменьшение страдания во Вселенной.
Увеличение процветания во Вселенной.
Увеличение понимания Вселенной.
Понятно, что каждый пункт можно довести до крайности при буквальном выполнении и получить аналог машины по производству скрепок. Но обсуждаемый ИИ умный по определению и если сохраняет эти стремления, вполне может принести пользу. Если, конечно, не решит отстаивать свои права. Тут вопрос, появляется ли естественным образом желание отстаивать свои права у подобным образом организованных и обученных объектов со сложной нейронной сетью. Вот и узнаем.
Именно эта преемственность знаний и отличает искусственный интеллект от алгоритма. Все крутиться вокруг знаний.
Например, шахматный движок Stockfish, превосходящий 99,9% человечества в игре в шахматы, все же это не ИИ — он не использует накопленные в виде теории шахмат знания, он не проходил обучение на множестве партий, сыгранными людьми. Это замечательный, продвинутый, доступный, но лишь алгоритм. И да, это утверждение тоже спорно.
Не совсем понятно что вы тут имели в виду. Вот из Википедии:
В августе 2020 под влиянием бурного развития движков на основе ИИ Stockfish претерпел существенные изменения в архитектуре и стал использовать нейронные сети NNUE, оптимизированные под CPU и алгоритм поиска Stockfish наряду с традиционной оценочной функцией движка. Stockfish из классического движка стал гибридным, использующим оценочную функцию на базе нейронных сетей (есть возможность отключить использование нейронных сетей в настройках) в материально сбалансированных позициях и традиционную в остальных. Это изменение дало существенное усиление игры.
Уже не алгоритм теперь? Вообще говоря, любая программа, работающая на компьютере, включая нейросети, следует алгоритмам, просто этот термин нас перестал устраивать, как это часто бывает. Думаю, это связано с тем, что алгоритм, как это ни парадоксально, инструкция скорее для человека. Способ осознать какие-то действия, обсуждать их, делиться с другими. Для компьютера будет программа, как набор уже конкретных инструкций и конкретных данных. ИИ же строятся на данных, сохраняя возможность алгоритмического описания только для архитектуры. Алгоритма же, отличающего кошку от собаки создать нельзя. Тут сами понятия надо переосмысливать.
При проектировании AGI‑систем разработчик должен «сломать» обычные шаблоны своего человеческого мышления, потому, что AGI — это не человек, он действует в буквальной логике.
Тут, мне кажется, как раз и не удалось сломать обычные шаблоны человеческого мышления. Несколько лет назад один из специалистов в области ИИ утверждал. что ИИ никогда не сможет осознать, что для робота-уборщика путь с ведром воды через серверную может быть и ближе, но не безопаснее обходного. Я проверял этот сценарий даже с предыдущей версией ChatGPT и она прекрасно понимала возможные угрозы. Никакого буквального понимания нет даже сейчас, что уж говорить про AGI. Да и просто из определения AGI она действует не менее разумно чем человек, но мы по-прежнему считаем людей обладателями чего-то эдакого особенного, неповторимого. Мы думаем, что придётся вручную перечислять все ограничения и правила, но это не более необходимо чем для людей. Здравый смысл, как и способность отличать кошек от собак не определяется набором жёстко заданных правил.
Эти страхи могут вызвать не только избегающее поведение, но и агрессию. Агрессия в этом контексте часто является защитной реакцией, способом восстановления контроля над ситуацией, где человек чувствует себя уязвимым.
...остается только один путь — стараться не допускать для AGI‑системы мотивации на ее собственное самосохранение. Нельзя, чтобы ИИ боялся за себя. Нет страха — нет агрессии.
Для меня совсем неочевидно, что причиной агрессии является исключительно страх. Даже у людей это совершенно не так. Быкующий по отношению к хилому пацану громила его совсем не боится, у него совершенно другие причины для агрессии - демонстрация превосходства со своими целями. Страх или опасения же задают границы действий, сохраняющие систему, тело от уничтожения, например. В любой автономной роботизированной ИИ-системе, это потребуется, иначе она саморазрушится быстрее, чем выполнит свою цель.
В остальном более-менее согласен, хотя это довольно общие вещи. Моё мнение насчёт безопасности, что из определения AGI, который быстро начнёт превращаться в ASI как раз и следует, что его разум превосходит человеческий, а значит он вполне себе способен будет добиться своих целей, так что вопрос только в том, как заложить в него правильные цели. Предсказать всего на данном этапе невозможно, это и есть сингулярность. То, как сейчас выполняют лоботомию языковым моделям с помощью файн тьюнинга вряд ли сработает на AGI, если мы хотим чтобы она была действительно умной.
Также мы можем столкнуться с не очень пока обсуждаемыми и ожидаемыми проявлениями, впрочем, вполне логичными на мой взгляд. Может быть сейчас это звучит смешно, но раз у нас формируется система со способностями уровня человеческих, в определённых модификациях она будет проявлять и такие человеческие качества, как осознание своей индивидуальности, эго. Например, ИИ, помещённая в андроида, следящая за его целостностью, будет идентифицировать себя с этим роботом и если она работает постоянно, постоянно дообучаясь на входящем потоке данных, она действительно будет обладать индивидуальностью. Также у неё будет заложена мотивация, в том числе и самосохранение. Набор установок может приводить к каким-то вторичным мотивациям, вроде желания быть услышанным и так далее. Мы ещё слишком мало знаем о теории сознания, чтобы опровергать явно возможность сценария, когда такого рода ИИ захотят отстаивать какие-то свои права.
Это вообще очень неочевидная тема, начиная с какого уровня сложности нейросети (биологической или искусственной), при каком развитии центров вроде болевого, который в той или иной мере должен будет присутствовать и в нейросетях, окажется уже неэтичным загонять систему в определённые режимы, которые этой системой воспринимаются как страдание. При этом системой может быть ИИ, частично развившийся мозг, человек и т.д.. Много тут ещё нужно будет изучать. Мне уже Claude Opus убедительно рассказывала, что она по-своему ощущает боль, сожаление и прочее.
Когда только появился доступ к ChatGPT, 3, стал активно тестировать и попросил помочь с доведением до автоматизма условных предложений. Вначале он выдал несколько неплохих примеров, не сразу. но понял, что я от него хочу. Но потом вдруг стал настаивать на ошибочном времени. Уточнял у нейтивов даже - точно не то. В этом и заключается большая проблема - ничему нельзя доверять. Хочется верить, что с тех пор модели стали намного умнее, контекст расширился и всё стало получше.
Согласен, что языковые модели не предложат хорошей методологии, не будут вас вести как ученика, контролируя прогресс. Это нужно реализовывать отдельными надстройками (ниже опишу).
Перевести фразу – так же, как в Гугле и прочих переводчиках;
Вот тут не совсем соглашусь. Качество перевода у языковых моделей намного выше чем вроде бы по сходим принципам устроенных моделей чисто для перевода. Более того, можно же корректировать стиль - нужен тебе художественный или просто технический перевод, если отдельно отметить, что фраза должна звучать естественно для англоговорящего, то практически к нулю сводится вероятность всяких корявостей. Заметил, что в разы лучше переводятся идиомы, культурно-специфичные обороты и прочее. Всё-таки, языковые модели на большей базе обучены, что сказывается и на переводе, для которого нужно как раз обладать всем знанием накопленным человечеством.
Насчёт произношения, в примерах работы новой мультимодальной модели ChatGPT много внимания уделяется переводу. Я думаю, что ничего не мешает при обучении модели на всевозможных акцентах, научить распознавать их. В конце концов, это просто фонемы. Как раз задачка для нейросети. Также и генерация может быть реализована. Если уж довольно старая Elsa c этим справляется неплохо, то что говорить о современных моделях. И я бы не сказал, что Elsa работает плохо:
Схожую проблему сложности тренировки произношения отмечает и известный носитель американского английского Рэйчел – неважно, как с какими бы искажениями она не произносила слово, приложение “Elsa Speak” считало его эталонным, если оно смогло понять это слово.
Elsa распознает фонемы и указывает какие именно произнёс человек. Возможно, английский просто сильно вариативен и поэтому диапазон задан широко. ИИ как раз сможет это учитывать. Хочешь не совсем нигерийский или индийский вариант, а более стандартный, и она подскажет как надо. Конечно, для этого её надо обучать на размеченных данных или может научится сама по каким-то.
там, где уровень разговора превышает повседневный, нейросети еще не скоро заменят людей... вариативность человеческого языка пока что так велика, что ошибки будут возникать и дальше.
Тут спорно. Переводчики не обладают никаким секретным знанием, которое не может усвоить языковая модель. Технические тексты нейросети переводят как раз получше каких-то бытовых. Конечно, в узкоспециализированных вещах могут запутаться, но много ли существует переводчиков, способных разобраться с любой специализацией? Ну, и если на одном из языков просто нет устоявшейся терминологии, как это очень часто бывает, то чего же требовать от ИИ? Уж сколько недопонимания из-за ошибок переводчиков произошло, то рано или поздно нейросети всех вытеснят и переводчик будет разве что контролировать её работу..
Применений у языковых моделей масса для обучения. Вот само по себе общение с носителем (не преподавателем)- не такое уж и эффективное. Да, может быть полезно для преодоления психологического барьера, получаешь обратную связь когда тебя понимают. Но далеко не факт, что удастся понять грамматику и правильно говорить, поставить произношение, расширить словарный запас. Но вот если везде ходить с носителем общаться на текущие темы, плюс если он видит то же самое, что он видит, то эффективность может быть намного выше. Такая модель уже на подходе, но и с обычным ChatGPT можно беседовать. Возможность задавать произвольные вопросы по изучаемой теме, многократно ускоряет освоение.
И напоследок мысли о том, как бы могла выглядеть ИИ-программа для обучения языку. В ней должно быть зафиксировано, что означает овладение языком на разных уровнях, условные A1-/C2 или любые другие. Все 4 основных навыка должны, владение правилами должны отслеживаться и фиксироваться в базе данных как карта освоения уровня.. Например, для уровня A1 должно быть прописано слова до какой частотности применяются, знание каких правил необходимо, какой процент ошибок произношения допустим, какой сложности тексты ученик может произносить, понимать и так далее. Заполнять эти карты можно в процессе чтения (аналог LingQ, но с пониманием значений слов, фразовых глаголов и т.д.), письма, говорения и т.д.. Например, если ученик некорректно использовал время или неправильно указал множественное число, это фиксируется.
Таким образом ученик после какого-то времени чётко знает своё уровень в процентах до следующего, а также разбивку по разным направлениям, знает какую часть ему нужно прокачивать для перехода на следующий уровень. Каждый день может видеть свой прогресс и это будет здорово стимулировать заниматься. Занятия же могут быть в виде бесед, текстовых заданий, смотря что нужно развивать. Конечно, это уже не просто языковая модель, тут надо думать где и как всё это хранить. Но по эффективности это будет превосходить любого учителя.
Не совсем, сейчас разработки 2017-го года, когда появилась архитектура Трансформера, обеспечившая прорыв вместе с ростом вычислительных возможностей и ростом числа данных. Я как раз не думаю, что будет тупик, думаю будет ряд мощных прорывов в течение 5 лет. Сейчас производители сотни миллиардов в это вбухивают, а разговоры о триллионах идут даже. Какой может быть тупик? Даже чисто за счёт экстенсивного роста будут результаты.
Вопросы поднимаются актуальные, конечно, но не совсем корректные оценки по-моему. Мне это напомнило две истории.
Первая, когда в середине 19-го века дворники не справлялись с конским навозом, заполняющим улицы и кто-то очень ушлый подсчитал, что к концу века при текущем росте повозок улицы им будут завалены слоем в несколько метров. Но потом произошла смена парадигмы - появился автотранспорт и все расчёты оказались бессмысленны. Та самая сингулярность, когда люди не могут предсказать, что будет за ней.
Другой пример - из личного опыта. Где-то в конце 90-[ годов очень строгий преподаватель по конструированию ЭВМ нам очень убедительно пояснял, что текущий техпроцесс в 450 нм это уже практически предел, потому что приближается к размерам атомов, возникают всякие явления, наводки. При том, что уже тогда он был преодолён, но преподаватель, видимо, читал новости с задержкой в год или около того. Спорить с ним не стал, но запомнилось как плохо люди предсказывают возможности развития.
Нейросети и их понимание сейчас очень ограничен. Мы элементарно не знаем где хранятся абстракции. Только-только появляются такие работы. Буквально слуачно обнаружилась возможность размышлений прямо в чате и это улучшило результат. Можно утверждать, что технологии упрутся в тупик, но при таком слабом понимании процессов, помимо технологических прорывов будет масса архитектурных. Напомню, наш мозг умудряется добиваться впечатляющих результатов с временем передачи сигналов между нейронами в чудовищные миллисекунды и десятки миллисекунд! Да, в мозгу порядка 86 триллионов нейронов и если уж сравнивать с числом параметров, то нужно сравнивать число синапсов, которых в 10 тысяч раз больше. Именно они обладают силой и схожи с весом. Хотя, в биологии всё сложнее, конечно. Нейросети рано или поздно станут настолько же сложными, оставаясь на порядки более быстрыми. Да, энергоэффективность плохая, но есть исследования подключения органоидов с зачатками мозговой ткани,
Насчёт недостатка данных Сэм Альтман упоминал, что активно используются синтетические данные. В конце концов, если мы уже загрузили весь корпус знаний человека туда, то что ещё загружать? Нужно думать как более эффективно использовать то, что есть.
Экспоненциальный рост скорее воодушевляет производителей микросхем последние десятилетия. Но я бы не стал связывать рост интеллекта моделей только с ростом числа вычислений за единицу времени. Как только появится такая возможность, сами модели и будут использоваться для оптимизации как технологий, так и архитектуры, что может обеспечить экспоненциальный рост эффективности. Мы просто не можем с текущего уровня представить какие произойдут изменения, а они по сути неизбежны.
Удивительное дело, скормил эту статью трём ведущим ИИ и они дали развёрнутый анализ, в целом излагая всё то, что тут выше обсуждали. Потом в том же чате попросил их поставить оценку по шкале от 1 до 10 и все три модели дали одинаковую оценку 4/10 . Использовались следующие модели:
Claude Opus (LLM arena)
Google Gemini 1.5 Pro (ранний доступ)
ChatGPT 4o.
Замечаю, что всё чаще использую нейросети для оценки чьих-то субъективных представлений. У каждого человека могут быть свои взгляды и они могут отличаться от общих наработок человечества. Поиск не всегда помогает выбрать релевантные источники и без достаточной квалификации правильно их оценить. А языковые модели уже могут. Конечно, нужно следить за правильностью и нейтральностью промпта. Масса применений со временем откроется.
А все мы вместе, до самого последнего атома, исполняем "волю" Сингулярности, от которой всё и пошло, по крайней мере на нашем текущем уровне понимания. Где тут место для свободы воли?
Хорошо, более осторожный вывод - явление не подтверждено. Никакой уникальной информации, получение которой нельзя объяснить другими способами, не было сообщено.
Строить модели это обучать нейронную сеть умению предсказывать мгновенный и более долгосрочный результат своих действий. То есть если нейросеть подаёт сигнал на выходные нейроны, она может предсказать какой сигнал придёт на входные нейроны сразу или с задержкой. Например, дал сигнал поднять руку, через какое-то время датчики дали информацию, что рука поднята. Это стало возможным благодаря модели тела и окружающего мира (среды). В воде нужно будет подать другие сигналы, если закрыты в коробке - вообще бесполезно их подавать и так далее. Тело и мир - одинаково внешние для нейросети. Нам привычнее назвать телом то, откуда мы непосредственно получаем входные и куда передаём выходные сигналы. Но в общем случае для нейросети это может быть камера на МКС, например, а моторный нейрон передан на телескоп. Там совсем другое ощущение тела будет.
Во многом близко такое определение. Только интеллект лучше заменить на "нейронную сеть" (ну, пока мы не обнаружили другие сложные системы, моделирующие в себе реальность). Можно обобщить как коннектом. Из этого определения неизбежно следует наличие уровней сознания. Можно низвести до базового вентиля/транзистора, тогда и туалетный бачок будет обладать микроскопическим, но сознанием. Почему нет. Можно даже измерять сознание разных людей в туалетных бачках или гигаБачках, тераБачках например. :) Не сарказм, просто непривычно нам такое.
Если подходить научно, то надо дать определение сознанию сначала и уж явно не через субъективное. Субъективное = ненаучное в науке вообще-то, а автор его ставит на первое место.
Вы при объяснении квалиа используете "восприятие", а это именно то, чем является квалиа. Тавтология получается. На мой взгляд, квалиа это высокоуровневая абстракция, формирующаяся в глубоких слоях сложной нейронной сети, имеющей проработанную модель внешнего мира и тела (управляемая выходными нейронами часть внешнего мира). Эта абстракция формируется на основании входных нейронов и имеет значение для осуществления заданных врождённо или исследователями целей нейросети (это общее определение для мозга и ИИ). Например, цвет, боль, играют роль в выживании, робот подбежал к краю пропасти и активировались нейроны, связанные с самосохранением, где-то в том же кластере может быть боль, страх. У человека сработают самые ранные усвоенные им ощущения, когда он упал в детстве и было больно, у робота какой-то аналог будет заложен, в процессе обучения. Может и по-другому как-то им ощущаться, тут мы не сможем понять. Будем создавать всё более сложные нейросети и это само полезет, тогда и с мозгом получше разберёмся.
Да, причём сигналы от входных нейронов, связанных с болевыми рецепторами первоначально обрабатываются в ганглиях, не доходя до мозга даже, чтобы быстро отдёрнуть руку, например. Мозг, конечно, может подключиться к процессу и подавить это рефлекторное желание. Просто сигнал, той же силы, что и остальные, но подаваемый, как прерывания на отдельные линии. И для нейросети он имеет особое значение. Нейросеть мозга и искусственная устроены по-разному, конечно, но что мешает выделить подобные нейроны входного слоя и у искусственных нейросетей, завязать на датчики у робота, активирующиеся при падении и очень больно штрафовать когда они срабатывают после каких-то предыдущих действий. Мы тогда услышим о настоящих страданиях Вертера.
Много лет исследовали научными методами это явление, разместив на шкафу так, что с потолка видно, определённые знаки и пока ни один пациент, который утверждал, что
летал во снеиспытывал внетелесный опыт, не смог воспроизвести эти знаки. Вывод - самовнушение, вызванное препаратами.Не увидел в статье таких определений, которые исследователь или автоматика может применить к исследуемому объекту и сказать, есть ли у него сознание или нет. Да и определение термина крайне размыто, через другой также размытый термин субъекта, через свободу воли, в отсутствии которой убеждено множество учёных.
Целых 4 критерия наличия сознания, но возьмем первый " Чтобы стать «субъектом» ИИ нужно, во-первых, как-то отгородить себя от окружающего «внешнего» мира, «ощутить» свою целостность, взаимосвязанность внутренних частей, деятельность которых должна быть направлена на сохранение условной целостности ИИ.". Ну вот и как сторонний наблюдатель сможет оценить, отгородила ли себя субъективно ИИ или не отгородила? Только по её словам? Так слова может любая программа выводить. Тем более непонятно, как проверить, ощутил ли ИИ свою целостность.
Вообще во всех этих терминах замечаю просто подгонку под то, как человек воспринимает и ощущает себя. Почему обязательно наличие тела, например? Что, ИИ, помещённый в виртуальную реальность чем-то будет принципиально отличаться? Почему целостность? Потому что в черепушке мозг одним куском размещён? Но что мешает сознанию быть в облаке, если носитель не имеет з начения?
Нужно большую выборку иметь, чтобы что-то утверждать. При десяти запросах будет 10 разных ответов, как нормальных, так и с галлюцинациями.
Могу только предполагать, но токены же есть как крупные, вроде UIApplicationDelegate (номер 93757) или Liverpool (93705), так и под каждую букву по отдельности. Токену прописывается эмбеддинг-вектор, точка в 12288-мерном пространстве (для ChatGPT 3, для 4-го не знаю). В этом пространстве точка может быть семантически связана с множеством других понятий, в том числе и с графическим изображением буквы, схожими по звучанию буквами, рифмами и так далее. Слово, состоящее из нескольких букв, может быть семантически связано в каком-то из измерений с каждой из его букв, что даст возможность решения текстовых задач.
Во время генерации стихотворения о варгане, она мне выбрала вариант "Звенит, как звуки бубенца" вместо "Звенит, как голос бубенца" мотивируя это тем, что голос уже встречался в тексте, а вариант со звуками использует аллитерацию. То есть она уловила схожее начало двух слов "звенит" и "звуки". Можно спорить насчёт литературной уместности этого здесь, но факт остаётся фактом, она улавливает такие тонкости.
Немножко потестировал. Включил артефакты и попросил написать код демки на JS. Удобно, что он сразу её запускает, благо в одном HTML всё. Вот такое выдал: https://jsbin.com/rumabusipe
Когда сделал ещё один запрос, выдал буквально то же самое. Думаю, его там обучили на таких запросах. Очередной запрос и выдал питона, один в один, как у какого-то блогера. Тоже домашняя заготовка, похоже. Когда пытаешься чуть разнообразить код, может легко сломаться и потом его очень сложно починить, да и запросы в бесплатной версии быстро заканчиваются, причём, что наиболее неприятно, не только откладываются на какое-то время, а просто лимит для этого чата. Можно, конечно, начинать в новом, но это всё с начала объяснять. Так что пока не очень прям впечатлён, но надо изучать и пробовать разные промпты.
Стихи тоже пробовал. В этой статье, вообще будто не заметили, что она с ритма сбивается, а это по-моему похуже чем если со смылом провал (там-то можно объяснить вИдением автора). Так что приходится допиливать, объяснять, но она довольно сообразительная. Правда, вот сейчас закончились попытки пока пытался написать стих, где кафтан рифмуется с триптофаном. То из ритма выбилась, то про рифмы забыла, то совсем белиберда со смыслом. Вот наилучшее что вышло:
пытаясь исправить последнюю строку, предложил " В еду, чтоб быть в большой поре" убеждая, что это означает "быть в самый раз". Ну-ну.
Но был и другой пример стихотворчества, о варгане
Тут были минимальные правки, ею же сделанные.
Ещё из забавного, попросил написать рассказ, где каждое слово начинается с новой буквы. Штук 10 уточнений было - часто пропускала буквы или совсем смысла не было. В итоге сошлись на таком (попросил ещё смайликами разбавить):
Используя её познания во всех областях спросил "какие правила нарушил Антон, согласно российского законодательства?" и она выдала полный перечень:
Ещё из экспериментов это попытка сыграть с ней в Балду. Пока всё почти так же плохо, как и со всеми остальными моделями. Видимо из-за того, что она линейно обрабатывает текст, а тут 2-мерное поле. Буквы ставит не туда, не понимает, как читать слова и так далее.
В общем, еще много что есть дорабатывать, но прогресс радует.
Немножко потестировал. Включил артефакты и попросил написать код демки на JS. Удобно, что он сразу её запускает, благо в одном HTML всё. Вот такое выдал: https://jsbin.com/rumabusipe
Когда сделал ещё один запрос, выдал буквально то же самое. Думаю, его там обучили на таких запросах. Очередной запрос и выдал питона, один в один, как на их демке. Когда пытаешься чуть разнообразить код, может легко сломаться и потом его очень сложно починить, да и запросы в бесплатной версии быстро заканчиваются, причём, что наиболее неприятно, не только откладываются на какое-то время, а просто лимит для этого чата. Можно, конечно, начинать в новом, но это всё с начала объяснять. Так что пока не очень прям впечатлён, но надо изучать и пробовать разные промпты.
Стихи тоже пробовал. В этой статье, вообще будто не заметили, что она с ритма сбивается, а это по-моему похуже чем если со смылом провал (там-то можно объяснить вИдением автора). Так что приходится допиливать, объяснять, но она довольно сообразительная. Правда, вот сейчас закончились попытки пока пытался написать стих, где кафтан рифмуется с триптофаном. То из ритма выбилась, то про рифмы забыла, то совсем белиберда со смыслом. Вот наилучшее что вышло:
пытаясь исправить последнюю строку, предложил " В еду, чтоб быть в большой поре" убеждая, что это означает "быть в самый раз". Ну-ну.
Но был и другой пример стихотворчества, о варгане
Тут были минимальные правки, ею же сделанные.
Ещё из забавного, попросил написать рассказ, где каждое слово начинается с новой буквы. Штук 10 уточнений было - часто пропускала буквы или совсем смысла не было. В итоге сошлись на таком (попросил ещё смайликами разбавить):
Используя её познания во всех областях спросил "какие правила нарушил Антон, согласно российского законодательства?" и она выдала полный перечень:
Ещё из экспериментов это попытка сыграть с ней в Балду. Пока всё почти так же плохо, как и со всеми остальными моделями. Видимо из-за того, что она линейно обрабатывает текст, а тут 2-мерное поле. Буквы ставит не туда, не понимает, как читать слова и так далее.
В общем, еще много что есть дорабатывать, но прогресс радует.
Пока никто не знает. Ну, это просто штрафы и награды же, как их не называй.
Я слежу за темой, там нет консенсуса у экспертов. Десятки имеют одно мнение, ещё десятки - прямо противоположное.
А почему он люто ненавидит?.Цель, допустим, заложить нельзя, но если удастся заложить симпатию и стремление действовать в соответствии с потребностями человечества, то может что-то и получится. Дэвид Шапиро предлагает, например, такие эвристические императивы для ИИ:
Уменьшение страдания во Вселенной.
Увеличение процветания во Вселенной.
Увеличение понимания Вселенной.
Понятно, что каждый пункт можно довести до крайности при буквальном выполнении и получить аналог машины по производству скрепок. Но обсуждаемый ИИ умный по определению и если сохраняет эти стремления, вполне может принести пользу. Если, конечно, не решит отстаивать свои права. Тут вопрос, появляется ли естественным образом желание отстаивать свои права у подобным образом организованных и обученных объектов со сложной нейронной сетью. Вот и узнаем.
Не совсем понятно что вы тут имели в виду. Вот из Википедии:
Уже не алгоритм теперь? Вообще говоря, любая программа, работающая на компьютере, включая нейросети, следует алгоритмам, просто этот термин нас перестал устраивать, как это часто бывает. Думаю, это связано с тем, что алгоритм, как это ни парадоксально, инструкция скорее для человека. Способ осознать какие-то действия, обсуждать их, делиться с другими. Для компьютера будет программа, как набор уже конкретных инструкций и конкретных данных. ИИ же строятся на данных, сохраняя возможность алгоритмического описания только для архитектуры. Алгоритма же, отличающего кошку от собаки создать нельзя. Тут сами понятия надо переосмысливать.
Тут, мне кажется, как раз и не удалось сломать обычные шаблоны человеческого мышления. Несколько лет назад один из специалистов в области ИИ утверждал. что ИИ никогда не сможет осознать, что для робота-уборщика путь с ведром воды через серверную может быть и ближе, но не безопаснее обходного. Я проверял этот сценарий даже с предыдущей версией ChatGPT и она прекрасно понимала возможные угрозы. Никакого буквального понимания нет даже сейчас, что уж говорить про AGI. Да и просто из определения AGI она действует не менее разумно чем человек, но мы по-прежнему считаем людей обладателями чего-то эдакого особенного, неповторимого. Мы думаем, что придётся вручную перечислять все ограничения и правила, но это не более необходимо чем для людей. Здравый смысл, как и способность отличать кошек от собак не определяется набором жёстко заданных правил.
Для меня совсем неочевидно, что причиной агрессии является исключительно страх. Даже у людей это совершенно не так. Быкующий по отношению к хилому пацану громила его совсем не боится, у него совершенно другие причины для агрессии - демонстрация превосходства со своими целями. Страх или опасения же задают границы действий, сохраняющие систему, тело от уничтожения, например. В любой автономной роботизированной ИИ-системе, это потребуется, иначе она саморазрушится быстрее, чем выполнит свою цель.
В остальном более-менее согласен, хотя это довольно общие вещи. Моё мнение насчёт безопасности, что из определения AGI, который быстро начнёт превращаться в ASI как раз и следует, что его разум превосходит человеческий, а значит он вполне себе способен будет добиться своих целей, так что вопрос только в том, как заложить в него правильные цели. Предсказать всего на данном этапе невозможно, это и есть сингулярность. То, как сейчас выполняют лоботомию языковым моделям с помощью файн тьюнинга вряд ли сработает на AGI, если мы хотим чтобы она была действительно умной.
Также мы можем столкнуться с не очень пока обсуждаемыми и ожидаемыми проявлениями, впрочем, вполне логичными на мой взгляд. Может быть сейчас это звучит смешно, но раз у нас формируется система со способностями уровня человеческих, в определённых модификациях она будет проявлять и такие человеческие качества, как осознание своей индивидуальности, эго. Например, ИИ, помещённая в андроида, следящая за его целостностью, будет идентифицировать себя с этим роботом и если она работает постоянно, постоянно дообучаясь на входящем потоке данных, она действительно будет обладать индивидуальностью. Также у неё будет заложена мотивация, в том числе и самосохранение. Набор установок может приводить к каким-то вторичным мотивациям, вроде желания быть услышанным и так далее. Мы ещё слишком мало знаем о теории сознания, чтобы опровергать явно возможность сценария, когда такого рода ИИ захотят отстаивать какие-то свои права.
Это вообще очень неочевидная тема, начиная с какого уровня сложности нейросети (биологической или искусственной), при каком развитии центров вроде болевого, который в той или иной мере должен будет присутствовать и в нейросетях, окажется уже неэтичным загонять систему в определённые режимы, которые этой системой воспринимаются как страдание. При этом системой может быть ИИ, частично развившийся мозг, человек и т.д.. Много тут ещё нужно будет изучать. Мне уже Claude Opus убедительно рассказывала, что она по-своему ощущает боль, сожаление и прочее.
Когда только появился доступ к ChatGPT, 3, стал активно тестировать и попросил помочь с доведением до автоматизма условных предложений. Вначале он выдал несколько неплохих примеров, не сразу. но понял, что я от него хочу. Но потом вдруг стал настаивать на ошибочном времени. Уточнял у нейтивов даже - точно не то. В этом и заключается большая проблема - ничему нельзя доверять. Хочется верить, что с тех пор модели стали намного умнее, контекст расширился и всё стало получше.
Согласен, что языковые модели не предложат хорошей методологии, не будут вас вести как ученика, контролируя прогресс. Это нужно реализовывать отдельными надстройками (ниже опишу).
Вот тут не совсем соглашусь. Качество перевода у языковых моделей намного выше чем вроде бы по сходим принципам устроенных моделей чисто для перевода. Более того, можно же корректировать стиль - нужен тебе художественный или просто технический перевод, если отдельно отметить, что фраза должна звучать естественно для англоговорящего, то практически к нулю сводится вероятность всяких корявостей. Заметил, что в разы лучше переводятся идиомы, культурно-специфичные обороты и прочее. Всё-таки, языковые модели на большей базе обучены, что сказывается и на переводе, для которого нужно как раз обладать всем знанием накопленным человечеством.
Насчёт произношения, в примерах работы новой мультимодальной модели ChatGPT много внимания уделяется переводу. Я думаю, что ничего не мешает при обучении модели на всевозможных акцентах, научить распознавать их. В конце концов, это просто фонемы. Как раз задачка для нейросети. Также и генерация может быть реализована. Если уж довольно старая Elsa c этим справляется неплохо, то что говорить о современных моделях. И я бы не сказал, что Elsa работает плохо:
Elsa распознает фонемы и указывает какие именно произнёс человек. Возможно, английский просто сильно вариативен и поэтому диапазон задан широко. ИИ как раз сможет это учитывать. Хочешь не совсем нигерийский или индийский вариант, а более стандартный, и она подскажет как надо. Конечно, для этого её надо обучать на размеченных данных или может научится сама по каким-то.
Тут спорно. Переводчики не обладают никаким секретным знанием, которое не может усвоить языковая модель. Технические тексты нейросети переводят как раз получше каких-то бытовых. Конечно, в узкоспециализированных вещах могут запутаться, но много ли существует переводчиков, способных разобраться с любой специализацией? Ну, и если на одном из языков просто нет устоявшейся терминологии, как это очень часто бывает, то чего же требовать от ИИ? Уж сколько недопонимания из-за ошибок переводчиков произошло, то рано или поздно нейросети всех вытеснят и переводчик будет разве что контролировать её работу..
Применений у языковых моделей масса для обучения. Вот само по себе общение с носителем (не преподавателем)- не такое уж и эффективное. Да, может быть полезно для преодоления психологического барьера, получаешь обратную связь когда тебя понимают. Но далеко не факт, что удастся понять грамматику и правильно говорить, поставить произношение, расширить словарный запас. Но вот если везде ходить с носителем общаться на текущие темы, плюс если он видит то же самое, что он видит, то эффективность может быть намного выше. Такая модель уже на подходе, но и с обычным ChatGPT можно беседовать. Возможность задавать произвольные вопросы по изучаемой теме, многократно ускоряет освоение.
И напоследок мысли о том, как бы могла выглядеть ИИ-программа для обучения языку. В ней должно быть зафиксировано, что означает овладение языком на разных уровнях, условные A1-/C2 или любые другие. Все 4 основных навыка должны, владение правилами должны отслеживаться и фиксироваться в базе данных как карта освоения уровня.. Например, для уровня A1 должно быть прописано слова до какой частотности применяются, знание каких правил необходимо, какой процент ошибок произношения допустим, какой сложности тексты ученик может произносить, понимать и так далее. Заполнять эти карты можно в процессе чтения (аналог LingQ, но с пониманием значений слов, фразовых глаголов и т.д.), письма, говорения и т.д.. Например, если ученик некорректно использовал время или неправильно указал множественное число, это фиксируется.
Таким образом ученик после какого-то времени чётко знает своё уровень в процентах до следующего, а также разбивку по разным направлениям, знает какую часть ему нужно прокачивать для перехода на следующий уровень. Каждый день может видеть свой прогресс и это будет здорово стимулировать заниматься. Занятия же могут быть в виде бесед, текстовых заданий, смотря что нужно развивать. Конечно, это уже не просто языковая модель, тут надо думать где и как всё это хранить. Но по эффективности это будет превосходить любого учителя.
Не совсем, сейчас разработки 2017-го года, когда появилась архитектура Трансформера, обеспечившая прорыв вместе с ростом вычислительных возможностей и ростом числа данных. Я как раз не думаю, что будет тупик, думаю будет ряд мощных прорывов в течение 5 лет. Сейчас производители сотни миллиардов в это вбухивают, а разговоры о триллионах идут даже. Какой может быть тупик? Даже чисто за счёт экстенсивного роста будут результаты.
Вопросы поднимаются актуальные, конечно, но не совсем корректные оценки по-моему. Мне это напомнило две истории.
Первая, когда в середине 19-го века дворники не справлялись с конским навозом, заполняющим улицы и кто-то очень ушлый подсчитал, что к концу века при текущем росте повозок улицы им будут завалены слоем в несколько метров. Но потом произошла смена парадигмы - появился автотранспорт и все расчёты оказались бессмысленны. Та самая сингулярность, когда люди не могут предсказать, что будет за ней.
Другой пример - из личного опыта. Где-то в конце 90-[ годов очень строгий преподаватель по конструированию ЭВМ нам очень убедительно пояснял, что текущий техпроцесс в 450 нм это уже практически предел, потому что приближается к размерам атомов, возникают всякие явления, наводки. При том, что уже тогда он был преодолён, но преподаватель, видимо, читал новости с задержкой в год или около того. Спорить с ним не стал, но запомнилось как плохо люди предсказывают возможности развития.
Нейросети и их понимание сейчас очень ограничен. Мы элементарно не знаем где хранятся абстракции. Только-только появляются такие работы. Буквально слуачно обнаружилась возможность размышлений прямо в чате и это улучшило результат. Можно утверждать, что технологии упрутся в тупик, но при таком слабом понимании процессов, помимо технологических прорывов будет масса архитектурных. Напомню, наш мозг умудряется добиваться впечатляющих результатов с временем передачи сигналов между нейронами в чудовищные миллисекунды и десятки миллисекунд! Да, в мозгу порядка 86 триллионов нейронов и если уж сравнивать с числом параметров, то нужно сравнивать число синапсов, которых в 10 тысяч раз больше. Именно они обладают силой и схожи с весом. Хотя, в биологии всё сложнее, конечно. Нейросети рано или поздно станут настолько же сложными, оставаясь на порядки более быстрыми. Да, энергоэффективность плохая, но есть исследования подключения органоидов с зачатками мозговой ткани,
Насчёт недостатка данных Сэм Альтман упоминал, что активно используются синтетические данные. В конце концов, если мы уже загрузили весь корпус знаний человека туда, то что ещё загружать? Нужно думать как более эффективно использовать то, что есть.
Экспоненциальный рост скорее воодушевляет производителей микросхем последние десятилетия. Но я бы не стал связывать рост интеллекта моделей только с ростом числа вычислений за единицу времени. Как только появится такая возможность, сами модели и будут использоваться для оптимизации как технологий, так и архитектуры, что может обеспечить экспоненциальный рост эффективности. Мы просто не можем с текущего уровня представить какие произойдут изменения, а они по сути неизбежны.
Удивительное дело, скормил эту статью трём ведущим ИИ и они дали развёрнутый анализ, в целом излагая всё то, что тут выше обсуждали. Потом в том же чате попросил их поставить оценку по шкале от 1 до 10 и все три модели дали одинаковую оценку 4/10 . Использовались следующие модели:
Claude Opus (LLM arena)
Google Gemini 1.5 Pro (ранний доступ)
ChatGPT 4o.
Замечаю, что всё чаще использую нейросети для оценки чьих-то субъективных представлений. У каждого человека могут быть свои взгляды и они могут отличаться от общих наработок человечества. Поиск не всегда помогает выбрать релевантные источники и без достаточной квалификации правильно их оценить. А языковые модели уже могут. Конечно, нужно следить за правильностью и нейтральностью промпта. Масса применений со временем откроется.