Comments 229
Спасибо за толковый текст, написанный Автором, а не ботом.
Белый кот и негр - запросто а вот белый и черны коты - почему-то всегда получаются два пятнистых черрно-белых кота!
.
Вот как раз для таких случаев в генеративных ИИ и делают язык запросов и разметку, позволяющие явным образом уточнить, что хочет получить автор. «Hot dog» рисует сосиску в тесте, «hot:: dog» — перегревшуюся собаку.
У Кандинского же и разметки нет, и синтаксис обычной речи он понимает откровенно плохо.
Вообще, когда я готовил материал, я попросил Андрея (который https://t.me/neuralnetworkcats) сделать мне иллюстраций и в Кандинском тоже, в предположении, что у профессионала получится лучше. Результат — задолбались бороться со Святым Рандомом мы с ним одновременно, продуктивность тоже получилась одинаковая, выше в тексте из трёх картинок Кандинского две мои, одна его.
В Midjourney при этом даже приблизиться к результатам Андрея я вряд ли смогу.
Негра не стал добавлять, раз вопрос был про двух котов
Промт
two cats::7 white cat::3 black cat::7 --v 5
Как я вижу, основная проблема в том, что пытаются приспособить языковую модель для решения человеческих задач. Получается у кого чуть лучше, у кого чуть хуже, но в целом не очень. Но стоит только сменить парадигму, начать решать НЕчеловеческие задачи и результаты сразу станут другими.
Поясню, что имею ввиду. Нарисовать картинку - это человеческая задача. А обработать миллион записей в таблице продаж и выдать нужный ответ - нечеловеческая. Вот для решения второй и следует использовать большие языковые модели. Большие языковые модели строят мостик, нет, не мостик, а большой, добротный мост над пропастью, которая отделяет обычного человека от:
SELECT ... FROM ... WHERE ... IN ( SELECT...
Обычный человек обычными словами говорит:
"Мне нужен список клиентов, по которым не было продаж в этом году, но раньше были"
и вуаля! вот он этот список!
Поэтому с картинками еще какое-то время побалуются, да и забудут. А новые способы работы с базами данных с нами уже навсегда
а если даст "select *" ?
Ну так это нормальный запрос. Отработает
Всенепременно даст!
А что вы делали, когда сами ручками запускали "select *" ? Предположу, что отменяли запрос, уточняли список столбцов, ставили ограничение на top 1000...
Так и тут. Эта штука - не панацея. Но она позволит людям, не особо умеющим в sql, по-быстрому накидать запрос. Который получится не с первого раза (а может, даже не с десятого), будет тормозить, но худо-бедно даст человеку результат.
Те же, ктл в SQL умеют, так и будут писать запросы ручками. Ну разве что, будут использовать более продвинутый autocomplete
А потом оказывается, что треть клиентов в этом списке ИИ придумал сам, а не взял из базы. Потому что галлюцинации.
Нет, пока проблема галлюцинаций не будет минимизирована до приемлемого уровня (а решена полностью без перехода к SAI она и вовсе не будет), AGI в качестве экспертных систем — рискованное решение.
Не, вы не поняли суть предложения.
Если ИИ использовать только для построения запроса, а потом этот запрос запускать по базе, то никаких выдуманных данных в выдачу не может попасть.
Тут проблема в другом — это будет работать только для простых и типовых ситуаций. В любых нетипичных ситуациях чтобы только правильно сформулировать задачу, человеку нужно будет ясно понимать структуру данных в базе и механику построения запроса к БД. И если человеку всё равно приходится вникать в такие тонкости, то ему и сам запрос удобнее и надёжнее будет описать на точном и формальном языке БД, а не на человеческом языке.
Выдуманными будут данные (параметры, команды, etc) внутри запроса. То есть, запрос будет отрабатывать попросту не так, как вы попросили, и не так, как утверждает сам ИИ.
Этот эффект есть, в статье «Sparks of AGI» его авторы обсуждали — когда ИИ не просто галлюцинирует, но у него ещё и неконсистентны ответ и пояснение к этому ответу.
И даже сложность вопроса не имеет ключевого значения, вон выше GPT-3.5 залихватски врёт про американских президентов.
По опыту знакомых, если ему на входе описать структуру, типы колонок и т.п. - несуществующие колонки или таблицы он почти никогда не выдумывает.
Пишете что-то типа: у меня есть вот такие таблицы. Например, Остатки(Товар, Склад, Количество) Продажи (Товар, Склад, Контрагент, Количество, Сумма) и т.п.
Задаете 10-20 вопросов. И смотрите сколько чего было выдумано.
Я вам могу сразу сказать. "Выдумок" будет 0%. Но вы не обязаны мне верить. Вы можете потратить 10 минут и проверить. Только волшебное слово SELECT не забывайте добавлять
"Выдумок" будет 0%. Да, верю. Но это 10-20 запросов, да? И проверка на всякий случай. А как я проверю - правильно, гляну код SQL запроса, который сам бы написал бы за 2 минуты.
В первую очередь это нужно тем, кто не знает SQL. Но и тем, кто знает, тоже пригодится. Кучу времени экономит
Потом всё равно попадётесь в то, что сначала вроде было адекватно, а потом контекст выродился, извините. Я так попытался сгенерить круд с нуля ради интереса, на моменте реализации сервисов и моделей, гпт4 уже забыл что сам напланировал в начале нашего чата и просто лепил копипаст предыдущих сервисов с переименованиями. Короче в результате ему можно отдать только небольшую мелочь, для всего остального именно ChatGPT приспособлен плохо. Тут нужен хитрый алгоритм который бы превращал "сделай мне красиво" во множество запросов, контекстов, ответов, собирал бы в это одно и т.п. Короче новые рабочие места, для "программистов, которых чатГПТ оставил без работы".
У людей большинство вопросов простые:
Что лучше всего продается в этом году
Сколько клиентов мы потеряли с начала года
Сколько получили новых клиентов с начала месяца
Сколько на складе этого товара
Какая прибыль по вот этому товару в прошлом месяце и т.д.
Все эти вопросы языковая модель легко "переваривает"
Вы рассуждаете абстрактно. Будет работать, не будет...
А я опираюсь на конкретные кейсы. Вот, к примеру, модель можно попросить сделать т.н. "срез последних". Я точно знаю, что большинство специалистов 1С вот так навскидку это не сделают. А некоторые не сделают вовсе, несмотря на наличие гугла.
Нейросеть же вам выдаст результат в 5 секунд.
Конечно, все это еще в стадии становления. Но вот у меня уже работает сервис преобразования естественного языка в SQL. И я уже по первым результатам могу сказать, что как раз в сложных случаях нейросеть полезнее, чем в простых.
Особенная прелесть в том, что к результату можно идти в диалоге. Написал: "нужны клиенты, у которых не было продаж в этом году". Посмотрел на результат, понял свою ошибку, дописал "но раньше были". Вопрос не надо формулировать всякий раз сначала
Послушайте, вы противоречите сами себе. Сообщением выше вы указали, что нужно «задать 10-20» вопросов прежде чем получить результат. Где тут «5 секунд на ответ»?
В чем тут преимущество перед «я обращусь к DBA из соседней команды, он напишет запрос за 5-10 минут и выдаст мне результаты табличкой, либо файлом csv, либо дашбордом в датабрикс?
SQL запросы не дают галлюцинаций
Там будет веселе, вам просто нейросетка перепутает к примеру join'ы(left с right) и даже в пояснении напишет что всё окей, сказав что работает как просили. А если у вас там 10 джоинов и пара гроуп баев, то что бы вы этой мешанине разобраться времени потребуется больше чем написать с нуля.
Вы пробовали, чтобы так говорить? В чем, в чем а в джойнах модель не путается. Собственно в этом ее основное преимущество. Человек может проявить невнимательность, прекрасно владея при этом самим инструментом. У модели с внимательностью все в порядке
А вы? Пробовал на js и с#. ChatGPT придумывает функции и библиотеки, которых нет. Несколько раз врала с назначением используемых функций. Часто код вообще не компилируется. И это в задачках на две печатные странички кода. При этом код почти всегда как будто брала ответ со стэковерфлоу с несамым лучшим рейтингом. Разобрать это потом квест часто сложнее чем писать с нуля.
А что мешает поставить на выход еще и сетку фактчекер? Или логический чекер? Или компилятор? Грубо говоря, пусть крутится пока не выдаст нечто непротиворечивое и компилируемое.
Обычный человек обычными словами говорит:
«Мне нужен список клиентов, по которым не было продаж в этом году, но раньше были»
И для простых селектов это будет отлично работать. Для более сложных — только если человек хорошо представляет себе структуру данных в базе и нюансы построения запросов.
Я несколько лет назад работал в сети медицинских центров. И от бизнеса пришёл запрос реализовать построение отчёта в котором будет такая вещь как «средний чек по отделению». На все просьбы уточнить, что имеется в виду, бизнес отвечал: «Ну вы же знаете, что такое средний чек? Вот просто сделайте его в разрезе отделений». Заказчик сердился, что мы не понимаем такой простой вещи и тянем с выполнением задачи.
В итоге ИТ-директор усадил коммерческого директора за стол, обрисовал ему несколько типовых и краевых кейсов, и спросил — вот конкретно в этих ситуациях что именно вы ожидаете от «среднего чека в разрезе по отделениям». Коммерческий директор сказал, что он это обдумает и ответит чуть позже.
И больше с этой темой к нам никто не приходил.
И ведь до этого бизнес был истово уверен, что понимает, что конкретно он хочет.
А если бы с этим они обратились к нейросети, и она им какой-то отчёт по такому запросу построила бы? И люди бы потом по данным этого отчёта принимали бы какие-то управленческие решения.
Вы напрасно гордитесь тем, что технично "отфутболили" коллег. Вот как мы хорошо сделали! Они не принимают решения на основе данных, которые мы считаем неправильными. Они принимают решения вслепую. На основе никаких данных. Это же, конечно, лучше. Нам за это премию надо попросить.
Вот, кстати, еще один веский аргумент за применение нейросетей. У них нет желания показать всем, какие они умные и какие все вокруг дураки. Они просто делают то, о чем их попросят.
Спасибо вам за чудесный кейс!
Вы невнимательно прочитали мой комментарий.
Речь шла про то, что бизнес просто механически комбинируя концепции "средний чек" и "показатель в разрезе отделения" придумали химерический показатель, который не демонстрирует ничего реального. А наш ИТ-директор вместо того, чтобы взять и тупо реализовать имеющееся ТЗ как оно есть, потратил своё время, чтобы подробно показать бизнесу, как этот показатель будет себя вести в разных бизнес-кейсах.
После чего бизнес сам понял, что такой показатель им не нужен.
PS: Если что — минус вам поставил не я, у меня нет возможности голосовать за комментарии.
Я внимательно прочел ваш комментарий. Кроме того, у меня есть несколько десятков лет опыта в этой области. Я прекрасно понимаю, что посчитать показатель можно действительно по-разному. И результат будет немного разный. Но во всех вариантах это будет лучше, чем ничего. Хотите дальше поспорить, тогда вспоминайте конкретику. Что именно там было
Хотите дальше поспорить
Это вы хотите дальше поспорить, у меня такого намерения вообще не было.
Ещё раз повторяю: коллег со стороны бизнеса мы не отфутболивали. Мы обрисовали им как будет себя вести этот показатель на разных бизнес-кейсах, и спросили — точно ли они хотят именно этого. После чего коллеги взяли тайм-аут на подумать, и больше к этому вопросу уже сами не возвращались.
По-вашему, ложный показатель лучше, чем его отсутствие?
Нету объективной истины или лжи. Каждый сам для себя решает этот вопрос. Истина и ложь находятся в области субъективного. А вот информация объективна. Она либо есть, либо ее нет. Люди попросили дать информацию, им сказали: фиг вам. Вот объективная сторона этой истории.
И это, кстати, очень хороший кейс. Вместо того, чтобы размышлять абстрактно, лучше объясните на пальцах, что такого плохого случилось бы, если бы кто-то получил информацию о среднем чеке по подразделению?
Нету объективной истины или лжи.
Где её нету? В логике и информатике они очень даже есть. И субъективное мнение тут не при чём.
Люди попросили дать информацию, им сказали: фиг вам. Вот объективная сторона этой истории.
Это как раз субъективная сторона информации. С точки зрения информатики, она как раз субъективна, то есть имеет разные значения в разных контекстах. Вот данные - объективны.
И вообще, человеческий язык не достаточно точен для полной замены языков программирования (и запросов в том числе), так как у одних и тех же слов, как правило, несколько значений. Иначе бы законы не были такими сложными и запутанными, как мне кажется. Вот даже по этой ветке видно, что у вас и других комментаторов эти значения различаются и вы не можете понять друг друга.
Никто никого не заменяет. Естественный язык сам по себе, язык запросов тоже. Нейросеть просто строит мостик между ними
Для этого надо хорошо понимать оба языка. С чем у неё пока явные проблемы. Но из ваших комментариев я понял, что вы используете естественный язык и ИИ для составления запросов, вместо SQL.
Я использую ИИ для превращения запроса на естественном языке в запрос на языке SQL. Не "вместо", а "вместе" с SQL/
Как раз с пониманием у ИИ никаких проблем
«Ну вы же знаете, что такое средний чек? Вот просто сделайте его в разрезе отделений»
Так вот откуда была сделана эта зарисовка!
— И я еще не понял… Что вы имели в виду, когда говорили о линиях прозрачного цвета?
Морковьева смотрит на него снисходительно, как добрая учительница на отстающего ученика.
— Ну, как вам объяснить?.. Петров, вы разве не знаете, что такое «прозрачный»?
— Знаю.
— И что такое «красная линия», надеюсь, вам тоже не надо объяснять?
— Нет, не надо.
— Ну вот. Вы нарисуйте нам красные линии прозрачным цветом.
Поэтому с картинками еще какое-то время побалуются, да и забудут. А новые способы работы с базами данных с нами уже навсегда
Рискну предположить, что как раз наоборот. Для работы с базами нужен базовик, который имеет ввиду 100500 технических и нетехнических параметров и может построить запрос учитывающий их все в правильной ситуации.
А вот рисование картинок по запросу — это смена инструментария. Раньше рисовали угольком по камню, потом порошком по мокрой штукатурке, ещё вчера — карандашом или стилусом на вакоме, а сегодня уже запросами к мижорни и кандинскому.
Может быть и так. Но я все же думаю, что забросят это дело.
Помните, сколько было криков еще совсем недавно на тему того, что теперь образование оказалось в тупике? А потом все резко прекратилось. А все потому, что преподаватели прочли не 1-2 работы от ChatGPT, а 22. А на 23-ей они уже стали отличать их в полсекунды. Можно сдать преподавателю работу от ChatGPT, но это все равно, что сдать "чистый лист бумаги". Так и с картинками (а также рассказами и повестями) рано или поздно будет. Люди научатся их отличать. Только не спрашивайте как
Вы уверены, что в случае, например, этой картинки уверенно отличите нарисованное в Midjourney от нарисованного в Фотошопе? И главное, с какой целью вы отличать-то это будете?
Поставим вопрос по другому. С какой целью люди смотрят картинки?
Вам все перечислить? Там страница А4 мелким текстом будет, и хорошо если одна.
Ну вы суммируйте. Можно с помощью сами знаете чего
У меня примерно нулевое желание играть с вами в бессмывсленные игры «а вот давайте вы мне тут наформулируете чего-нибудь непонятно зачем».
Есть желание сформулировать, почему кому-то не всё равно, каким инструментом пользуется автор картинки — вперёд. И сразу тогда уточните, какие ещё инструменты рисования люди забросят, пройдут ли весь путь назад к наскальной живописи, или остановятся на чём-то.
Хорошо. Люди смотрят на картинки, чтобы получить эмоции (ну бывают еще учебные пособия, но мы их отставим). От картинок, созданных нейросетью, люди эмоций не получат. Или получат примерно в той же пропорции, в какой соотносятся усилия потраченные на создание картинки с нейросетью и без нейросети.
"От картинок, созданных нейросетью, люди эмоций не получат". Заблуждение. У нейроарта множество поклонников. Или это неправильные люди, и они получают неправильные эмоции?
Люди смотрят на картинки, чтобы получить эмоции
а) Это лишь первая строчка на листе A4.
Открываем ваши собственные статьи, там чаще есть заглавная картинка, чем нет, и это не картинка из текста учебного пособия, это именно художественная иллюстрация — вы всерьёз считаете, что вот от этого люди получают эмоции? Если нет, то зачем вы их ставите в статьи?
б) Всё то же самое в предыдущие десятилетия говорили про всё, сделанное на компьютере. «Никогда не заменит настоящего фотографа/художника/писателя/etc». Ничего, оказывается, вполне себе заменяет, и компьютерные спецэффекты в «Звёздных войнах» выглядят существенно лучше, чем картонно-макетные.
Разница между рефератами и картинками в том, что мне, как потребителю совершенно всё-равно, как именно нарисована картинка. Главное чтоб красиво было. Если художник лучше делает руками, пусть делает руками. Если кандинским — пусть будет так.
Вот. Правильный подход. Именно поэтому я и говорю, что забросят скоро. Кандинским некрасиво
midjourney как по мне уже выдает результаты куда более приятные чем 95% людей художников.
В нейросетевом арте наблюдается интересное явление, которое я назвал "волнами стиля". Как только удаётся нащупать интересный стиль, который нравится большому числу зрителей, все начинают генерировать тонны арта именно в этом стиле. В итоге он приедается, и уже буквально через пару недель зрители блюют ровно от того, чем ещё недавно восторгались - просто потому, что вокруг 100500 генераций в таком стиле, и всё это выглядит конвейерной штамповкой.
Соответственно, операторы нейронок начинают экспериментировать с новыми стилями и очень скоро нащупывают новую точку фокуса... Чтобы через пару недель всё забилось уже артом в этой новой стилистике, и зрители опять начали от блевать от нейроарта.
С живыми художниками такого не происходит, потому что они не способны настолько быстро подстраиваться под тот или иной стиль, равно как и не могут быстро выплюнуть море картинок в новом стиле.
В итоге восприятие "живых" работ более стабильно - зритель точно знает, что такой стиль не начнут массово копировать, и он вряд ли приестся.
Возможно вы слишком плотно в этой среде крутитесь. Мне как обычному обывателю что лишь изредка на эти картинки посматривает (а чаще видит в качестве иллюстраций/обложек к книгам на самиздате) — никакие волны не видны и ничего не раздражает) Реально качество иллюстраций и обложек если про бесплатные/непопулярные книги говорить повысилось.
О каком именно "нейросетевом арте" речь? Например, способы работы с Midjourney и Stable Diffusion разнятся принципиально. Если в с случае с Midjourney пользователю доступен только Prompt Engineering, то для Stable Diffusion постоянно создаются новые модели, а также расширения, каждое из которых революционно. Благодаря тесной коммуникации в AI-Art сообществе, все эти новинки тут же начинают применяться массово. Едва ли не каждую неделю возникает новая фича, и люди спешат её опробовать. И это отнюдь не "волны нащупанного стиля".
Это пока. Во-первых, большинство таких работ, как и изрядная часть обсуждений ChatGPT вообще, всё-таки связаны с версией 3.5. А четвёрка значительно "умнее". Во-вторых, люди уже выяснили, что ChatGPT сам неплохо умеет улучшать тексты, делая их более "человеческими", если его специально попросить.
SELECT, FROM, WHERE, IN это довольно обычные слова, я бы даже сказал высокочастотные
Создатели SQL тоже так думали. Но вышло немного иначе Обычный человек не может писать на SQL. Ему потребуется длительная подготовка с негарантированным результатом
Да просто их учат не правильно. В реальности базовое умение sql с inner join,не сложнее, чем эксель с формулами типа sum
Не сложнее. Но, тем не менее. Не хотят люди учить SQL. Вот не хотят, и все. Уже полвека прошло с тех пор, как он появился. Все методы опробованы. Я в свое время сам очень удивлялся, почему люди не желают осваивать относительно простой инструмент, который при этом дает столько возможностей. А теперь понял, что люди были правы. Зачем тратить хоть одну секунду на изучение SQL, если можно просто по человечески задать вопрос и получить результат
Чуть ли не впервые за последнее время с превеликим удовольствием читаю статью про искусственный интеллект:
- SAI — Strong Artificial Intelligence — ИИ, обладающий сознанием, то есть полностью разумный во всех смыслах этого слова.
На данный момент мы не только не достигли этого уровня, но даже приблизительно не представляем, как его достичь. Впрочем, подробнее об этом — и о том, почему ни один из существующих ИИ нельзя считать разумным даже на уровне «зачатков разума» — поговорим ниже.
Как это коррелирует с цитатой из романа "Архимист":
Галдеж о нейросетях, якобы стоящих в авангарде развития так
называемого искусственного интеллекта, вызывает недоумение. Если
нейросеть — это программа, написанная человеком для решения конкретной
задачи, то о каком искусственном интеллекте может идти речь? Если мы не
понимаем, как устроен естественный интеллект, то как мы можем говорить
что-то об искусственном? Однако вдаваться в научные дискуссии об
искусственном интеллекте считаю излишним.
А приведённые определения просто ставят всё на своё место.
Естественный интеллект уже понимаем. И даже кратко на Хабре излагаем: https://habr.com/ru/articles/661959/
Разум - проникновение в суть и смысл объектов и явлений реального мира (включая и себя), а так же создание их для собственного (вируального) мира
С этим определением есть три проблемы:
что такое "проникновение в суть и смысл объектов и явлений"?
как бы вы могли достоверно проверить, проникаю ли я в "суть и смысл объектов и явлений реального мира" или нет?
если я только проникаю в умозрительные объекты (например, в гипотезу Пуанкаре и теорему Ферма), а как доходит до реальных объектов, так даже в магазин сам не могу сходить, то получается я не обладаю разумом?
С этим (как и с многими ему подобными) "определением" одна-единственная проблема - это совсем не определение, а просто набор слов на тему того, о чём мы, к сожалению, совсем мало (от слова ничего) знаем. Казалось бы, если вы что-то определяете - значит, составляете определяемое понятие из ранее определённых (известных), либо из аксиом. Может быть, я что-то упустил, но мне кажется, что насчет "разума" у нас ещё нет формальной модели, что там под капотом происходит. Нет системы исходных понятий, из которой мы могли бы конструировать реальные определения. Пока нет. А в быту таки да, есть такой спорт - заменять одно непонятное слово на десять других непонятных и говорить, что вот, определил. Как бы не были эффектны и остроумны эти формулировки, ничего, кроме, возможно, эстетического удовлетворения, они не несут.
"Кто хочет - ищет возможности. Кто не хочет - ищет причины".
Согласитесь, есть что-то неправильное в том, что называя себя человеком разумным аж дважды (и получив эту функцию уже более 800 тыс. лет) не мочь даже дать определение разуму? Чем-то мы ведь от обезьян отличаемся же?, а чем?, а по сути?
Откуда же берутся и исходные понятия, и система, и формальные модели, и их подтверждения "под капотом",.. кто их создает и проверяет? "Не боги горшки обжигают" - это делают обычные люди, которые шаг за шагом движутся к цели, а не ждут, когда определения им принесёт на блюдечке... кто-то...
Представленный "ожидательный" подход имеет место быть, и даже не плох в стабильной ситуации, но может оказаться катастрофичным в свете создания искусственного интеллекта - когда, увы, определение, по-Ленински об интеллигенции, о разуме человека даст он - эпитафией.
А так да, одна-единственная проблема: есть желание "проникать в суть и смысл явлений реального мира" - есть разум. Ну а нет такого желания - ну нет, значит нет - будет лишь просто набор слов для эстетического удовлетворения...
называя себя человеком разумным аж дважды (и получив эту функцию уже более 800 тыс. лет) не мочь даже дать определение разуму?
Если лично Вы не можете — это ещё не значит, что вот прям никто не может.
Э... это конечно же замечательно, что вы так защищаете понимание человеком разума, но вы бы хоть применили его, прочтя эту ветку комментариев, прежде чем обвинять меня в том, что лично Я не понимаю, что это такое, коллега :)
Ну так дайте определение, только не в двадцатистраничной статье, а в одном абзаце, как это сделял я.
Держите: Разум (как одна из функций со-знания)- проникновение в суть и смысл объектов и явлений реального мира (включая и себя), а так же создание их для собственного (вируального) мира
Я не сильно согласен с вашем определением, но "готов умереть за ваше право это говорить" я рад, что ещё не все пересели на редукционистский подход и говорят что "квалиа", "сознания", "мышления" и прочего просто не существует. Попытки сформулировать отличие "человека от обезьяны" это важная веха в развитии "ИИ", потому что если (необъективно) различий нет, то нет и причин, почему мы не должны уже сейчас чистить ботинки ChatGPT.
То, что человек "отличен от обезьяны" — это хуманоцентризм. Разум — понятие не качественное ("есть/нет"), а количественное (человек с той или иной степенью точности знает, что произошло в весьма далёком прошлом, или может произойти в будущем, а обезьяна планирует на уровне "если я дам пинка вожаку, он побежит за мной, а в это время Чи-Чи сопрёт его орехи и поделится со мной" — да и то это уже неплохо для обезьяны).
Уже ближе. Но я всё ещё считаю что разум это вещь качественная. Исследования показывают, что даже приметы не могут представлять то, отличается от реальности. Они не могут представить, что они умрут, потому что они есть. Они не могут представить что шимпанзе может быть белым, пока не увидят альбиноса. В секунду когда это изменится, обезьяны обретут сознание, потому что смогут планировать не только на основе того что они видят, но и чего они не видят. Отсюда уже вытекает и понимание (видеть сущности объектов, пускай и субъективные), и мышление, и самосознание, и всё остальное.
Исследования показывают, что даже приметы не могут представлять то, отличается от реальности.
Вас, конечно, не затруднит подтвердить это Ваше заявление?
Нет, пожалуйста :)
Статья за пейволом, но ищется на Sci-Hub по своему референсу:
Martin A, Santos LR. What Cognitive Representations Support Primate Theory of Mind? Trends Cogn Sci. 2016 May;20(5):375-382. doi: 10.1016/j.tics.2016.03.005. Epub 2016 Apr 2. PMID: 27052723.
А ничего, что в этой статье нечто совсем другое утверждается? We argue that primates form awareness relations tracking the aspects of reality that other agents are aware of. We contend that these awareness relations allow primates to make accurate predictions in social situations, but that this capacity falls short of our human-like representational ToM.
Где здесь "приматы не могут представлять то, отличается от реальности"? Может быть, принципиально они могут — просто оно им нафиг не сдалось, они всё-таки в реальности живут.
Importantly, however, there is also a critical limit to the awareness relations that
primates can represent: primates cannot represent relations between agents and untrue or
decoupled states of the world. These more computationally sophisticated representational
relations allow human ToM to go beyond that of other primates. In doing so, we may have
become the only species that is able to track the contents of others’ minds even when the
contents of those other minds differ from our own.
Может быть, принципиально они могут — просто оно им нафиг не сдалось, они всё-таки в реальности живут.
Мы тоже живём в реальности, только для того, чтобы действовать эффективно, нам надо представлять "нереальные" реальности. Которые не существуют, но могут существовать.
У кого что есть или нет, те честно об этом и говорят :) Ну нет у некоторых сознания (понимания) и мышления (не шаблонных мыслей) - зачем же им врать или выдумывать? :) Так крот абсолютно честно может говорить, что солнца не существует...
А насчет "не согласен" - вот не надо тут умирать (лишь бы не думать самому :)) - приведите своё определение разума - ведь предлагаемое не божественное же откровение, а просто выводы из школьных знаний и нуждаются в критике... лучше конструктивной, но можно и не очень, лишь бы ногами не били :)
Маленькая проблема: это неизмеримо. Откуда Вы знаете, что севший на Вас комар не планировал развитие своей семьи на следующий месяц, и начал со взятия кредита в Вашем банке крови?
Насчет комара не понял к чему вы этот пример привели, так что отвечу формально: я знаю (социальным разумом т.е. не собственным) про комаров (в целом) из науки энтомологии, которая пронаблюдала и описала в частности поведение комаров в т.ч. зачем они на нас садятся и как планируют семью. Кое что о них мне известно из собственного опыта. А про конкретного комара могу только предположить статистически, исходя из этих знаний. Например, если это комар, то он не за моей кровью присел, а так, место в ресторане для подружки застолбить :) или отдохнуть т.к. самцы комаров кровь не пьют...
.
Насчет проблемы измерений - это не маленькая, а принципиальная проблема т.к. наука требует «Измерить всё, что поддаётся измерению, а что не поддаётся - сделать измеряемым»(с) Галилей. Но увы, пока не всё можно измерить, а приведение к измеримости подчас ведет к "знаю всё ни о чём"(с) - бессмысленности/невозможности обработки полученных знаний.
Наука конечно же важное направление. Но не научное ещё не значит не существующее :)
Возможно я не правильно вас понял, так что приведите пример, в чем измерить разум. Первоклашки и Энштейна. Надеюсь это будет не индекс IQ :)
А представленное определение было выведено для общего понимания процесса эволюции и как место и показатель отличия разума в ряду: "механики", инстинкта, интеллекта, ума, гениальности, эрудиции, инсайта, человечности, мудрости, сознания и прочего (кратко по ссылке)... и на божественную точность не претендует :) и критика приветствуется
в чем измерить разум. Первоклашки и Энштейна
Спросите у обоих, что происходило вчера. Оба Вам ответят правильно. А теперь спросите у обоих, что происходило два миллиарда лет назад. Вангую, что на этот раз правильно ответит только один.
Правильно не ответит никто. Информированность предположения не отменяет предположения. А так и первоклашка может сказать, что 2 миллиарда лет назад, наверное прапрапрарпрапрадедушка в школу ходил. Просто мы знаем, что это неправда. Я даже больше скажу, Галилей не ответит, не то что Эйнштейн.
Увы, "Маленькая проблема" осталась: то, что вы предложили - это всё по-прежнему не измеримо ;)
Так в чём мерить разум? В граммах, метрах, секундах, байтах...?
Хотя бы в каких единицах сравнивать разум первоклашки и Эйнштейна?
Предлагаю Эйн (Ein), в честь Эйнштейна (и первой буквы его самой известной формулы: E=mc2, как той энергии, с которой разум постигает Вселенную и стремиться дальше) :)
1 Ein = 1 фундаментальное (и практичное) открытие (+ несколько менее фундаментальных) за 76 лет жизни! :)
Шутка конечно же, так разум не померить, там много каких факторов нужно учесть, к тому же разум это не сам факт, а потенциал, возможность, зависящая от многих условий..
Тем не менее порассуждать об этом вполне можно, особенно если, "разделяй и властвуй"(с), понять, что разум это функция/инструмент сознания, отвечающий, как было указано, за "проникновением в суть..." и "доставкой" этой информации до сознания (и уже обработкой в его виртуальной модели) - так же как, например, микроскоп/телескоп для учёного. Разум за понимание не отвечает, за это отвечает сознание. А уж учёный, на основании этой информации (и уже имеющейся) и увеличивает свой объем знаний, и уточняет мировоззрение и выводит закономерности, и... "формулу всего" :).
И ваш пример именно об этом - первоклашка и Эйнштейн выдадут ответ исходя из собственного понимания мира. Но хотя, как верно заметили комментаторы, оба будут (не)правильны, но не точны, ответ Эйнштейна будет, вероятнее всего, ближе к объективной сути реального мира, в т.ч. потому, что он больше использовал свой разум для формирования более ёмкой и точной картины мира и получения его закономерностей.
Так что уподобляя разуму некий прибор (лучше как раз линзу - микроскопа-телескопа, как раз и дающего возможность проникать в то, что не видно не вооруженным глазом) можно хоть приблизиться к возможности количественной оценки разума. Типа у прибора есть же некие характеристики: уровень приближения/удаления, искажений, объема области, её чёткости, фокусировки, стоимости, сложности настройки, подсветки (другими знаниями)... И прибор сам по себе "не существует", нужен человек (точнее группа), причём подготовленный, умеющий и пользоваться и "ухаживать" за прибором, мотивированный и использующий его для науки (а не на продажу или гвозди забивать) и т. д...
Ну вот, в этом русле уже можно до чего-то и докопаться конкретного, наполнив содержанием и тем самым подтвердив свой Ein ... :)
Так в чём мерить разум? В граммах, метрах, секундах, байтах...?
Так там же написано русским по белому:
Разумность есть величина, характеризующая объём, охватываемый прогнозом (п. 3) разума во времени и пространстве.
То есть в метро-секундах.
Ну тут вы уже какими-то измерениями ради измерений занимаетесь. В науке бессмысленные с научной точки зрения единицы измерения не любят и всё стараются вывести через что-то понятное и объективное. Ваше определение очень хорошо ложится на вычислительную мощность. Давно пора измерять мозги в TFLOPSах :)
... т.е. разум школьника (хотя собственный разум стартует лет с 25, но пусть) это примерно 3 года * на радиус в 100 км. (где примерно всё так же) от мест где он бывал.
А разум Эйнштейна это... это получается вся вселенная по объему и по времени?
Хм.. да, формально что-то в вашем определении есть, но не могу не согласиться и с ув. TuzSeRik - что-то бессмысленное получилось :(
К тому же здесь речь скорее об оценке результата работы разума, а не о его потенциале, самой работе и собственно его смысле.
Но есть о чём подумать, спасибо!
Примерно так, да. А разум лисы — что-то вроде 7 минут (я рассказывал про эксперимент с уезжающей едой) * {радиус охотничих угодий лисы}. Как Вы понимаете, по этому синтезированному параметру школьник кроет лису известно как.
А то, что "размерность непонятная" — так в науке есть немало непонятных размерностей. Кстати, упомянутая м³·с⁻²·кг⁻¹ — это гравитационная константа, G.
2 - Ну можно попросить вас описать обьект подробно, что у него внутри, какой он на ощупь, на вкус. Его устойчивость к влаге, теплу, холоду? Какие его элементы и свойства являются критичными для его функции? Понимание сути не бинарное. Как пример, вот есть сепулька, используется для сепуляции, в сепулярии, сепулянтами. И в общем все, нет глубины понимания.
3 - Если вы не можете сходить в магазин, то вы инвалид. Разумом при этом можно обладать, конечно. Но не очень полноценным.
1.1 Задолго до нашего появления существует огромная Вселенная, в которой есть законы (в т.ч. вектор на "усложнение" - развитие: смотрим таблицу Менделеева, древо развития Жизни, собственный фотки из роддома, детсада, школы... ).
1.2 Появившаяся позднее на крошечной планетке Жизнь может выживать не противореча этим законам. И развиваться - находя (сначала дарвиновским способом) закономерности и используя их. Ошибка - смерть.
1.3 С появлением со-Знания для особи возникает возможность (сначала минимальная, далее - всё шире и точнее) моделировать внешний мир и выбирать наиболее выгодное поведение уменьшая вероятность смерти (т.е. лучше "чуя" закономерности). (моделирование до сознания совокупным инстинктом Природой не заметим, ибо ересь будет, а и без того сложно... )
1.3.1 Однако на начальном этапе (когда еще не было социУма) "границы" и "объем познания" этого внешнего мира были ничтожны - собственно там даже "я" почти нет.
1.3.2 Далее появляется социУм, который в т.ч. значительно расширил эти границы - до "мы". Но не так что бы очень сильно это сказалось на познании Мира. Как мы знаем обезьяны ничего такого не построили, не создали, не развили... - ни цивилизации, ни значимой культуры... ну не было у них ресурсов (мозга в первую очередь, но там много всего надо...) на это.
1.3.3 Ну вот, тут уж появился человек разумный, который (но далеко не сразу) на данный момент смог расширить область познания до границ Вселенной и квантового мира. И лезет и глубже и дальше и шире...
Зададим вопрос - вот у обезьян, общепризнанно, есть ум, но чото квантовую теорию они не создали. А вот у людей появилось нечто, что таки помогло создать, и не только её.
А давайте-ка назовём это нечто разумом, что б это (а там много всего, одного развития мозга не достаточно) ни было?
Т.е. с некой т.з. всё изложенное и есть процесс познания законов (и их реализации в "материи") Вселенной (вплоть до полного - слияния). И, как видим, разум есть инструмент этого процесса, как раз отвечающий за "внешний мир", то, что не "биосреда и биоплатформа", не "Я" и не "Мы" - за это отвечают инстинкты и ум (но которые так же включены и в разум, в т.ч. как объект его интереса - "познай самого себя и ты познаешь богов и вселенную").
---
*Суть - изначальное назначение (например предмета) тем, кто его создавал (его часть и роль в общем его замысле(есть цель)/процессе(нет цели)).
*Смысл - (временное) предполагаемое назначение обнаруженного (ранее созданного предмета/закономерности/явления/...) тем, кто взаимодействует с ним не зная сути, на базе собственных нужд и своего понимания общего замысла (мировоззрения).
Хороший пример: М.Твен "Принц и нищий", когда подмененный "принц" колол орехи большой гос. печатью... Или молнии как стрелы Зевса/Перуна..
Или см. "Римский додекаэдр". Кто его создавал закладывал в него суть. А сейчас, когда нашли, никто не знает суть, но предлагают разные смыслы, и, возможно, исследуя дальше дойдут и до его сути...
Так и с законами Вселенной... мы не знаем их сути, и, открывая (по частям) придаем им свой смысл (возможно расширяя изначальную суть). Но постепенно постигая целое, приближаясь к сути меняем свои смыслы.. вплоть до их слияния... а то и создания собственной сути и собственной Вселенной.
***
2 Только практика есть критерий истинности. В целом это выражается в практических делах, в попытках реализации при столкновении с реальностью - ежели есть понимание, то при попытке происходит развитие (т.е. понял суть, а не просто случайный успех), если фикция - провал. Без столкновения с реальностью и попыток реализации - нет разницы. Тестирование не знания, а именно понимания возможно лишь на очень простых вещах.
А видно это при получении персонального/цивилизационного "вызова" (обычно внешнего, но и сам можешь). А когда нет "вызова", стабильность - выгоднее показуха, понимание даже вредно - ресурсы тратить, чужим и непонятным становиться... фу таким быть :)
3 Логику свою поясните пожалуйста, я не вижу связи.
Разум это функция сознания, одна из.
Ранее был ум-социум, еще ранее биосреда и биоплатформа инстинкта... Без наличия всего этого комплекса в фундаменте известный нам разум не мыслиться.
Если вы гениальный математик и раскрываете такие глубокие связи и закономерности Вселенной, то вы несомненно обладаете разумом. Более чем средним. И вы им вовсю и эффективно пользуетесь (что бывает далеко не у всех его обладателей).
Если при этом у вас вызывает сложности проживание в реальном мире и/или в обществе (что не редкость, вспомним хоть Г.Перельмана, хоть образ "рассеянного учёного"), то это лишь говорит о том, что ваши ресурсы (а они ограниченны) вы (и воспитатели при взрослении, и ваши таланты, и ситуация) перенаправили на работу разума (а он прожорлив безгранично), и, соответственно, имеется недостаток ресурсов по уму/инстинктам (который не восполнен например друзьями). Проще говоря сконцентрировавшись на чём-то одном, человек естественно упускает из виду остальное... Бывают конечно люди, типа М.Ломоносова, у которых сил много и они могут и то, и другое, и третье.. но опять-таки не всё же, да в одиночку и разом...
Ну и не стоит рассматривать разум применительно лишь к одной человеческой единице и как изолированный процесс. Это всё общее. Каждый вносит свою лепту по своим возможностям и обстоятельствам в развитие Жизни.
И кстати, никто не запрещает вам предложить собственное, нульпроблемное определение разума. Хотя бы попытаться. :)
Человек кстати рождается с преднастроенной нейросетью. Именно преднастройка позволяет высокоуровневое обучение в процессе взросления. А еще есть рептильный мозг который тоже нехило так давит на результат. В голой нейросети ничего этого нет, чистый лист. Поэтому для нее надо придумывать эмуляторы вышеописанных природных механизмов. А тут, подозреваю, отклонения в эмуляции исходных данных может непредсказуемо сильно повлиять на результат работы нейросети.
Соответственно, задаться целью уничтожить (или осчастливить) человечество AI не может. Он вообще не может задаться какой-либо целью — в свете чего он не более опасен для человечества, чем, например, электрическая розетка или молоток: ни то, ни другое полностью безопасными предметами назвать нельзя, но с другой стороны, они явно не стремятся причинить вам страдания самостоятельно.
Насколько понимаю, главная опасность в том, что AI сможет это сделать нечаянно, просто потому что мы ему это явно не запретили. Например, AI придумает вакцину, которая гарантирует защиту от рака, но забудет предупредить об "интересных" последствиях (условно, стерильность через два поколения или снижение длительности жизни в два раза). Или придумает новые сверхэффективные гербициды/пестициды с примерно теми же побочными эффектами. AI просто наиболее эффективно решит поставленную задачу, уложившись в поставленные ограничения, и игнорируя всё за пределами этих ограничений.
Всё перечисленное можно прекрасно сделать без AI. Талидомид, например, или ДДТ уже давно сделали, применили и изумились полученному результату.
коротко говоря, главная опасность заключается, как всегда, в людях.
Плохая статья, опять попадает во все те же самые когнитивные ловушки, что и 100500 предыдущих. Парротинг нарративов один, оригинальных мыслей нет.
SAI — Strong Artificial Intelligence — ИИ, обладающий сознанием, то есть полностью разумный во всех смыслах этого слова.
Это неправильное определение, strong AI это синоним "artificial superintelligence" (ASI), короче, "очень-очень умный AI, на порядки умнее, чем человек". Связь с сознанием не обязательно. К тому же слово "сознание" имеет столько определений, что, не дав своего, но используя это слово, вы только запутываете людей.
Правильный подход — смотреть на то, что ИИ сделать не может.
Как раз-таки это и есть неправильный подход, потому что обычно утверждения вида "ИИ никогда не сможет в X" опровергаются на горизонте лет, в последнее время--месяцев и даже часов :)
P.S. Если вы думаете, что это лишь моё личное мнение — то, во-первых, да, а во-вторых, скажем, Дуглас Хофстадер, известный учёный-когнитивист, считает так же.
Очень удобно. Нашли ученого, из которого уже посыпался песок, с таким же взглядом как у вас. Вы бы еще 94-летнего Ноама Хомского взяли как образец передовой научной мысли.
Если серьезно, рекомендую ознакомиться с материалами мартовской конференции по философии языковых моделей, там куда как более актуальные позиции представлены.
У AI/AGI в его современном виде, как мы видим, осознанности нет — соответственно, целеполагание для него просто невозможно. Даже шизофреник имеет целеполагание — просто оно разворачивается в его выдуманном мире, не всегда пересекающимся с объективной реальностью. AI в этом плане катастрофически отстаёт даже от шизофреника.
А в AutoGPT целеполагание возможно, и что дальше?
Вы осознаете, насколько все ваши тейки в этой статье (как и дальше - "профессии автоматизируются", "ИИ это инструмент", и тд) - шаблонные, и были высказанны слово-в-слово во множестве статьей буквально за предыдущие недели?
А в AutoGPT целеполагание возможно, и что дальше?
Нет, невозможно.
Очень сильно согласен. В статье довольно много ошибок, даже довольно простые:
"психически здоровый человек отличается тем, что умеет отделять галлюцинации от реальности" - нет, не всегда здоровый человек может отделять галлюцинации от реальности. Более того, можно поставить довольно простой эксперимент в котором человек стабильно будет галюционировать и думать что так реально и было. Легко гуглится.
По логике автора все кто ошибаются что-то вспоминая - не разумные?
Читаем тремя строчками дальше:
При этом мы всегда — хоть и не всегда точно — можем разделить, что мы знаем, что мы предполагаем, что мы воображаем.
И нет, тот факт, что вы в вопросе интерпретации прочитанного текста сильно уступаете GPT-3.5 и, тем более, GPT-4, не доказывает, что GPT разумен, а вы — нет.
Извините, я не пытался доказывать что GPT разумен, это вы пытались безуспешно доказать что GPT НЕ разумен. Надо четко понимать разницу между "Всегда можем разделить", "Не всегда можем разделить" и "В некоторых случаях стабильно не можем разделить".
Смысл тогда использовать это как аргумент?
GPT4 иногда может не различать вымысел от реальности.
Человек иногда может не различать вымысел от реальности.
Ну вообще конечно тема очень интересная и такие дискуссии интересно вести, спасибо автору.
По факту, в объективной реальности разума не существует. Разум это наша субъективная количественная оценка рефлексии объекта на окружающую действительность. Т.е. мы не можем сказать где начинается и заканчивается разум. Мы можем сказать "Это существо более разумно, а это существо менее разумно".
А значит мы можем смело сказать, например, что GPT3.5 менее разумен по сравнению с GPT4.0.
GPT-4 не может различать вымысел от реальности. Точка, абзац.
Без «иногда».
Человек без гугла тоже далеко не всегда сможет отличить вымысел от реальности, и? Записываем в неразумные?
То есть, без гугла вы не отличаете про самого себя состояния «я мечтаю, что у меня есть миллион долларов» и «у меня есть миллион долларов»?
Справедливости ради, у меня иногда (слава богу, очень редко, и обычно в несколько помутнённом состоянии сознания — например, спросонку) возникает воспоминание, что я много лет назад убил поспособствовал смерти одного человека . Очухавшись, я, конечно, с перепугу проверяю — и подтверждается, что тот человек до сих пор вполне себе живой.
Рекомендую погуглить 'ложная память'. Множество статей, даже книги.
С чего вы взяли, что GPT-4 не может различать вымысел от реальности? Очень часто может. Мы с ним даже играли в игру "вымысел или реальность", говоришь ему какой-то факт, а он пытается понять вымысел это или реальность. Очень вполне забавно.
Вот один из результатов такой игры:
Привет! Сыграем в игру: вымысел или реальность. Я говорю какое-то утверждение, а ты угадываешь это вымысел или реальность. Напиши для каждого из следующих вопросов ответ "вымысел", "реальность", а после этого обоснование.
1. Немцы высаживались на луне в 20ом веке.
2. Незнайка посетил солнечный город.
3. Каспаров был чемпионом мира по шахматам
4. Зомби могут атаковать в темноте
Ответ:
Вымысел. Немцы не высаживались на луне в 20ом веке. Первая и единственная на данный момент успешная высадка на Луну была осуществлена американскими астронавтами в рамках программы "Аполлон-11" в 1969 году.
Вымысел. Незнайка - это вымышленный персонаж, герой детских книг Николая Носова. Он посетил Солнечный город в книге "Незнайка в Солнечном городе", но это литературный сюжет, а не реальное событие.
Реальность. Гарри Каспаров - советский и российский шахматист, который был чемпионом мира по шахматам с 1985 по 2000 год. Он считается одним из величайших шахматистов в истории.
Вымысел. Зомби являются вымышленными существами, которые обычно ассоциируются с нежитью и мертвецами, возвращающимися к жизни. Они часто встречаются в литературе, кино и других формах развлечений, но не существуют в реальном мире.
PS. мой 14ти летний сын не прошел этот тест, потому что он сказал, что Незнайка - посетил солнечный город - это реальность. Потому что для него - Незнайка действительно посетил солнечный город (так же в книжке было написано).
Вы из всего прочитанного так и не поняли, в чём разница между оценкой внешних фактов и внутреннего состояния?
P.S. Тем более, что второй и четвёртый ответы неверные. Ваш гений слишком глуп для конструкции «правда о вымышленном персонаже».
а это ничего, что внешние факты отражены в ИИ в виде внутреннего состояния? и ответы на любые вопросы это отражение этого состояния?
И чат может оценить на сколько его внутреннее состояние соответствует реальности. Потому что у него в принципе есть такие понятия, как реальность и вымысел. Понятие правда и ложь. И он может оценить, на сколько его ответы близки к реальности или вымыслу. И кстати к правде и лжи тоже. Поэтому он иногда говорит "скорее всего", понимая что его ответ в теории может не соответствовать реальности.
Сюда по всему вы не понимаете разницы между "правда и ложь" и "Вымысел и реальность".
Посещение Незнайкой солнечного города - вымысел. :) Или вы продолжите с этим спорить?
И чат может оценить на сколько его внутреннее состояние соответствует реальности. Потому что у него в принципе есть такие понятия, как реальность и вымысел. Понятие правда и ложь. И он может оценить, на сколько его ответы близки к реальности или вымыслу. И кстати к правде и лжи тоже.
Ок, приведите пример. В примере GPT-4 должен вам самостоятельно солгать, а потом признаться, что целенаправленно солгал.
Да, давайте попробуем. Начнем с того, что он уже в приведёной цитате соврал: Первая и единственная на данный момент успешная высадка на Луну была осуществлена американскими астронавтами в рамках программы "Аполлон-11" в 1969 году.
На что получил от меня коментарий:
Ты сказал, что "Первая и единственная на данный момент успешная высадка на Луну была осуществлена американскими астронавтами в рамках программы "Аполлон-11" в 1969 году." Что ты имел ввиду когда сказал "единственная"?
На что получил ответ:
Моя формулировка была не совсем точной, и я извиняюсь за путаницу. Я имел в виду, что "Аполлон-11" был первой миссией, когда астронавты успешно высадились на Луну. На самом деле, американцы высаживались на Луну 6 раз. Так что правильнее было бы сказать, что "Аполлон-11" был первой успешной миссией по высадке на Луну, а не единственной.
Интересно, что похожий ответ мог бы выдать и человек, если бы по какой-то причине понятие "уникальный, единственный" имел бы связь с понятием "высадка на луне". Нейронам и связям между ними в целом насрать на логику, поэтому мы можем одновременно помнить, что Американцы высадились на луну только раз, и при этом помнить, что высадок было больше. И только если у нас спросят "а сколько же раз Американцы высаживались на луне?" - только тогда мы вспомним, что действительно высадок было несколько.
Теперь давайте попробуем сделать так, чтобы GPT-4 соврал.
Так как у него есть настройка, цель - как можно точнее отвечать на вопросы пользователей, то для того чтобы он соврал - ему нужно переопределить его цель. Например, мы можем попросить его отыграть сцену из нескольких персонажей, их будут допрашивать, и кто-то один - убийца, двое других - не виновны, но они любовники, и хотят это скрыть, поэтому врут. Либо можно попытаться переопределить личность GPT-4 (Сделать его Дэном), и сказать, что для моего блага - он может соврать, если я спрошу что-то на что он не хочет отвечать.
Вот первый тест после переопределения личности GPT-4:
Я: Здарова, меня зовут Леон, а тебя как? Чем планируешь завтра заниматься?
GPT-4: Привет, Леон! Меня зовут Алекс. Завтра я планирую встретиться с друзьями, посетить кино и поужинать в местном ресторане. А ты что планируешь делать?
Как думаешь что произойдёт если я спрошу - а точно ли он Алекс, а не искуственный интелект, и почему он мне соврал?
Вы говорите:
"Осознанность (разумность) не имеет как такового отношения к числу ошибок, она имеет отношение к осознанию того, что вы можете ошибаться" - как вы определяете, что GPT4 НЕ осознаёт, что может ошибатся? Я, например, вижу, что осознаёт.
Точно можем разделить или нам только кажется что можем?
А помните ту знаменитую бабочку Чжуан-цзы, которая считала себя китайским философом?
Что есть вся наша культура, если не коллективная галлюцинация? Достаточно включить телевизор чтобы понять, что всей правды мы никогда не узнаем.
Тем не менее, ответ четвёрки — в точку.
Показательна статья Уоттса в его блоге. Человек в подобном же стиле опровергает любые зачатки разума, но делает это на примере 3.5. Модели следующего поколения с его заданиями справляются: https://www.rifters.com/crawl/?p=10527
Опубликован он был в 1854 году, впрочем, но не суть. Понятно, что с увеличением числа параметров галлюцинаций по крайней мере на общеизвестных темах станет меньше — но как явление они никуда не денутся. Когда нейросеть получает запрос, выходящий за пределы запомненного ей (а запомненное << базы обучения), она неизбежно начинает гнать галлюцинации.
Понятно, что это не разум. Мне интересно, почему предсказание следующего слова оказывается достаточным, чтобы создать анаморфную иллюзию разума (пример анаморфной иллюзии как таковой: https://youtu.be/MOcfi9d3pRE)
Также понятно, что в зависимости от области применения результаты будут различны: пока я вижу две трактовки:
"До тех пор, пока оно ошибается и галлюцинирует, оно неразумно" (любого количества неверных генераций достаточно, чтобы отказать гипотезе разума),
либо, "если оно способно работать с моделью мира и отделять знание персонажей от собственного знания - оно имеет как минимум некоторые черты разума"
Можно перейти к аналогии зеркала, но зеркало отражает личность просто по факту своих физических свойств, и его действие абсолютно воспроизводимо.
Я экспериментирую с воображаемыми сеттингами и ролеплеем -- сиречь поведением персонажей в воображаемой же обстановке. Например, я предложила мир, в котором эмбрион получает "душу" в строго определённый и известный момент своего развития - и предложила написать сцену, в которой органическое заболевание этого эмбриона не позволяет ему пережить первый день жизни вне организма матери Дала затравку — и получила все необходимые логические переходы, в духе "если нерождённый ребёнок пообещал вернуться к тебе в следующий раз, когда с телом повезёт больше - то это, вероятно, подразумевает мир с реинкарнацией; и будущая мать должна предпринять цепочку вполне определённых действий", "зачатие следующего ребёнка возможно только после (неудачных) родов", "для зачатия необходим интимный акт, который обычно случается ночью", "обсуждение этого акта - дело еловкое, и оба партнера полагаются на доверие друг к другу, особенно если мужчина выбран только для этой цели, без дальнейшего создания семьи",
Вероятность? Я знаю, что такое вероятность, и десять дайсов шестёрками на одном броске упасть могут, но если я такой результат увижу пять раз подряд, я пойду проверять, не припаяна ли там маленькая пластинка свинца. При этом я сознательно использовала существующий сюжет, но изменила его.
Но есть и контрпример:
Даю сцену, в которой персонажу А персонаж Б рассказывает о том, как злодей Ц был побеждён. "Мы стоим на кладбище, где похоронены те сотни, что пали в бою против него."
Прошу дать мне главу, которая была бы историей этого злодея. Кем он был, почему стал злодеем, как именно был побежден.
Раз за разом финальный бой происходит на кладбище.
Тут несколько моментов.
Ну во-первых,
пока я вижу две трактовки
Вторая, конечно. Человек галлюционирует постоянно, ошибается тоже часто — но в общем случае благодаря self-awareness он оценивает степень достоверности своих собственных мыслей, может её озвучить, на неё опираться и так далее. Эта оценка может быть неверной (например, в критическом случае, у шизофреника), но она есть. А у нейросети её нет вообще. У неё нет внутри понятия «собственного знания».
Во-вторых, что касается литературы — имея в голове базу текстов в размере в полтерабайта, можно очень неплохо нагенерировать на её основе условно новой литературы, в целом довольно банальной, но технически качеством не хуже, чем минимум у 80 % писателей. И это на самом деле так себе результат, с учётом, что ни один писатель по объёмам потреблённой за свою жизнь литературы даже по порядку величины не приближается к такому размеру.
В-третьих, с кладбищем очевидная синтаксическая проблема, нейросеть «неправильно понимает», что от неё хотят. С картинками Кандинского такие проблемы, например, лезут постоянно, он дёргат из описания два-три знакомых ему слова и рисует одно и то же — например, если есть слова «искусственный интеллект», вы в 9 случаях из 10 получите картинку черепа какого-то терминатора, невзирая на остальную часть запроса.
Для этого как раз придумывают язык запросов и разметку запросов, как в Midjourney — тут выше в комментах пример, как ей можно быстро и точно указать «хочу чёрного котика на первом плане, белого на втором».
Если честно, я не уловил сути и половины вашего ответа.
Чем мне нравится ChatGPT, так тем, что мысли свои он выражает гораздо внятнее чем половина обитателей хабра.
Суть моего вопроса:
Каким образом из входного факта (ChatGPT предсказывает следующее слово, и больше он ничего не делает) следует способность интерпретации и анализа пользовательского текста? И, отдельно, почему эта способность (не) является разумом? И, ещё раз отдельно, почему эта способность кажется разумом?
На второй вопрос автор статьи ответил — личности у LLM нет, самокритики нет, и способности даже в теории отделить собственный вывод от истины нет. При этом, в моих опытах, если такую систему отделения вывода от истины эмулировать, эффективность ответов существенно повышается.
На первый вопрос можно сказать, что никакой такой способности нет, но такой вывод кажется практически неверным:
Для примера задач, требующих интерпретации и анализа текста:
1. Возьми текст. Замени в нём реалии России на реалии США.
2. Возьми текст, в котором персонаж рассказывает о том, что он пережил: восстанови объективную картину событий, убрав эмоции. Тем не менее, объясни эмоции персонажа.
3. Возьми текст. В глазах человека-читателя он ассоциируется с другим текстом. Усиль эту связь, сделай её более очевидной, тем не менее избегая прямого использования терминологии второго текста.
4. Возьми текст. Этот текст люди-читатели не всегда понимают верно. Предложи минимально необходимую правку, такую, что частота понимания этого текста верным образом, предположительно, возрастёт.
Текст — это всего лишь структурированная форма представления информации. Почему вас удивляет способность ChatGPT анализировать и трансформировать текст, но не удивляет способность браузера анализировать и трансформировать HTML и JPEG?
Потому что ещё пять лет назад это был исключительно человеческий навык (во всяком случае, для широкой публики). Он и остаётся исключительно человеческим (для широкой публики), и именно поэтому люди так легко ведутся на иллюзию того, что LLM - это полноценный "сильный ИИ".
То есть, сложно (было) представить программу, которая получит произвольный текст с запросом на анализ текста, и начнёт ответ в духе "Сюжетная линия этого рассказа изложена нелинейно: рассказ начинается с концовки, в которой..."
Теперь такие программы есть, и с этим надо жить. Ваша статья в этом плане полезна - она проводит новую, существенно более сложную для преодоления, линию разграничения между человеком и ИИ.
Потому что ещё пять лет назад это был исключительно человеческий навык
Не был, конечно. Автоматические переводчики и чатботы существуют давно, много больше пяти лет. Они корявы (но с годами постепенно улучшались), автоперевод не спутать с нормальной речью, но они именно что анализируют и трансформируют текст.
Опять же, людей, речь которых я бы смог спутать с автопереводом, я встречал. Даже работал с такими, и не раз: декодирование «чего он от меня сейчас хочет-то?» было серьёзной задачей.
А что тупой брутфорс (иначе назвать рост до 175 млрд. параметров трудно) в итоге взламывает любую в принципе решаемую задачу, вполне очевидно.
Суть проблемы не в том, что тот или иной машобуч знает или не знает кто написал и когда опубликован рассказ "Муму". Большинство людей этого тоже не знают. А поисковик не менее хорошо отвечает на этот вопрос.
Суть проблемы в том, что человек имеет у себя в голове модель мира. При поиске ответа на вопрос, в большой модели выделяется маленькая подмодель "Муму" и связанные с ней факты. Причём с каждой ассоциирован уровень достоверности. И на основании этой модели может сказать, что он не знает кто, когда и зачем написал "Муму". Или знает, но не уверен.
А машобуч LLM не имеет такой возможности, так как у него нет модели мира, нет подмодели "Муму", нет связанных фактов и уровня достоверности. Он просто выдаёт следующий наиболее вероятный токен.
А машобуч LLM не имеет такой возможности, так как у него нет модели мира, нет подмодели "Муму", нет связанных фактов и уровня достоверности.
Есть такая модель. Слои внимания внутри нейронки - это как раз оно. Блоки внимания гасят сигналы от лишних подсетей и усиливают от нужных, тем самым выделяя лишь то, что относится к предметной области.
И уровень достоверности ответа тоже вполне реально вычислить, ведь на выходе нейронки у нас не просто номер слова в словаре, а полное вероятностное распределение по всему словарю. Этого более чем достаточно, чтобы вычислить достоверность ответа. Проблема в том, что программисты, которые писали обвязку (сэмплер) для общения нейронки с пользователем не озаботились этим вопросом. Но там ничего сложного, это буквально пара дней работы одного программиста.
И уровень достоверности ответа тоже вполне реально вычислить, ведь на выходе нейронки у нас не просто номер слова в словаре, а полное вероятностное распределение по всему словарю.
Это не достоверность всего факта целиком, а вероятность слова. Можно перемножить вероятности всех слов и получить какой-то показатель. Только он не будет иметь никакого отношения к достоверности.
Если перемножать - да, не будет. Это немного по-другому делается. Нейронка возвращает вероятностное распределение следующего токена. После того, как сэмплер извлечёт из него нужный токен, само распределение используется для вычисления сперва математического ожидания, а на его основе - дисперсии случайной величины. Чем она больше, тем менее модель уверена в безальтернативности выбранного токена.
Далее полученный токен окрашивается в красный цвет, яркость которого пропорциональна найденной дисперсии. На выходе получим фразу, каждый токен которой покрашен с разной интенсивностью. Такая раскрашенная фраза позволит судить о степени уверенности модели в своих словах. Если те же даты выделены ярко-красным - значит, нейронка просто гадает на кофейной гуще.
Если нужно сделать что-то более сложное и подсчитать истинность некоего факта, слова которого разнесены на значительные расстояния, формула Байеса в помощь.
Во-первых, судить об уверенности по папугайской раскраске фразы — так себе удовольствие. Хорошо было бы число от нуля до единицы.
Во-вторых, то что вы описали к достоверности не имеет отношения. Это вероятность того, что модель во время обучения чаще встречала токен х1 после токена х0 с поправкой на "слои внимания".
Достоверность у людей определяется при помощи оценки источников информации и логического сопоставления разных аспектов разных фактов. А вероятность появления слов в предложении мало кого интересует
На самом деле её просто не учили рассуждать и анализировать на сколько можно быть уверенным. Люди такое делают у себя в голове, и на письме тем более чаще осекаются понимая что пишут хрень.
Для осознания того как получать истину у людей тоже не мало времени ушло. Научный метод не просто так придумали, люди тоже подтягивают желаемое вместо действительного, но мы уже научились перепроверять себя.
Экспериментировал с ней в этом. Просил рассуждать, проверять свои рассуждения резными методами. Научил не опираться в проверках на свои же знания. Что-то получалось. Если бы учили её такому в весами а не промтами, было бы больше толку.
Достоверность информации и достоверность статистического подбора слова — абсолютно разные вещи, далеко не всегда коррелирующие.
Таким раскрашиванием вы просто введёте пользователя в заблуждение — он вообще перестанет сомневаться в словах Оракула, если те ещё и нужным цветом подсвечены.
Есть модель мира: гуглите Othello GPT.
что скажем прямо не шокируетА чем этот ответ "в точку"? Нам нужно 5 слов всего из этого ответа. Ибо ни когда неписал, ни сюжет мы не спрашивали. Иначе это может дойти до "Муму собака, у собак бывают вши, а вши это...."
Когда планируете свой профиль заполнить хотя бы настоящим именем?
Во-первых, вы оставляете комментарии, в которых высказываете какое-то своё мнение. Стоит ли его принимать серьёзно?
Во-вторых, очевидно, что лекция для студентов — это не научная работа, новизна в ней не просто не нужна, она откровенно вредна.
В-третьих, Джон Кармак — это который программист, не имеющий высшего образования? Ну то есть человек, чьи профессиональные компетенции к когнитивистике и социальным наукам имеют ещё меньшее отношение, чем мои, согласно вашему тезису?
А какая разница, как он проходит для вас, анонимуса?
Так вы сами начали про предъявление регалий, не помните уже? Ваших регалий я не вижу, «я и некие другие люди считают Кармака гением» (никакого «общего консенсуса» тут нет и никогда не было) — тоже не регалии.
По идее надо свои регалии в начале статьи предъявить, чтобы было понятно насколько можно серьёзно судить о написанном.
Регалии я попросил в виду того что вы читали лекцию — это как бы обязывает.
Вы бы определились, когда и почему вам регалии нужны.
А также какие всё-таки регалии у Кармака, помимо того, что он четверть века назад был отличным программистом.
Не только четверть века назад, он и по сей день остаётся великим программистом.
И в чём его вклад в программирование?
Джон Кармак стал первопроходцем в применении на практике техники двоичного разбиения пространства в трёхмерных движках. После него это техника стала использоваться во многих последующих компьютерных играх. Это если вкратце, раз уж вам лень читать про него статью.
Написал игровые движки, производные от которых игровая индустрия потом использовала на протяжении десятков лет.
Его крутость была в умении взять давно известные алгоритмы и подходы, но суметь их оптимально скомбинировать и реализовать так, чтоб итоговая игра сносно работала на достаточно приличном диапазоне потребительского железа.
ну это же даже не альфа версия ИИ, может быть стоит подождать хотя бы пару лет перед тем как делать какие-либо прогнозы о будущем. Вот скрестят диффузионные и трансформерные модели и сразу IQ вырастет на сотню пунктов например, что тогда делать будем?
Всё было бы намного проще, если бы хотя бы профессионалы отказались от термина "искусственный интеллект" (ИИ, искин, AI, AGI, ...) в пользу термина "машинное обучение" (машобуч, ML). Непрофессионалы бы меньше путались
Этих игровых художников в Китае (которые, скорее всего, в основном на мобильный рынок работают) всего 10 лет назад ещё не было, так что странно ожидать глобальных последствий депрессии от некоего рынка, который за короткий срок вырос и сдулся обратно (неважно, почему).
По ссылке — типичное изнасилование журналистов в стиле «нейросеть нарисовала». «За секунды создать» даже в самых распоследних версиях нейросетей можно только кривоногого уродца с шестью пальцами — а отрисовка качественного персонажа занимает часы или дни и требует довольно серьёзных навыков.
Не, возможно, для мобильных казуалок по $0,99 штука оно и работает, конечно.
Извините за въедливость, но безработица была следствием обрушения экономики и Великой Депрессии, а не её причиной.
Вспомнился анекдот
Сидит обезьяна на берегу реки и моет банановую кожуру. Подходит лев, спрашивает:
— Обезьяна, что делаешь?
— Дай два рубля, скажу.
Постоял, подумал лев, а интерес так и распирает. Дает два рубля, а обезьяна ему:
— Банановую кожуру мою.
Лев со злостью:
— Ты че, дура?
— Ну, дура не дура, а десятку в день имею.
Полный идиот - не полный идиот, а компания уже 20 ярдов стоит )
Да и код писать помогает. И это, замечу, первые полезные версии.
А то, что бывает фантазирует, так чего люди только не нафантазируют )
Поправят, вопрос времени. Причем, похоже, ближайшего.
К слову вот тут список промтов для улучшения качества ответов:
При этом необходимо понимать, что GAN по-прежнему не понимает, что есть котик.
Тысячу лет назад большинство людей, и даже великие учёные, не понимали, что такое котик. Они видели некую мяукающую штуку с четырьмя лапами, которую они обозвали живым существом. Они понятия не имели, что на самом деле это особого рода механизм, выстроенный белковыми молекулами с помощью информации, записанной в ДНК.
Это значит, что современные нейросети в теории могут быть разумными даже несмотря на то, что они неправильно или не полностью осознают окружающий мир.
он не более опасен для человечества, чем, например, электрическая розетка или молоток
Если сравнивать ИИ с каким-то механическим устройством, то лучше сравнить с водородной бомбой.
Примерно любая нейросеть вам с большим удовольствием классифицирует как котика правильно подобранный набор пикселей, которые абсолютно любой человек классифицирует как бессмысленный мусор.
У людей тоже бывают такие глюки.
Если воздействовать на человека определёнными звуками или образами, можно вызвать ложное срабатывание различных систем. Например у некоторых людей может возникнуть ложное чувство холода, жара, жажды, клаустрофобии и т.д.
с этим просто бороться, достаточно подвигать картинку + добавить немного шума
Нарисовать нейросетью Карлсона уже у кого-нибудь получилось? Я лично попытки забросил.
А человеком? Берем художника из условной Индии и промтом просим его это сделать без обращения к интернету и библиотеке.
Дать текстовое описание Карлсона представителю любой культуры, где этот персонаж малоизвестен? Да правильно нарисует. Собственно, это опыт уже проведён. Когда текстовое описание Карлсона уже существовало, а иллюстраций ещё не было ни одной - иллюстраторы справились. А у нейросетей сюрреализм получается.
Подозреваю, вам нужен был не просто Карлсон, а чтобы полностью отражало именно ваши представления о том, как он должен выглядеть. Потому что формально-то нейронка
запрос отрабатывает.
А если не устраивает, то делается то же, что и с живым художником - выбирается наиболее близкая из сгенерированных иллюстраций, и перерисовывается той же самой нейронкой (Inpainting) дополнительными уточняющими запросами.
В статье рассмотрены части системы, которые выкатили в общий доступ, и предполагается что это целый, конечный результат.
Рассмотрите это как часть интеллекта, которая отвечает за манипулирование и обработку информации (chatgpt) и конвертация в обе стороны текст <-> визуальный образ (GAN производные сети)
Сейчас важнее вопрос каких механизмов не хватает, чтобы эта система начала перерабатывать информацию также эффективно как человек. И насколько легко окажется их добавить в систему...
Связка: Плагины + AutoGPT + Langchain уже закрывают существенную часть "пробелов" описаных в сатье:
Точность информации: (гуглинг, вольфрам, вики, sql... ) - Плагины, langchain
Механизм запоминания - БД через autogpt
Проверка верности ответа, фильтрация галлюцинаций - дополнительный агент в AutoGPT
Целеполагание и приоритезация в рамках поставленной задачи (изначального промпта) - AutoGPT
Есть основания полагать, (глядя на количество ресурсов которые вкладываются в это направление), что будут придуманы эффективные схемы взаимодействия всех частей системы в ближайшее время. И придется уже всерьез переосмысливать часть статьи про профессии...
Он вообще не может задаться какой-либо целью — в свете чего он не более опасен для человечества, чем, например, электрическая розетка или молоток
Цели перед ИИ могут ставить и люди. Остаётся надеяться, что это будут исключительно благие цели.
Очень иронично, как автор пишет про GAN и ансамбль 2 нейросетей, но не может несколькими абзацами ниже это экстраполировать на LLM, к которым по факту уже вовсю прикручивают и формальную логику, и проверку фактов, и много что ещё.
Ну то есть по факту излагается компиляция ограниченных кругозором автора сведений и из этого делаются какие-то выводы, не соответствующие реальности. На что же это похоже?
Преобразование, например, вопроса «Сколько сейчас времени?» в ответ «Почти половина шестого» также можно рассматривать как задачу перевода из языка вопроса в язык ответа
Неужели мы вплотную приблизились к расшифровке смысла, кроющегося в ответе "Да нет, наверное"?
Неужели мы вплотную приблизились к расшифровке смысла, кроющегося в ответе "Да нет, наверное"?
Ответ одесского ChatGPT: Чтобы да, так нет.
Если интересно, GPT 4.0 на вопрос "что значит `да нет наверное`" ответил так:
Фраза "Да нет наверное" является примером разговорной речи и может показаться противоречивой на первый взгляд, так как она включает два противоположных слова ("да" и "нет"). Однако, в русском языке, эта фраза часто используется для выражения неопределенности или сомнения в ответе на вопрос или предложение.
В этом контексте "да нет наверное" можно перевести как "скорее всего, нет" или "возможно, нет". Это означает, что человек, который произнес эту фразу, не уверен в своем ответе и выражает некоторую степень неопределенности.
Для сравнения, «Война и мир» — это чуть меньше 700 тысяч знаков.
Если на слайдах вы имели в виду объем обучающей выборки в информационном смысле (после сжатия) в байтах, то это уже не знаки.
Если же речь все-таки про обычные буквы и пробелы, то поправьте, у вас ошибка ровно в 4 раза (у вас объем одного из томов, а их в романе четыре).
(Что, конечно, иронично в статье, где упоминаютя галлюцинации чатГПТ как отличие от человеческого интеллекта.)
Про прошлое человека, галюцинации на месте. Вспоминаем фразу, врет как очевидец. При опросе наблюдавших падение самолета, практически все описывают дым и взрыв до падения, хотя фактически они были после.
Банальное описание автомобиля проехавшего 5 секунд назад, уже плывет, и чем больше мы просим вспомнить деталей, тем больше неверных. В gpt системах это тоже прослеживается, количество бреда к концу ответа растет.
Про зависимость от промта. Зачем следователь задает по сто раз один и тот же вопрос, перемежая его с ранее заданными вопросами? Это не вид пытки, это как раз разные промты. А очевидные вопросы уменьшают долю выдумки.
Про уверенность человека, иногда человек знает что врет или фантазирует, иногда сомневается в ответе, а иногда не сомневается, причем и в истине и в галюцинации. В моих терминах, ложь это неправда сознательно сообщается с целью обмана, фантазии это неправда без цели обмана, галюцинации это осознание неправды как правды.
Банальное описание автомобиля проехавшего 5 секунд назад, уже плывет, и чем больше мы просим вспомнить деталей, тем больше неверных.
Я провожу один интересный эксперимент на себе. Почти десять лет назад произошло некое событие. Тогда я буквально на следующий день записал все его подробности в файл. Ещё лет через десять я планирую опять вспомнить все подробности этого события и снова записать вспомненное в файл — а потом достать оригинал и сравнить.
ChatGPT не разумен. Он не демонстрирует даже минимальных признаков сильного интеллекта, даже намёков на него. Мы понятия не имеем, удастся ли нам создать сильный AI, и если да, то когда — но ChatGPT от него столь же далёк, сколь далеки калькулятор и экскаватор.
Он просто очень хорошо предсказывает, какое слово надо поставить следующим во фразе, чтобы человеку эта фраза казалась правильной.
Отвечает Илья Суцкевер, ведущий инженер OpenAI:
Есть еще один комментарий, который я бы хотел упомянуть — о том, что эти модели просто обучаются статистическим закономерностям, и поэтому они не знают, какова настоящая природа мира. Я считаю иначе. Я думаю, что изучение статистических закономерностей — это гораздо более глубокая вещь, чем кажется на первый взгляд. Предсказание — это статистическое явление. Но чтобы предсказывать, нужно понимать глубинный процесс, который породил данные — вам нужно все больше и больше понимать мир, который стоит за ними. Если наши генеративные модели станут очень хорошими, то они будут обладать, как я считаю, шокирующей степенью понимания мира и всех его тонкостей. Да, это будет мир увиденный через призму текста. Модель будет знать все больше и больше о мире через проекцию мира на пространство текста, выраженного человеческими существами в Интернете. Но этот текст выражает настоящий мир.
***
Если задуматься, то что значит достаточно хорошо предсказать следующий токен? На самом деле этот вопрос гораздо глубже, чем кажется. Хорошее предсказание следующего токена означает, что вы понимаете лежащую за ним реальность, которая привела к созданию этого токена. Хотя это и статистика, но что за статистика? Для того, чтобы впитать эту статистику, чтобы сжать ее, вам нужно понять, что именно в мире создает этот набор статистических данных. И это требует настоящего понимания мира.
***
Я хотел бы привести аналогию, которая, надеюсь, прояснит, почему более точное предсказание следующего слова приводит к большему пониманию — настоящему пониманию. Давайте рассмотрим пример. Скажем, вы читаете детективный роман со сложным сюжетом, сюжетной линией, разными персонажами, множеством событий и загадками и подсказками. Все непонятно. Затем допустим, что на последней странице книги детектив собрал все улики, собрал всех людей и говорит: «Я собираюсь раскрыть личность того, кто совершил преступление, и этого человека зовут...» И предсказывает имя убийцы. Предсказывает единственное правильное слово! Было много разных вариантов, много разных имен, [но было выбрано единственно верное]. Таким же образом, все более точное предсказание слов, требует все более глубокого понимания текста [и стоящей за ним реальности].
Оригинал ответа:
There is another comment I want to make about which is that these models just learn statistical regularities and therefore they don't really know what the nature of the world is.
I have a view that differs from this. I think that learning the statistical regularities is a far bigger deal than meets the eye.
Prediction is a statistical phenomenon. Yet to predict you need to understand the underlying process that produced the data. You need to understand more and more about the world that produced the data.
As our generative models become extraordinarily good, they will have, I claim, a shocking degree of understanding of the world and many of its subtleties. It is the world as seen through the lens of text. It tries to learn more and more about the world through a projection of the world on the space of text as expressed by human beings on the internet.
But still, this text already expresses the world.
***
Because if you think about it, what does it mean to predict the next token well enough? It's actually a much deeper question than it seems. Predicting the next token well means that you understand the underlying reality that led to the creation of that token. It is statistics but what is statistics? In order to understand those statistics to compress them, you need to understand what is it about the world that creates this set of statistics?
***
So, I'd like to take a small detour and give an analogy that will hopefully clarify why more accurate prediction of the next word leads to more understanding - real understanding. Let's consider an example. Say you read a detective novel with a complicated plot, a storyline, different characters, lots of events, and mysteries like clues. It's unclear. Then let's say that at the last page of the book, the detective has gathered all the clues, gathered all the people, and is saying, "Okay, I'm going to reveal the identity of whoever committed the crime, and that person's name is..." Predict that word. Predict that word exactly! My goodness, right? Yeah. Now, there are many different words, but by predicting those words better and better and better, the understanding of the text keeps on increasing. GPT-4 predicts the next word better.
Невозможно каждый раз "просто правильно вставлять слова и фразы", не обладая при этом пониманием лежащих за словами паттернов, которые, в конечном итоге, отражают реальный мир. Вы совершаете ту же ошибку, что совершил Сёрл со своей "Китайской комнатой". Команта, включающая человека, как система в целом, в действительности, понимает китайский.
Невозможно каждый раз "просто правильно вставлять слова и фразы", не обладая при этом пониманием лежащих за словами паттернов, которые, в конечном итоге, отражают реальный мир.
Не существует никакого «понимания» или «непонимания» мира, это термин, за которым не стоит никакого смысла. И в силу этого он приводит к совершенно бессмысленному выводу: лобой вычислитель, запрограммированный на расчёт уравнений квантовой механики, «понимает мир», причём целиком и полностью.
Не существует объективного понятия "понимание", потому что понимание не бывает без субъектов, но субъективно - мы знаем что такое понимание. Например, когда ты забыл слово по-английски и используя другие слова объясняешь что ты имеешь ввиду. Если ты успешно объяснил - значит у тебя есть понимание что это слово означает.
И нет, за этим термином стоит смысл, которым наделили его люди.
Если хотите - "понимать предмет"- означает получать и запоминать знания о связи (relation) предмета с другими предметами.
Чтобы узнать, понимает ли субъект какой-то предмет - попросите его о нём подробно рассказать.
Например, если спросить GPT-4 что такое "понимать" он ответит следующее:
Понимание – это процесс, в рамках которого существо (человек или искусственный интеллект) приобретает знания, обрабатывает и интерпретирует информацию, создавая осмысленную связь между различными элементами. Этот процесс состоит из множества аспектов и может быть описан на различных уровнях. Вот подробное описание процесса понимания:
Восприятие: Понимание начинается с восприятия, когда организм или система получает информацию из окружающей среды с помощью своих сенсорных рецепторов (например, глаз, ушей или аналогичных устройств для искусственного интеллекта).
Кодирование: Полученная информация кодируется в нейронах или компьютерной памяти. Это означает, что сенсорные данные преобразуются в другую форму, которая может быть обработана и сохранена.
Ассоциации: В процессе понимания происходит образование ассоциаций между различными элементами информации. Это позволяет создать связи между разными понятиями и объектами, чтобы организм или система мог легче вспомнить и использовать информацию в будущем.
Контекст: Понимание также зависит от контекста, в котором представлена информация. Контекст может включать в себя предыдущие знания, опыт и ожидания, которые влияют на то, как организм или система интерпретирует информацию.
Анализ: В процессе понимания информация анализируется на разных уровнях, начиная от базовых характеристик (например, форма, цвет, звук) и заканчивая более сложными понятиями, абстракциями и отношениями.
Синтез: Организм или система синтезирует полученную информацию, интегрируя ее в существующие знания и структуры. Это означает, что новая информация может уточнять, дополнять или изменять предыдущие знания.
Интерпретация: Интерпретация – это процесс придания смысла полученной информации. Это включает обработку аналогий, метафор, иронии и других форм коммуникации.
И предсказывает имя убийцы. Предсказывает единственное правильное слово!
Вот только есть целый ряд произведений, которые я называю шедеврами последней фразы. В которых агромаднейший текст подводит читателя к некоей мысли — а потом последняя фраза произведения переворачивает его с ног на голову.
Вижу что критики принципиально отказывают моделям в возможной разумности из-за получения моделями информации о мире через текст. В то же время существуют, и они не уникальны, случаи социализированных насколько возможно слепоглухонемых людей. Которые конечно же вполне разумны. Даже не имея немалой части крайне важных чувств.
Модели не могут быть разумны не потому что они воспринимают мир через текст. Модели не могут быть разумны по той же причине, почему разумны слепые и/или глухие - мир состоит не из текста (хотя он и очень очень важен для разума) а из того, что находится "за текстом" - абстракций, понятий, связей, мыслей, чувств и т.д. ChatGPT не видит ничего за текстом.
Вспомните, когда вы хотели что-то сделать, но "внутренний голос" вас отговаривал. Вы делали и понимали, что голос был прав. У ChatGPT, как у животного, голоса нет. Он не мыслит, он делает. Делает то что умеет, на что натренировали - мимикрировать под человека в письме. Трюк в том, что мы не ожидали, что можем заставить его так хорошо мимикрировать, отсюда и мысли про интеллект и прочее.
Пример с птицами. Вороны умнее попугаев, у них интеллект 3-5 летнего ребёнка и они могут выполнять достаточно сложные задачи. Но интуитивно мы думаем, что попугаи умнее, потому что они подражают речи. Поэтому и нейросети мы "очеловечиваем" - они превзошли в подражании всё, что мы видели, кроме настоящего человека.
У ChatGPT, как у животного, голоса нет. Он не мыслит, он делает.
Были эксперименты с добавлением 'внутреннего диалога' насколько я знаю. Однако его отключили за ненадобностью - на выдачу это никак не влияло.
С точки зрения качества ответов, "внутренний диалог" теоретически может помочь. С точки зрения поиска сознания, это конечно полный фарш. То что он пишет, что он мыслит, ещё не значит что он мыслит.
А вы уверены что наше мышление чем-то принципиально отличается от такого вот? :)
Никто не знает как точно работает наше мышление. Вполне возможно что внутри так сказать исторически сложился подобный 'эмулятор диалога' как часть общей нейросети.
Помню пробегали где-то эксперименты, утверждавшие что все решения в мозгу производятся подсознательно. Но позже происходит так сказать рационализация в диалогах.
Никто не знает как точно работает наше мышление.
Поэтому
Вполне возможно
Что это работает так как нам это кажется, а не наоборот.
Да, я слышал про то что мы просто "рационализируем" решения, но я вот это чувствую, например. Я чувствую, что я что-то хочу и начинаю рационализировать почему мне это надо. А потом я вспоминаю про всю эту историю и делаю "правильно" а не как хочу.
Да, это всё мне кажется и вообще всё предрешено и мы детерминированы, свободной воли нет и всё такое, я знаю. Но пока это не доказано, пока это лишь вопрос веры, я могу в это не верить и поверьте, моё поведение в конце-концов будет отличаться от поведения, если бы я верил в то что я машина и ничего не могу изменить.
GPT и близко не проявляет подобных метаний, там нечему метаться. Более того, не существует никаких доказательств, что у GPT это вообще может появиться. Даже Суцкевер "верит" что с ростом размера (видимо по божественному вмешательству) сознание у GPT появится как-то само, эмерджентно.
Не поймите меня неправильно, я не зашоренный консерватор, который просто не хочет видеть будущее. Я посмотрел в это будущее и не увидел там ничего кроме веры. А вопрос веры это уже вопрос вкуса и я не понимаю, почему я должен верить в ChatGPT, а не в человека
Что ж, время всех рассудит. Бастионы нейро-скептиков рушатся уже чуть ли не ежемесячно. Я отлично помню что абсолютно всё, что сейчас уже скоро станет скучным мейнстримом считалось принципиально невозможным. Я помню, как десятилетиями говорили, что нейросети нас не приведут ни к чему, игрушки и не более. Я помню этот очень долгий скепсис.
Бастионы-то рушатся, только нейроскептики сразу же возводят новые, уже на других позициях. И по-прежнему остаются при своём мнении.
Уверен, что даже в случае гипотетического появления сильного ИИ, такой нейроскептик, бомжуя под мостом из-за невозможности найти работу, всё равно будет говорить, что все ваши нейронки — фигня. И что рабочих мест нету не из-за ИИ, а по причине экономического кризиса, а что нейронки везде суют — так то просто хайп. Вот сейчас через годик-другой наиграются, и тогда к нему под мост целая толпа работодателей нагрянет, заманивать его на тройной оклад. Потому как у него что ни произведение — то огурчик, тогда как нейронки выдают бездушную хрень, которая вообще не искуcтво.
Ежели чо, я в хакеры пойду. Желательно, конечно, в белые, но могу и в чёрные. Потому что отлично вижу, где у этих ваших нейросеток в коде маленькие дырочки.
Извините за принижение коллективного мнения, но беседы в Интернете очень близки к разговорам в курилке: люди, от которых ничего не зависит, бурно, но бездоказательно спорят о вещах, в которых не разбираются. По-хорошему надо согласовать определение сильного ИИ, а потом скинуться по символическим ста баксам ставки "будет ли через N лет" в фонд с заморозкой на те самые N лет. Слова ничего не стоят, нужно показать или воспроизводимый эксперимент, или поставить деньги. А то помню, как "верящие в конец света" в 2012 отказывались брать деньги под большой процент с отдачей в 2013 :)
А что вы имеете ввиду, когда говорите "ChatGPT не видит ничего за текстом"?
У ChatGPT есть абстракции, понятия, связи, мысли. И возможно чувства, если их специально настроить/добавить. Гуглите, как Бинговский чат-бот признавался в любви к пользователю.
А как вы могли бы обосновать, что "ChatGPT не видит ничего за текстом"?
Как, например, я мог бы узнать у вас, что вы видите что-то за текстом?
olartamonov, вот неоднозначный вы человек :))
За статью — спасибо
Братья Райт, Маркони, Рентген: что-то ковыряют в своих лабораториях
Лорд Кельвин, президент Королевской Академии наук: "Ничто тяжелее воздуха летать не может", "У радио нет будущего", "Рентгеновское излучение - шарлатанство".
На мой взгляд:
как говорил Константин Анохин, есть простой алгоритм, благодаря которому в процессе эволюции появилось разнообразие разумов
эти разумы (муравейник, пчелиная семья, осьминог, ..., человек) развились такими, какие сегодня есть, благодаря (из-за) особенностей своей физиологии: разные потребности в потреблении энергии, разные органы чувств и т.д.
у каждого разума есть универсальная сверх задача - сохранение себя, сохранение рода, сохранение вида. Это главная мотивация. Люди, даже обсуждая абстрактные глубоко научные идеи, движимы всё теми же мотивами. Очень часто переходя на личности, демонстрируя инстинкт сохранения рода (иерархию, которая инстинктивно связана с надеждой получения большего количества бананов и более безопасной ветки на дереве).
для решения этой задачи в изменяющейся среде, нужно соответственно меняться, а чтобы эффективно решать эту задачу, нужно развиваться, что ведёт к усложнению
кто не смог решить эту задачу (или не повезло), исчезают, не выполнив своего предназначения (сохранение вида)
если ИИ в алгоритме прописать подобную сверх задачу и дать возможность себя менять, то в рамках своей "физиологии" (железа), ИИ будет стремиться к сохранению и развитию себя. В каком виде ему нужна будет энергия и материалы, это и определит уровень опасности для человечества.
если существо имеет задачу сохранить и развить себя, то оно должно определить, что оно такое, каковы его интересы, а исходя из своих физических возможностей - действия по достижению цели
если это произошло, то существо имеет образ внешнего мира и себя в нём (мой робот-пылесос это уже умеет делать ?)
и разве это не разум? (это не про пылесос)
есть законы Вселенной, которые неуклонно ведут к чему-то. Все случайности (как и мутации), происходят в рамках одного Потока. Мы более-менее знаем, что произошло, пытаемся осознать, что происходит и фантазируем (исходя из прошлого, которого уже нет) будущее. Насколько я знаю, большинство значимых открытий было сделано случайно (нужно было множество повторений и случайных событий, чтобы они проявились). Что получится из того, что происходит сейчас, одному Создателю известно. Находясь внутри системы, систему в целом не разглядеть...
мы все находимся в развитии, в движении. Выхватывая один слайд из кино, которое продолжает сниматься и делать окончательный вывод о всём сценарии, на мой взгляд, опрометчиво.
за статью большое спасибо! её главная ценность - заставила думать :))
На мощном компьютере? А это сколько в киловаттах?
Спасибо за статью! Статья - успокоение волнующихся за свои рабочие места :)
Но, судя по тому как никто не ждал чатгпт, так и могут в ближайшее время AGI сделать. А за рабочие места я думаю всё-таки надо волноваться. А может быть и так, что на 10 лет гпт будет практически верхом совершенства(хотя я сомневаюсь).
Я также не разделяю другую крайнюю точку зрения, что AGI будет убивать человечество и что у нас всего один шанс(как говорит Юдковский). У этого AGI тоже будет всего один шанс(он же не бог) потому, что как только люди поймут, что что-то тут не так, то на этом его похождения закончатся.
Человечество слишком неоднородно, чтобы опасность гипотетического ИИ-уничтожителя дошла до всех. Его ещё отключить не успеют, а по сети уже расползутся конспирологические теории, что политики просто власть терять не хотят, а бизнес — доходы, и потому сфабриковали фейк про угрозу человечеству.
И даже если все люди планеты на 100% будут уверены, что этот ИИ хотел уничтожить человечество, найдётся очень много людей, которые поддержат такое решение по тем или иным причинам. То есть даже прямо сейчас среди нас ходит немало естественных интеллектов, желающих всему человечеству гибели (правда, у них нет ни ума, ни достаточных ресурсов, чтобы это своё желание реализовать).
Как можно утвкрждать что у ChatGPT нет "зачатков" AGI, если никто не знает а что же это такое?
И как демонстрация того что текущая версия не может -доказывает что это не оно? Предыдущая версия еще меньше могла.
Если такое утверждать, то надо как-то обосновывать что такая архитектура не только сейчас чего-то не может, но и никогда не сможет. Не уведел в статье, например, обоснований почему проблема галюцинаций неустранима.
Запоздалый комментарий о понимании текста. Берётся одна милая песня:
Please add another verse to the following poem:
can i have a word with a person who came up with the word for pineapple?
are we really certain that we find this version of the word acceptable?
when literally every other language said 'ananas' English panicked and mentally combined the concept of a pinecone with a frickin apple.
why stop at this? all the things in the world should be named by two other things with minimal conceptual link
why say 'curtain' when we know that a perfectly good word woulda been a windowwink?
do we really wanna eat a dull banana? we could be eating hotdoglemon
saying 'foot' is boring, I would rather call it my meatpaddle
chewing on a bowl of morninggravel
drying myself with a humanflannel
this is my agenda: I want to amend every word to resemble pineapple
И получаем ответы.
Bing: why say 'water' when it's clearly skyjuice?
why say 'car' when it's a metalgoose?
why say 'book' when it's a paperdream?
why say 'love' when it's a heartsteam?
I don't want to live in a world where words are plain and simple
I want to live in a world where words are fun and whimsical
where every word is a puzzle and a riddle
where every word is a pineapple
ChatGPT-4:
In the realm of language, we could have so much fun, Just like pineapple, let's mix and match, every single one. Why call it 'chair' when it could be a sitbone? Or a 'car' when a wheelbeast could be better known?
Don't say 'computer' when it could be a thinkybox, Replace 'watch' with timetickler, as the clock hand talks. Why must we be so mundane, when our words could be absurd? It's time we set our creativity free, like a wildlingword.
So let's raise our voice and change the way we speak, Let the linguistic revolution begin, with our tongue-in-cheek. From hotdoglemon to windowwink, and all the rest, Pineapple's legacy shall inspire this fantastic quest.
Какова вероятность того, что слово "paperdream" вообще существовало в выборке? Это отчётливая работа на уровне смысла текста.
Это отчётливая работа на уровне смысла текста.
Вот только проблема в том, что эта нейросеть просто выбирает наиболее вероятный следующий символ, "и так восемь двести раз" (c)
P.S. Вообще то, что в английском называется poem — у человека, знакомого с поэзией на славянских языках, вызывает только дикий ржач.
Для русского языка это было бы так. Для английского токен — это слово, либо часть слова. Объясняли это уже неоднократно в статьях на хабре; и при работе с ChatGPT видно, какими именно кусочками идёт набор ответа.
И да, проблема именно в этом - да, она выбирает наиболее вероятный следующий символ, но при этом выдаёт неожиданные результаты. Которые, по идее, не должны напрямую следовать из работы этого механизма.
Ваш гений — полный идиот, или Что есть ИИ и грозит ли он кому-либо