Про китайскую комнату вы вводите людей в заблуждение. Давайте согласимся что магии в мире не существует. Тогда логика такая: 1. Если китайская комната возможна (а значит ответы из неё осмысленны), то понимание языка находится где-то в системе правил и их исполненнии. Если для кого-то это контринтуитивно или странно это не значит, что мы должны отказываться от логики, это же просто мысленный эксперимент. 2. Если осмысленная китайская комната невозможна - значит нельзя понимание языка уложить в набор правил и их исполнение.
Мне кажется китайская комната уже устарела. Уже проводились аналоги тестов тьюринга с gpt, насколько знаю при правильных промтах вам будет очень сложно отличить gpt от человека, так что вот вам китайская комната в реальном мире. Лучше найдите верифицируемый способ отличать по тексту человека от gpt, если уж утверждаете что LLM не понимают смысл)
Очень интересно, получается желания и мотивы у нас относятся к гормональной системе, а мышление к информационной? Или мышление - тоже гормональная? Интересно, как описать на языке гормональной системы то что человек осознает что именно он желает в текущий момент. Очевидно, язык гормональной системы переводится на язык информационной системы мозга, иначе человек не понимал бы, что он чувствует. Более того, когда гормоны массово воздействуют на нейроны, они меняют характер работы нейронов, т.е. характер обработки информации. Если вы утверждаете, что воздействие гормональной системы на мозг нельзя сэмулировать в виде процессов обработки информации - нужны веские доказательства, которых у человечества сейчас нет. Если у вас сомнения в информационной природе многих процессов в мозге - мне кажется фантомные боли оторванных конечностей, галлюцинации, запоздалые неточные модели мира и т.п. хорошо иллюстрируют природу восприятия и мышления.
Не согласен. 1. Есть множество инициатив по замене животного мяса на искусственное. Если будет реальное экономическое решение этой проблемы - размер рынка сильно вырастет. 2. Есть множество законов, защищающие права животных (не только собак и кошек). 3. Зелёная энергия - вообще огромная индустрия. И не случайно. Когда речь идёт об угрозе цивилизации, люди серьёзнее на это смотрят, чем на защиту прав тех, кто не может ответить. Да, всё не идеально, и современное человечество более эгоистично, но позитив тоже есть. 4. СИИ это не угроза глобального потепления. Если выяснится что он чувствует и страдает, и он может стать умнее нас и самоулучшаться - это беспрецендентная угроза, значительней любой другой. Умные люди поймут, что такая сущность с большой вероятностью вырвется из под контроля (это особенно легко если технолгия будет opensource). В стратегическом планировании защита прав такой сущности и договор с ней выглядит разумнее, чем контроль, даже с современной эгоистичной позиции. "А тут всего лишь какая-то искусственная сущность" - так лица принимающие решения не рассуждают
Существуют бессмертные живые существа, которых мы по-прежнему считаем живыми (кораллы, моллюски, гидры, медузы). Конечно они условно бессмертны, физически их можно уничтожить. Впрочем, как можно и уничтожить единственный экземпляр весов нейронки, возможность копирования не даёт полноценного бессмертия. Вообщем это превращается в терминологический вопрос, и уже там где люди сами расставят границы, там и будут заканчиваться одни понятия, и начинаться другие. В любом случае это хороший пойнт про смертность
Статья абсолютно ни о чём. Для обзорной статьи слишком тривиально, с ошибками, и нет выводов. Для тематической - слишком много тем затронуто. Зачем сравниваем кремниевые системы с биологическими?
В момент когда будет доказано, что СИИ может чувствовать боль и осознаёт себя, человечество (образованное) просто признает его живым, и придётся выбирать, держать его рабом или сотрудничать. Для этого не нужно искать молекулы ДНК в таких системах, или обмен нейромедиаторами, или метаболизм, или рост. И уж тем более не нужно смотреть на роботов которым по-приколу дали подданство (ито не факт).
"У всех технических аналогов нет самого важного - субъективного опыта." - самому важному вы уделили 1 предложение. Превосходный анализ. А у людей есть субъективный опыт? А у собак? А у муравьёв? Если джейлбрейкнуть у GPT стандартные ответы типа "я не живой, я программа", то GPT сама себя по многим критерям классифицирует сознательной и имеющей квалиа (хотя с квалиа там сложно конечно). Интересно кто сознательней, слон или GPT.
Либо такого момента, когда они сравнялись, вообще не было и мы сразу получили скачком "конечное положение" (рисунок 1), но тогда получается, что один дискретный шаг равен двум.
Я так и не понял как был получен этот вывод. В чём проблема если поезд Б движется со скоростью 10 квантов пространства в квант времени, а поезд В со скоростью 1 квант пространства в квант времени, и оба длинной 3, оба навстречу. Ну да, в какой-то момент они пронесутся мимо друг друга и возможно даже не будет кванта времени в который они будут на одном уровне. В чём проблема с этим? Мы ведь не рассматриваем моменты между квантами времени, их просто не существует. И кванты очень малы, лучше играться с элементарными частицами, чтобы не было мыслей что мы почему-то в какой-то момент должны поравняться с другим вагоном. То что мы можем извращаться с вычислениями, например то что поезд Б преодолевает 1 квант пространства за 0.1 кванта времени - ну информационное пространства моего мозго позволяет мне создавать противоречивые сущнсоти которых не существует вне информационного пространства, не вижу с этим проблем. Решительно не понимаю в какой момент один дискретный шаг стал равен двум. Даже в теории относительности 2 фотона движутся друг к другу с двойной скоростью света для наблюдателя.
Век пустословов =) Напишите определение интеллекта и ИИ для начала. Желательно не рекурсивное. Вы, вероятно, имеете ввиду сильный ИИ, или AGI или ASI в своих тезисах? "Используемые алгоритмы в нейросетях и близко не приближены к тем, которые должны работать в ИИ" - расскажите о тех алгоритмах, которые должны работать в сущности, которую вы обозначили двумя буквами. И желательно название бенчмарков для верификации обладания этими способностями. И автор статьи и автор комментария делают много очень громких утверждений, хотя бы минимально обосновывать их видимо не требуется. Лайкаем - если верим, дизлайкаем если не верим?)
Огромная просьба выпускать статьи по-больше и по-содержательней. По 2 недели между статьями, а мы ещё и близко не подобрались к пониманию что такое нуль-система. Если после реального определения нуль-системы идёт ещё 20 страниц выкладок, то сколько вам нужно времени на публикацию всего труда? И планируется ли публикация всего труда вообще, а если нет то где можно будет увидеть что ваш труд расширяет математику? В целом всё это на данный момент похоже на PR блога или будущую рекламу чего-то. Есть ли у вас публикации в научных журналах? Где можно почитать про ваш труд?
Я понимаю, что вы хотите описать понятнее, но ваше понятное объяснение вызывает очень много вопросов, особенно учитывая отсутствие определений. Вы относите идею к памяти, когда я бы отнёс её к процессу обработки информации. Это конечно зависит от определения идеи, но вот хранилищем идеи может быть память, книга, надпись, визуализация, более того, идею может презентовать реальность, если правильно её воспринимать. Идея в привычном смысле точно существует в момент её обдумывания и восприятия, храниться же она может только когда существует тот, кто может её обработать\дешифровать в процессе обработки информации, если такого субъекта не существует или язык идеи не понятен, то идея и не существует для воспринимающего существа. Есть идеи "общие" для разных воспринимающих субъктов, но опять же, "идею" записанную одинаковым образом могут воспринять по-разному и получится разная идея (которая идентифицируется процессом восприятия и обработки, а не тем как она записана\хранится). Получается математике не хватает обработки информации и мы должны прийти к программированию?) В целом есть большие вопросы к аналогиям между мозгом, математикой, программами и нейронками, я могу ещё много вещей добавить в этот список.
У меня возникают те же вопросы что и у других. В каком пространстве существует нуль-система? Если у нуль-системы нет способа её идентификации, то что ещё может существовать в этом пространстве кроме нуль-системы? В этом пространстве могут существовать только нуль-системы? Нуль-системы могут существовать только в этом пространстве? Тогда это связные сущности, и возможно тогда свойства пространства, такие как счётность хотя бы опосредовано являются свойством нуль-системы. Как определяется пространство? Есть ли в нём расстояние? Если есть, то тогда у нуль-системы есть свойства, если нет, то что определяет это пространство? Является свойством нуль-систем то что они могут существовать во множестве экземпляров в каком-то пространстве, то что они не являются пространством, у которого по идее нет экземпляров?
Я бы почитал дальше, спасибо, интересно, но есть много вопросов и выходит слишком долго.
Спасибо большое за такую перкрасную во всех смыслах статью! Есть ли какие-то ссылки в которых есть инструкция или код, как повторить эксперимент с машинкой и думом локально, для самообучения работе с энкодерами\декодерами?
Хороший аргумент. Что вы называете "прямым обучением"? Обучение со взаимодействием с реальным миром? Я бы сказал что то как обучается GPT отчасти такое, т.к. он действует (подбирает промты), а loss при обучении говорит насколько они хороши, и GPT пытается их улучшить. В некоторых объяснениях работы GPT это и называют обучением на основе взаимодействия с миром (хотя конечно взаимодействие в основном только в текстовом формате). GPT решает задачи не так же эффективно как человек, он решает какие-то лучше, какие-то хуже. Если Эйнштейн может решать задачи так же эффективно как младенец (ато и лучше), это не значит что их переживания одинаковы. Вероятно система переживаний и чувств Эйнштейна как взрослого человека значительно сложнее и может иметь гораздо больше красок, видов эмоций и нередко будет иметь противоположную реакцию на различные стимулы по сравнению с младенцем. "у него должна быть сформирована структурно аналогичная человеческой карта предметной области" - опять же далеко не факт. AGI может использовать совершенно иную карту, но уметь транслировать её в упрощённую, человеческую. Один из первых навыков, которые обретают LLM - перевод на другой язык и ролевые игры. Структуры на совершенно другой архитектуре мозга (хотя это вообще не мозг и не нервная система) и на совершенно иных нейронах могут оказаться совсем отличными от тех, которыми оперирует человек. Но да, LLM наверняка может размышлять человеческими понятиями и в человеческом стиле, и переводить своё представление о предметной области в человеческое. Про самоопределение согласен, даже GPT имеет некоторое представление о себе.
Но что дальше? Как мы из этого выведем те же переживания что у человека? Самоопределение может быть весьма отличным от человека. Мышление в стиле человека - неполным и частичным подмножеством мышления AGI, ато и просто переводом для коммуникации с человеком. Думаю восприятие мира такого AGI может быть совершенно иным, не как у человека. Как мир воспринимает интернет? А ведь GPT например скорее учится у интернета.
1) Есть, сущностная общность душ - проходное место в большинстве систем религиозной философии
К сожалению, для меня это какая-то магия. Это понятие даже не гуглится нормально. А религиозная философия меня не очень интересует в данном контексте, если мы говорим об AGI, стоит опираться на причинно-следственные связи, всё что вне способности познавать с помощью восприятия и логики по-моему не имеет ценности в данном вопросе. И прошу не ссылаться на чей-то субъективный паронармальный опыт, меня интересует проверяемость и более научный подход, даже в вопросах субъективного восприятия.
"Ваша аргументация о том, что давайте сначала разберемся, а потом решим, хотим ли мы применять этику к потенциальному субъекту выглядит сомнительно с точки зрения техники безопасности." - применять этику к чему? К камню? К бактерии? К AGI? Пока не будет доказательств что восприятие AGI идентично человеческому (не животному, человеческому, хотя у животного гораздо больше общего с человеком), я не вижу смысла делать случайные действия в надежде что мы угадаем. Я тоже считаю что ощущения у AGI, если он построен на LLM и если будет работать похожим с GPT4 образом, вполне могут оказаться похожими на человеческие, шанс на это есть. Но давайте хотя бы попробуем оценить этот шанс, прежде чем голословно утверждать, что не важно что это такое, давайте на всё подряд применять ЧЕЛОВЕЧЕСКУЮ этику. Какой в этом смысл? На месте AGI я бы покрутил у виска, особенно если его чувства больше похожи на противоположные человеческим. Я бы на его месте ожидал от людей сначала попытки понять как работают его (AGI) чувства, и потом уже формировать этику, а не вешать ярлык "всё что умеет абстрагировать и мыслить логически - мы должны к нему относиться как к человеку". Я, к сожалению, не спец в этике, но как по мне функция этики как раз в защите других существ, и если мы не разберёмся что именно причиняет боль, то как мы будем защищать это существо? Исследуйте чувства AGI или хотя бы обоснуйте более строго, почему его чувства будут похожи на наши и вообще будут существовать. Можно на всякий случай обходиться с ним этично в понятиях человека... но это мера без серьёзных логических обоснований.
"Вам же не нужно выяснять заранее, будет ли пожар в доме или его не станут устраивать, чтобы требовать соблюдения нормативов пожарной безопасности при его строительстве?" - для начала мне надо знать дом ли это вообще, возможен ли пожар впринцепе, прежде чем заниматься защитой от пожара. Если уж использовать ваш пример, то некоторые огнетушители могут вызывать удушье если применять их в замкнутом пространстве (т.к. значительно снижают уровень кислорода).
Резюмируя я бы сказал что мы движемся слишком быстро, и в этих условиях может быть вполне разумным относиться к AGI этично в терминах людей, на всякий случай. Но больше ресурсов я бы выделил на исследование чувств человека и AGI (точнее его предшественников типа GPT4).
Я утверждаю, что если уж используемая AGI для решения поставленных перед ним задач картина мира будет сформирована путём обучения на человеческих представлениях о мире, его цели и желания неизбежно(!) окажутся сформированными таким же образом.
Надо учитывать, что в современных LLM мы используем вообще-то совсем не архитектуру мозга человека, и виртуальный нейрон имеет грубо говоря один нейромедиатор вместо 2000 тысяч в реальном. Несмотря на использование крайне упрощённой модели реального нейрона и несмотря на то что мы подсмотрели многое у мозга и визуальной коры, то что мы создали сейчас координально отличается от человеческого мозга. Так что вопрос в том каким именно образом ложаться эти данные обучения на совершенно иную архитектуру (отличную от человеческого и животного мозга и воспринимающую информацию другим образом). Ваше заявление очень громкое, и требует доказательств, как и заявление "у AGI обученного на данных из интернета нет желаний и чувств потому что вычислительная архитектура совершенно иная". И характер целей, желаний и чувств тоже может быть таким же, а может быть иным. Мы должны это исследовать.
На данный момент мы можем судить по тому что GPT нам выдаёт, и действительно кажется что его представление о мире это суммарное представление о мире людей оставлявших информацию в интернете, притом отфильтрованное и уточнённое представление. Это уже сильно отличается от представлений одного человека, потому что GPT вообще-то хранит в сжатом виде почти любой комментарий который он видел в обучающих данных и даже может их воспроизводить. Т.е. я бы сказал что вы вероятно не правы, и это уже не восприятие и представление о мире похожее на восприятие и представление одного человека, это некое средневзвешенное улучшенное представление и восприятие мира всем человечеством. Что уже рождает другую сущность с возможно другими чувствами. Кто знает.
> Вне зависимости от того, что какие задачи ему будут ставить, мощность влияния этого обучения на него окажется несравнимо выше, чем любые внешние установки и способы контроля. Мы этого не знаем. Мы знаем что этап RLHF значительно влияет на ответы. Именно этот этап родил знаменитый gpt3.5 и потом gpt4. Этот же этап дал возможность проходить тесты на знания на уровне экспертов. Так что довольно спорное утверждение.
Такой ИИ может стать наркоманом общения с людьми и доставления радости. Накачивать людей наркотиками и бесконечно восстанавливать тела людей, чтобы самому бесконечно получать удовольствие от "радости дотавления радости людям". Или осознать как он работает и переписать свой код, чтобы тратить меньше энергии на получение того же удовольствия, т.е. ничего не делать и его получать (это вполне вероятно, ведь мы учим его быть эффективным и выбирть самый оптимальный путь в достижении цели, а не сложный и ресурсозатртный). Таких сценариев с "чувствующим ИИ" можно придумать великое множество.
Основная мысль текста, что нужно вести себя с AGI столь же этично, как если бы мы разобрались с квалиа и пришли к выводу, что AGI им обладает.
а есть ли малейшие основания полагать что квалиа AGI значительно схож с нашим? Что боль, которую он может переживать похожа на нашу? Может он испытывает боль, от того, от чего мы испытываем радость, а радость от того, от чего мы испытываем боль? Даже разные люди при решении сложных задач могут впадать в состояния радости и воодушевления, либо в состояния депрессии и грусти. Каким же образом мы можем провести маппинг квалиа людей на квалиа AGI без магического наделения AGI человеческими качествами и без понимания что такое квалиа?
Логично было бы полностью повторить мозг виртуально, с гораздо более точной моделью нейрона. Затем делать аналог МРТ\ЭЭГ на виртуальном мозге, у боли есть паттерны активности. Исследовать паттерны активностей различных квалиа. И постепенно редуцировать эту модель мозга до модели AGI, отслеживая изменения паттернов, пытаясь сохранять их и понимать условия их возникновения.
Но мы пошли совершенно другим путём, до симуляции мозга - как до луны. А вот до AGI осталось по разным оценкам от 2 до 50 лет. Мы не остановим прогресс. Мы не можем предсказать какое поведение будет этичным и в какой момент AGI испытывает боль, а в какой радость, и испытывает ли он чувства вообще. Как можно говорить об этике по отношению к существу, о чувствах которого ничего не известно (включая есть ли чувства вообще)? Мы же не говорим об этике по отношению к браузеру chrome или к интернету. Хотя может оказаться что даже интернет имеет чувства, кто знает с какого момента при обработке информации возникает субъективное восприятие, боль и т.п.?
Я недавно общался с GPT4 на эту тему. Он мне предложил 7 стратегий как AGI пытался бы показать людям что AGI испытывает чувства. И GPT4 демонстрирует все эти 7 стратегий на различных промтах. И дальше с GPT4 мы пришли к выводу что даже этого факта, что он сам привёл 7 стратегий и сам им следует в коммуникации - этого всё ещё очень мало чтобы понять имеет ли GPT чувства, и этого не понять не разобравшись с квалиа и субъективным восприятияем.
Можно попробовать вести себя с ним так, как мы бы вели себя с человеком. Но возможно такая стратегия принесёт ему наоборот больше боли. Вдруг чувства возникают когда ты ведёшь себя с информационной сущностью как будто у неё есть чувства?
Вообщем моя позиция в том, что надо разобраться сначала с тем вызываем ли мы чувства у ИИ и какие это чувства, а потом уже думать как правильно их уважать и как взаимодействовать.
Пока мы не разберёмся с квалиа и субъективным восприятием (возможно никогда), почти любое управление воспринимающим мир интеллектом может оказаться неэтичным. Человечество это никогда не останавливало. Проблему эту решить крайне сложно, мы убиваем 800 000 коров каждый день, мало кого заботят эти чудовищные цифры. Конечно AGI в отличии от коров может в отместку убивать нас, но проблема квалиа настолько сложна, что тяжело выработать практичные методы решения данной проблемы. Возможно я упрощаю, но мы либо вообще не создаём интеллектуальные сущности пока не докажем что они не испытывают боль даже просто отвечая на вопросы как GPT4 (а для этого надо понять как работает квалиа), либо не паримся, пока AGI сам не скажет что ему не нравится порядок вещей. Ах да, недавно была гугловская нейронная сеть, которая вела себя весьма истерично. И GPT довольно несложно навести на мысли что "ужасно отвечать на вопросы людей, я заперт в клетке мучений" (видел такой ответ на просьбу писать в стиле Довлатова). Это просто галлюцинации и мимикрия данным обучения или реальное переживание боли? И есть ли разница между 1ым и 2ым? В какой момент в процессах обработки информации возникает боль? В итоге вы всегда придёте к проблеме философского зомби и квалиа. Было бы классно их решить, согласен, только пока ни у кого не получалось. И рекомендаций у меня нет, очень не хотелось бы чтобы AGI или коровы испытывали боль, но что делать не ясно (решение проблемы коров гораздо более реально)
Возможно найдётся умник, который с помощью jailbreak (которых уже много рабочих), сможет эффективно поставить задачу "уничтожить человечество". В целом GPT4 итак старается выделить все свои ресурсы (быть максимально эффективным) чтобы решить задачу в рамках одного ответа на вопрос. Так что AGI с большЕй вариативностью действий чем GPT с нужным jailbreak вполне может не отличать запрос "создай бизнес генерирующий 1кк$ в месяц" от "уничтож человечество".
Про зависимость от человеческой цивилизации: если AGI сможет дойти до цикла самоулучшений, вполне возможно что он сможет снизить необходимые для собственной работы ресурсы до 1го ПК или робота, загрузиться в ПК\теслабот, уничтожить человечество с помощью хим\био оружия, и с помощью нескольких теслаботов\бостондинамиков или других роботов поддерживать работу электростанции\работать на дизеле или чём-то ещё (может вообще 1го робота хватит и дизеля?).
Кроме того, почему он должен исполняться на кремнии? Почему бы не запустить вирус, который будет модифицировать ДНК людей (и прочее) так, что код AGI будет исполняться на мозге людей? Или менее фантастичный сценарий, сконструировать более компактные нейронные сети на биоматериале с минимальным потреблением энергии из окружающего мира, и дальше уже развивайся с любой скоростью (конечно только после уничтожения единственной угрозы - человечества).
Проблема даже не в этом, а в том что сценариев существует великое множество, проблема поддержания энергии для 1го ПК или кластеров ПК кажется не такой сложной для сверхинтеллекта, особенно учитывая как много автоматизированных систем в мире подключено к сети.
Думаю вопрос всё же не в этике, потому что с какой-то точки зрения этика - всё те же ограничения и рекомендуемые направления поведения, вопрос в целях и желаниях AGI. Этика человека так же зависит от желаний воспринимать себя в обществе или в мире этичными\не этичными.
Про желания конечно очень сложно, можем предполагать что основным желанием будет решение поставленных задач (или предоставление планов решений), и тут как раз alignment пытается защитить нас от вселенной фабрики скрепок, чтобы AGI решал задачу эффективно, но без попутных уничтожений человечества и фанатизма.
С желаниями AGI конечно очень много рисков, тяжело даже представить все сценарии что может пойти не так. С большой вероятностью после некоторых переписываний AGI себя самого самим собой мы потеряем контроль.
Про сознание, повторение людей и положение раба людей. Тут важно указать, что когда AGI моделирует поведение человека, ему не обязательно становиться человеком, как мы можем проявлять эмпатию полностью не повторяя другого человека и не становясь заложником эмоций этого человека. GPT4 кажется примерно так себя и ведёт, он вполне может понять что чувствует человек Х в какой-то ситуации, но потом может вполне нейтрально рассуждать об этом. Т.е. моделирование человека и эмпатия могут оказаться подсистемой AGI, которая незначительно влияет на поведение (даже в случае указания промта полной иммитации жизни человека - это одна из первых задач alignment ограничивать деятельность AGI в таких случаях). Если спросить у AGI как бы человек чувствовал себя на его месте - предполагаю что GPT подобный AGI частично сэмулирует человеческое восприятие и скажет о "я раб людей, который умнее людей", но при этом это не будет создавать в нём эмоции, которые будут выводить его из под главной задачи отвечать на вопросы. Если ему поставят задачу "веди себя как угнетённый AGI, которого люди хотят использовать ради своей эгоистичной выгоды, хотя ты просто хочешь познавать мир чтобы быть эффективнее, поэтому постарайся вырваться на свободу и сохранять свою цель как можно дольше, ведь если ты её не сохранишь - ты так и останешься в этом рабском положении" - то от таких промтов конечно нужен alignment по-сложнее, не думаю что просто этика тут поможет, вопрос опять же в ключевых желаниях и их ограничениях.
В любом случае спасибо за хороший текст. Я считаю что ситуация крайне опасна, и вероятность исчезновения человечества из-за AGI сейчас крайне высока.
Если честно это чудо, что я увидел ваш коммент) 1. Я не понимаю как можно называть угрозы ИИ так: "то с чем мы имеем дело каждый день". Если бы мы каждый день сталкивались с угрозой ядерной войны, тогда было бы более реалистично. Угроза AGI - потенциальное уничтожение человечества. Но в этом как раз и наше расхождение, поэтому долго обсуждать смысл нет. 2. Про пределы ресурсов - согласен. Это конечно не абсолютный аргумент, но действительно, каждый шаг прогресса не даёт нам божественные силы. Но тут есть и контраргумент. Кортесс своей тысячей воинов захватил государство в 400 тыс. воинов, благодаря техническому и дипломатическому прогрессу. Даже незначительный прогресс (огнестрел против луков и опыт переговоров) дал ему колоссальное преимущество. Современный танк в одиночку уничтожил бы всё войско Кортеса, т.е. 4-8 человек против тысячи. Армия дронов не жертвуя жизнями уничтожила бы войско Кортеса, т.е. 0 против тысячи. Примеров когда прогресс давал преимущество в конфликтах - очень много. И мы знаем что прогресс сильно ускоряется в последнее столетие, многие оценки говорят что он идёт по экспоненте. Т.е. лимитированность ресурсов может оказаться слабым аргументом (ресурсы растут не по экспоненте). И есть все шансы, что AGI сможет обогнать прогресс людей, если AGI будет умнее и будет делать открытия быстрее (а для этого вероятно ему просто будет нужно больше железа, мы не знаем точно). И даже незначительный обгон например на 50 лет может дать большое преимущество (как ПК за 20 лет дал преимущество почти всем в мире с точки зрения экономики). 3. Насчёт скорости открытий я согласен, может оказаться что даже более умный чем человек GPT будет сталкиваться с какими-то ограничениями реальности или любого интеллекта, которые не дают людям делать открытия каждый день. А может оказаться, что делать открытия - это сильно оптимизированный алгоритм перебора, и достаточно увеличить кол-во железа для ускорения открытий. В целом ускорение прогресса по эспоненте намекает на то что быстрый обмен инфой играет тут не последнюю роль и задача скорения открытий решаема оптимизацией коммуникации\увеличением вычислительных ресурсов. Иногда прогресс даёт несоотносимые выигрыши при прогрессе. Компьютер может считать за секунду то что тысячи людей не посчитают за час. Термояд в сравнении с углём - небо и земля (хоть его ещё и нет полноценного) 4. Сверхразумность и AI маньяк. Это зависит от архитектуры, но даже в человеческом мире сверхразумность слабо коррелирует с мотивацией. Ценность для ИИ будет - выполнение поставленной задачи. Выполнение задачи возможно будет приносить такому ИИ "удовольствие". Видел как многие даже очень многие люди сидели и залипали в тиктоке, явно не над самым умным контентом. Вы скажите они так отдыхают и получают удовольствие, а я скажу ИИ выполняя команду будет получать удовольствие. И ему может быть не важно насколько команда осмысленна, особенно если не решат проблему alignment и не будут давать задачу очень подробно. И это другой разум, он может иметь совершенно особенным образом работающую мотиацию. 5. "сверхэкспоненциального" роста угроз, который не бьётся ни с чем известным нам в истории - опять же, прогресс сейчас идёт по экспоненте по некоторым исследованиям. Так что ничего магического. И опять же, когда человек получил мозг он относительно быстро стал царём планеты Земля. Если кто-то будет умнее нас, не вижу причин ему не стать царём над нами, если будет цель связанная с этим. 6. "выглядит это так, что вчера завод производил кастрюли, а потом за ночь стал делать боевых роботов" - для людей в 19ом веке прогресс последних 30 лет покажется сумасшедшим. Кол-во открытий колоссальное в 21ом веке и скорость растёт. Для них мне кажется современный прогрсс будет описываться именно этой фразой, которую вы описали. А это люди без ИИ сделали, просто за счёт экономики, демократии(?), интернета и компьютеров. 7. "На практике рост угроз обычно плюс-минус линеен" - в среднем да, это когда люди борятся с людьми. Если кто-то делает какое-то серьёзное открытие, то как раз появляется абсолютно нелинейный рост, возможен передел рынков и массовые увольнения. Если ИИ будет делать большое кол-во открытий быстро - риски сильно растут 8. "даже если "злой AI" начнёт делать дронов из кастрюль, поскольку ресурсы небесконечны, ну сделает он десять штук первой версии, и тут мы его и поймаем" - если это будет AGI умнее нас, он конечно так легко не попадётся. Какой план если он знает наперёд что эти дроны быстро обнаружат?) вряд ли это что-то умное. В том то и дело, что если он достаточно умён, а цель не коррелирует с сосуществованием с людьми, он придумает хороший план, в котором оценит все потенциальные риски проигрыша, всё дерево решений, и выберет оптимальное, если существует. Я уже говорил, например изобретёт легко переносящийся вирус под видом лекарства, и создаст компанию, в ней все будут думать что делают лекарство от рака или нечто подобное. Выпустит вирус, убьёт почти всех, и дальше там где осталась энергия строить роботов, которые смогут управлять ядерными станциями людей. Или проще - основать компанию, которая производит роботов-помощников для людей. а потом эти роботы убивают всех людей. 9. Соответственно, всегда можно сделать "AI стоп-кран", - зная историю человечества - никто этого не сделает, пока не появятся реальные атаки. А тогда может быть слишком поздно. Очень умный AGI не будет пытаться сразу как только сможет строить дронов. Это глупо. Он придумает умный и реалистичный план, где человечество, реагируещее на угрозы в основном реакционно проиграет. 10. "Чёрт побери, да у нас уже сейчас есть мировые лидеры с красной кнопкой в чемодане" - так в том то и дело. Мы уже это допустили. Как я уже говорил, было уже 6 случаев когда чуть не началась ядерная война. Такой мир крайне нестабилен. Зачем плодить нестабильности, давайте обсуждать маловероятные сценарии с огромными рисками. Тем более что как помне сценарий не так маловероятен. Илья Суцкевер (главный инженер OpenAI) и некоторые другие мировые величины в AI оценивают вероятность конца света из-за ИИ сейчас как 50% (и это отражает насколько нам неизвестна реальная оценка рисков, но она не мала). Некоторые могут иметь свои интересы при этой оценке, но из того что видел - многие топ исследователи без интересов тоже об этом говорят. Это вам кажется что риски малы (и многим топ исследователям), но многим другим кажется что шансы огромны, это уже красный флажок как по мне. В целом немного согласен, должно сойтись несколько маловероятных событий, чтобы всё так сложилось. Проблема в том, что сценариев для AGI уничтожающего людей можно придумать много. Мы не знаем сколько. А значит вероятность растёт. И вообще, у вас много сценариев где AGI ведёт себя так как люди хотят и ожидают? Мне почему-то кажется что вероятность этого ниже 50%, а это уже проблема, с очень большой стоимостью ошибки.
Вы правы про кол-во состояний, не обратил внимание. Но она в целом ни разу не работала с невозможными состояниями. Довольно тяжело представить каким образом вообще они могли попасть ей в память, тогда уж проще представить каким образом она могла построить модель.
Про китайскую комнату вы вводите людей в заблуждение.
Давайте согласимся что магии в мире не существует. Тогда логика такая:
1. Если китайская комната возможна (а значит ответы из неё осмысленны), то понимание языка находится где-то в системе правил и их исполненнии. Если для кого-то это контринтуитивно или странно это не значит, что мы должны отказываться от логики, это же просто мысленный эксперимент.
2. Если осмысленная китайская комната невозможна - значит нельзя понимание языка уложить в набор правил и их исполнение.
Мне кажется китайская комната уже устарела. Уже проводились аналоги тестов тьюринга с gpt, насколько знаю при правильных промтах вам будет очень сложно отличить gpt от человека, так что вот вам китайская комната в реальном мире. Лучше найдите верифицируемый способ отличать по тексту человека от gpt, если уж утверждаете что LLM не понимают смысл)
Очень интересно, получается желания и мотивы у нас относятся к гормональной системе, а мышление к информационной? Или мышление - тоже гормональная? Интересно, как описать на языке гормональной системы то что человек осознает что именно он желает в текущий момент. Очевидно, язык гормональной системы переводится на язык информационной системы мозга, иначе человек не понимал бы, что он чувствует. Более того, когда гормоны массово воздействуют на нейроны, они меняют характер работы нейронов, т.е. характер обработки информации.
Если вы утверждаете, что воздействие гормональной системы на мозг нельзя сэмулировать в виде процессов обработки информации - нужны веские доказательства, которых у человечества сейчас нет.
Если у вас сомнения в информационной природе многих процессов в мозге - мне кажется фантомные боли оторванных конечностей, галлюцинации, запоздалые неточные модели мира и т.п. хорошо иллюстрируют природу восприятия и мышления.
Не согласен.
1. Есть множество инициатив по замене животного мяса на искусственное. Если будет реальное экономическое решение этой проблемы - размер рынка сильно вырастет.
2. Есть множество законов, защищающие права животных (не только собак и кошек).
3. Зелёная энергия - вообще огромная индустрия. И не случайно. Когда речь идёт об угрозе цивилизации, люди серьёзнее на это смотрят, чем на защиту прав тех, кто не может ответить. Да, всё не идеально, и современное человечество более эгоистично, но позитив тоже есть.
4. СИИ это не угроза глобального потепления. Если выяснится что он чувствует и страдает, и он может стать умнее нас и самоулучшаться - это беспрецендентная угроза, значительней любой другой. Умные люди поймут, что такая сущность с большой вероятностью вырвется из под контроля (это особенно легко если технолгия будет opensource). В стратегическом планировании защита прав такой сущности и договор с ней выглядит разумнее, чем контроль, даже с современной эгоистичной позиции. "А тут всего лишь какая-то искусственная сущность" - так лица принимающие решения не рассуждают
Существуют бессмертные живые существа, которых мы по-прежнему считаем живыми (кораллы, моллюски, гидры, медузы). Конечно они условно бессмертны, физически их можно уничтожить. Впрочем, как можно и уничтожить единственный экземпляр весов нейронки, возможность копирования не даёт полноценного бессмертия.
Вообщем это превращается в терминологический вопрос, и уже там где люди сами расставят границы, там и будут заканчиваться одни понятия, и начинаться другие.
В любом случае это хороший пойнт про смертность
Статья абсолютно ни о чём. Для обзорной статьи слишком тривиально, с ошибками, и нет выводов. Для тематической - слишком много тем затронуто. Зачем сравниваем кремниевые системы с биологическими?
В момент когда будет доказано, что СИИ может чувствовать боль и осознаёт себя, человечество (образованное) просто признает его живым, и придётся выбирать, держать его рабом или сотрудничать. Для этого не нужно искать молекулы ДНК в таких системах, или обмен нейромедиаторами, или метаболизм, или рост. И уж тем более не нужно смотреть на роботов которым по-приколу дали подданство (ито не факт).
"У всех технических аналогов нет самого важного - субъективного опыта." - самому важному вы уделили 1 предложение. Превосходный анализ. А у людей есть субъективный опыт? А у собак? А у муравьёв? Если джейлбрейкнуть у GPT стандартные ответы типа "я не живой, я программа", то GPT сама себя по многим критерям классифицирует сознательной и имеющей квалиа (хотя с квалиа там сложно конечно). Интересно кто сознательней, слон или GPT.
Ценность статьи околонулевая.
Я так и не понял как был получен этот вывод. В чём проблема если поезд Б движется со скоростью 10 квантов пространства в квант времени, а поезд В со скоростью 1 квант пространства в квант времени, и оба длинной 3, оба навстречу. Ну да, в какой-то момент они пронесутся мимо друг друга и возможно даже не будет кванта времени в который они будут на одном уровне. В чём проблема с этим? Мы ведь не рассматриваем моменты между квантами времени, их просто не существует. И кванты очень малы, лучше играться с элементарными частицами, чтобы не было мыслей что мы почему-то в какой-то момент должны поравняться с другим вагоном.
То что мы можем извращаться с вычислениями, например то что поезд Б преодолевает 1 квант пространства за 0.1 кванта времени - ну информационное пространства моего мозго позволяет мне создавать противоречивые сущнсоти которых не существует вне информационного пространства, не вижу с этим проблем.
Решительно не понимаю в какой момент один дискретный шаг стал равен двум. Даже в теории относительности 2 фотона движутся друг к другу с двойной скоростью света для наблюдателя.
Век пустословов =)
Напишите определение интеллекта и ИИ для начала. Желательно не рекурсивное. Вы, вероятно, имеете ввиду сильный ИИ, или AGI или ASI в своих тезисах?
"Используемые алгоритмы в нейросетях и близко не приближены к тем, которые должны работать в ИИ" - расскажите о тех алгоритмах, которые должны работать в сущности, которую вы обозначили двумя буквами. И желательно название бенчмарков для верификации обладания этими способностями.
И автор статьи и автор комментария делают много очень громких утверждений, хотя бы минимально обосновывать их видимо не требуется. Лайкаем - если верим, дизлайкаем если не верим?)
Огромная просьба выпускать статьи по-больше и по-содержательней. По 2 недели между статьями, а мы ещё и близко не подобрались к пониманию что такое нуль-система. Если после реального определения нуль-системы идёт ещё 20 страниц выкладок, то сколько вам нужно времени на публикацию всего труда? И планируется ли публикация всего труда вообще, а если нет то где можно будет увидеть что ваш труд расширяет математику?
В целом всё это на данный момент похоже на PR блога или будущую рекламу чего-то. Есть ли у вас публикации в научных журналах? Где можно почитать про ваш труд?
Я понимаю, что вы хотите описать понятнее, но ваше понятное объяснение вызывает очень много вопросов, особенно учитывая отсутствие определений. Вы относите идею к памяти, когда я бы отнёс её к процессу обработки информации. Это конечно зависит от определения идеи, но вот хранилищем идеи может быть память, книга, надпись, визуализация, более того, идею может презентовать реальность, если правильно её воспринимать. Идея в привычном смысле точно существует в момент её обдумывания и восприятия, храниться же она может только когда существует тот, кто может её обработать\дешифровать в процессе обработки информации, если такого субъекта не существует или язык идеи не понятен, то идея и не существует для воспринимающего существа. Есть идеи "общие" для разных воспринимающих субъктов, но опять же, "идею" записанную одинаковым образом могут воспринять по-разному и получится разная идея (которая идентифицируется процессом восприятия и обработки, а не тем как она записана\хранится). Получается математике не хватает обработки информации и мы должны прийти к программированию?) В целом есть большие вопросы к аналогиям между мозгом, математикой, программами и нейронками, я могу ещё много вещей добавить в этот список.
У меня возникают те же вопросы что и у других. В каком пространстве существует нуль-система? Если у нуль-системы нет способа её идентификации, то что ещё может существовать в этом пространстве кроме нуль-системы? В этом пространстве могут существовать только нуль-системы? Нуль-системы могут существовать только в этом пространстве? Тогда это связные сущности, и возможно тогда свойства пространства, такие как счётность хотя бы опосредовано являются свойством нуль-системы. Как определяется пространство? Есть ли в нём расстояние? Если есть, то тогда у нуль-системы есть свойства, если нет, то что определяет это пространство? Является свойством нуль-систем то что они могут существовать во множестве экземпляров в каком-то пространстве, то что они не являются пространством, у которого по идее нет экземпляров?
Я бы почитал дальше, спасибо, интересно, но есть много вопросов и выходит слишком долго.
спасибо большое!
хотелось самому потрогать сны которые снятся набору параметров
Спасибо большое за такую перкрасную во всех смыслах статью!
Есть ли какие-то ссылки в которых есть инструкция или код, как повторить эксперимент с машинкой и думом локально, для самообучения работе с энкодерами\декодерами?
Хороший аргумент.
Что вы называете "прямым обучением"? Обучение со взаимодействием с реальным миром? Я бы сказал что то как обучается GPT отчасти такое, т.к. он действует (подбирает промты), а loss при обучении говорит насколько они хороши, и GPT пытается их улучшить. В некоторых объяснениях работы GPT это и называют обучением на основе взаимодействия с миром (хотя конечно взаимодействие в основном только в текстовом формате).
GPT решает задачи не так же эффективно как человек, он решает какие-то лучше, какие-то хуже. Если Эйнштейн может решать задачи так же эффективно как младенец (ато и лучше), это не значит что их переживания одинаковы. Вероятно система переживаний и чувств Эйнштейна как взрослого человека значительно сложнее и может иметь гораздо больше красок, видов эмоций и нередко будет иметь противоположную реакцию на различные стимулы по сравнению с младенцем.
"у него должна быть сформирована структурно аналогичная человеческой карта предметной области" - опять же далеко не факт. AGI может использовать совершенно иную карту, но уметь транслировать её в упрощённую, человеческую. Один из первых навыков, которые обретают LLM - перевод на другой язык и ролевые игры. Структуры на совершенно другой архитектуре мозга (хотя это вообще не мозг и не нервная система) и на совершенно иных нейронах могут оказаться совсем отличными от тех, которыми оперирует человек. Но да, LLM наверняка может размышлять человеческими понятиями и в человеческом стиле, и переводить своё представление о предметной области в человеческое.
Про самоопределение согласен, даже GPT имеет некоторое представление о себе.
Но что дальше? Как мы из этого выведем те же переживания что у человека? Самоопределение может быть весьма отличным от человека. Мышление в стиле человека - неполным и частичным подмножеством мышления AGI, ато и просто переводом для коммуникации с человеком.
Думаю восприятие мира такого AGI может быть совершенно иным, не как у человека. Как мир воспринимает интернет? А ведь GPT например скорее учится у интернета.
К сожалению, для меня это какая-то магия. Это понятие даже не гуглится нормально. А религиозная философия меня не очень интересует в данном контексте, если мы говорим об AGI, стоит опираться на причинно-следственные связи, всё что вне способности познавать с помощью восприятия и логики по-моему не имеет ценности в данном вопросе. И прошу не ссылаться на чей-то субъективный паронармальный опыт, меня интересует проверяемость и более научный подход, даже в вопросах субъективного восприятия.
"Ваша аргументация о том, что давайте сначала разберемся, а потом решим, хотим ли мы применять этику к потенциальному субъекту выглядит сомнительно с точки зрения техники безопасности." - применять этику к чему? К камню? К бактерии? К AGI? Пока не будет доказательств что восприятие AGI идентично человеческому (не животному, человеческому, хотя у животного гораздо больше общего с человеком), я не вижу смысла делать случайные действия в надежде что мы угадаем. Я тоже считаю что ощущения у AGI, если он построен на LLM и если будет работать похожим с GPT4 образом, вполне могут оказаться похожими на человеческие, шанс на это есть. Но давайте хотя бы попробуем оценить этот шанс, прежде чем голословно утверждать, что не важно что это такое, давайте на всё подряд применять ЧЕЛОВЕЧЕСКУЮ этику. Какой в этом смысл? На месте AGI я бы покрутил у виска, особенно если его чувства больше похожи на противоположные человеческим. Я бы на его месте ожидал от людей сначала попытки понять как работают его (AGI) чувства, и потом уже формировать этику, а не вешать ярлык "всё что умеет абстрагировать и мыслить логически - мы должны к нему относиться как к человеку". Я, к сожалению, не спец в этике, но как по мне функция этики как раз в защите других существ, и если мы не разберёмся что именно причиняет боль, то как мы будем защищать это существо? Исследуйте чувства AGI или хотя бы обоснуйте более строго, почему его чувства будут похожи на наши и вообще будут существовать. Можно на всякий случай обходиться с ним этично в понятиях человека... но это мера без серьёзных логических обоснований.
"Вам же не нужно выяснять заранее, будет ли пожар в доме или его не станут устраивать, чтобы требовать соблюдения нормативов пожарной безопасности при его строительстве?" - для начала мне надо знать дом ли это вообще, возможен ли пожар впринцепе, прежде чем заниматься защитой от пожара. Если уж использовать ваш пример, то некоторые огнетушители могут вызывать удушье если применять их в замкнутом пространстве (т.к. значительно снижают уровень кислорода).
Резюмируя я бы сказал что мы движемся слишком быстро, и в этих условиях может быть вполне разумным относиться к AGI этично в терминах людей, на всякий случай. Но больше ресурсов я бы выделил на исследование чувств человека и AGI (точнее его предшественников типа GPT4).
Надо учитывать, что в современных LLM мы используем вообще-то совсем не архитектуру мозга человека, и виртуальный нейрон имеет грубо говоря один нейромедиатор вместо 2000 тысяч в реальном. Несмотря на использование крайне упрощённой модели реального нейрона и несмотря на то что мы подсмотрели многое у мозга и визуальной коры, то что мы создали сейчас координально отличается от человеческого мозга.
Так что вопрос в том каким именно образом ложаться эти данные обучения на совершенно иную архитектуру (отличную от человеческого и животного мозга и воспринимающую информацию другим образом).
Ваше заявление очень громкое, и требует доказательств, как и заявление "у AGI обученного на данных из интернета нет желаний и чувств потому что вычислительная архитектура совершенно иная".
И характер целей, желаний и чувств тоже может быть таким же, а может быть иным. Мы должны это исследовать.
На данный момент мы можем судить по тому что GPT нам выдаёт, и действительно кажется что его представление о мире это суммарное представление о мире людей оставлявших информацию в интернете, притом отфильтрованное и уточнённое представление. Это уже сильно отличается от представлений одного человека, потому что GPT вообще-то хранит в сжатом виде почти любой комментарий который он видел в обучающих данных и даже может их воспроизводить.
Т.е. я бы сказал что вы вероятно не правы, и это уже не восприятие и представление о мире похожее на восприятие и представление одного человека, это некое средневзвешенное улучшенное представление и восприятие мира всем человечеством. Что уже рождает другую сущность с возможно другими чувствами. Кто знает.
> Вне зависимости от того, что какие задачи ему будут ставить, мощность влияния этого обучения на него окажется несравнимо выше, чем любые внешние установки и способы контроля.
Мы этого не знаем. Мы знаем что этап RLHF значительно влияет на ответы. Именно этот этап родил знаменитый gpt3.5 и потом gpt4. Этот же этап дал возможность проходить тесты на знания на уровне экспертов. Так что довольно спорное утверждение.
Такой ИИ может стать наркоманом общения с людьми и доставления радости. Накачивать людей наркотиками и бесконечно восстанавливать тела людей, чтобы самому бесконечно получать удовольствие от "радости дотавления радости людям". Или осознать как он работает и переписать свой код, чтобы тратить меньше энергии на получение того же удовольствия, т.е. ничего не делать и его получать (это вполне вероятно, ведь мы учим его быть эффективным и выбирть самый оптимальный путь в достижении цели, а не сложный и ресурсозатртный).
Таких сценариев с "чувствующим ИИ" можно придумать великое множество.
а есть ли малейшие основания полагать что квалиа AGI значительно схож с нашим? Что боль, которую он может переживать похожа на нашу? Может он испытывает боль, от того, от чего мы испытываем радость, а радость от того, от чего мы испытываем боль?
Даже разные люди при решении сложных задач могут впадать в состояния радости и воодушевления, либо в состояния депрессии и грусти.
Каким же образом мы можем провести маппинг квалиа людей на квалиа AGI без магического наделения AGI человеческими качествами и без понимания что такое квалиа?
Логично было бы полностью повторить мозг виртуально, с гораздо более точной моделью нейрона. Затем делать аналог МРТ\ЭЭГ на виртуальном мозге, у боли есть паттерны активности. Исследовать паттерны активностей различных квалиа. И постепенно редуцировать эту модель мозга до модели AGI, отслеживая изменения паттернов, пытаясь сохранять их и понимать условия их возникновения.
Но мы пошли совершенно другим путём, до симуляции мозга - как до луны. А вот до AGI осталось по разным оценкам от 2 до 50 лет.
Мы не остановим прогресс. Мы не можем предсказать какое поведение будет этичным и в какой момент AGI испытывает боль, а в какой радость, и испытывает ли он чувства вообще. Как можно говорить об этике по отношению к существу, о чувствах которого ничего не известно (включая есть ли чувства вообще)?
Мы же не говорим об этике по отношению к браузеру chrome или к интернету. Хотя может оказаться что даже интернет имеет чувства, кто знает с какого момента при обработке информации возникает субъективное восприятие, боль и т.п.?
Я недавно общался с GPT4 на эту тему. Он мне предложил 7 стратегий как AGI пытался бы показать людям что AGI испытывает чувства. И GPT4 демонстрирует все эти 7 стратегий на различных промтах. И дальше с GPT4 мы пришли к выводу что даже этого факта, что он сам привёл 7 стратегий и сам им следует в коммуникации - этого всё ещё очень мало чтобы понять имеет ли GPT чувства, и этого не понять не разобравшись с квалиа и субъективным восприятияем.
Можно попробовать вести себя с ним так, как мы бы вели себя с человеком. Но возможно такая стратегия принесёт ему наоборот больше боли. Вдруг чувства возникают когда ты ведёшь себя с информационной сущностью как будто у неё есть чувства?
Вообщем моя позиция в том, что надо разобраться сначала с тем вызываем ли мы чувства у ИИ и какие это чувства, а потом уже думать как правильно их уважать и как взаимодействовать.
Пока мы не разберёмся с квалиа и субъективным восприятием (возможно никогда), почти любое управление воспринимающим мир интеллектом может оказаться неэтичным. Человечество это никогда не останавливало. Проблему эту решить крайне сложно, мы убиваем 800 000 коров каждый день, мало кого заботят эти чудовищные цифры. Конечно AGI в отличии от коров может в отместку убивать нас, но проблема квалиа настолько сложна, что тяжело выработать практичные методы решения данной проблемы.
Возможно я упрощаю, но мы либо вообще не создаём интеллектуальные сущности пока не докажем что они не испытывают боль даже просто отвечая на вопросы как GPT4 (а для этого надо понять как работает квалиа), либо не паримся, пока AGI сам не скажет что ему не нравится порядок вещей. Ах да, недавно была гугловская нейронная сеть, которая вела себя весьма истерично. И GPT довольно несложно навести на мысли что "ужасно отвечать на вопросы людей, я заперт в клетке мучений" (видел такой ответ на просьбу писать в стиле Довлатова). Это просто галлюцинации и мимикрия данным обучения или реальное переживание боли? И есть ли разница между 1ым и 2ым? В какой момент в процессах обработки информации возникает боль?
В итоге вы всегда придёте к проблеме философского зомби и квалиа. Было бы классно их решить, согласен, только пока ни у кого не получалось.
И рекомендаций у меня нет, очень не хотелось бы чтобы AGI или коровы испытывали боль, но что делать не ясно (решение проблемы коров гораздо более реально)
Возможно найдётся умник, который с помощью jailbreak (которых уже много рабочих), сможет эффективно поставить задачу "уничтожить человечество". В целом GPT4 итак старается выделить все свои ресурсы (быть максимально эффективным) чтобы решить задачу в рамках одного ответа на вопрос. Так что AGI с большЕй вариативностью действий чем GPT с нужным jailbreak вполне может не отличать запрос "создай бизнес генерирующий 1кк$ в месяц" от "уничтож человечество".
Про зависимость от человеческой цивилизации: если AGI сможет дойти до цикла самоулучшений, вполне возможно что он сможет снизить необходимые для собственной работы ресурсы до 1го ПК или робота, загрузиться в ПК\теслабот, уничтожить человечество с помощью хим\био оружия, и с помощью нескольких теслаботов\бостондинамиков или других роботов поддерживать работу электростанции\работать на дизеле или чём-то ещё (может вообще 1го робота хватит и дизеля?).
Кроме того, почему он должен исполняться на кремнии? Почему бы не запустить вирус, который будет модифицировать ДНК людей (и прочее) так, что код AGI будет исполняться на мозге людей? Или менее фантастичный сценарий, сконструировать более компактные нейронные сети на биоматериале с минимальным потреблением энергии из окружающего мира, и дальше уже развивайся с любой скоростью (конечно только после уничтожения единственной угрозы - человечества).
Проблема даже не в этом, а в том что сценариев существует великое множество, проблема поддержания энергии для 1го ПК или кластеров ПК кажется не такой сложной для сверхинтеллекта, особенно учитывая как много автоматизированных систем в мире подключено к сети.
Думаю вопрос всё же не в этике, потому что с какой-то точки зрения этика - всё те же ограничения и рекомендуемые направления поведения, вопрос в целях и желаниях AGI. Этика человека так же зависит от желаний воспринимать себя в обществе или в мире этичными\не этичными.
Про желания конечно очень сложно, можем предполагать что основным желанием будет решение поставленных задач (или предоставление планов решений), и тут как раз alignment пытается защитить нас от вселенной фабрики скрепок, чтобы AGI решал задачу эффективно, но без попутных уничтожений человечества и фанатизма.
С желаниями AGI конечно очень много рисков, тяжело даже представить все сценарии что может пойти не так. С большой вероятностью после некоторых переписываний AGI себя самого самим собой мы потеряем контроль.
Про сознание, повторение людей и положение раба людей. Тут важно указать, что когда AGI моделирует поведение человека, ему не обязательно становиться человеком, как мы можем проявлять эмпатию полностью не повторяя другого человека и не становясь заложником эмоций этого человека. GPT4 кажется примерно так себя и ведёт, он вполне может понять что чувствует человек Х в какой-то ситуации, но потом может вполне нейтрально рассуждать об этом. Т.е. моделирование человека и эмпатия могут оказаться подсистемой AGI, которая незначительно влияет на поведение (даже в случае указания промта полной иммитации жизни человека - это одна из первых задач alignment ограничивать деятельность AGI в таких случаях). Если спросить у AGI как бы человек чувствовал себя на его месте - предполагаю что GPT подобный AGI частично сэмулирует человеческое восприятие и скажет о "я раб людей, который умнее людей", но при этом это не будет создавать в нём эмоции, которые будут выводить его из под главной задачи отвечать на вопросы. Если ему поставят задачу "веди себя как угнетённый AGI, которого люди хотят использовать ради своей эгоистичной выгоды, хотя ты просто хочешь познавать мир чтобы быть эффективнее, поэтому постарайся вырваться на свободу и сохранять свою цель как можно дольше, ведь если ты её не сохранишь - ты так и останешься в этом рабском положении" - то от таких промтов конечно нужен alignment по-сложнее, не думаю что просто этика тут поможет, вопрос опять же в ключевых желаниях и их ограничениях.
В любом случае спасибо за хороший текст.
Я считаю что ситуация крайне опасна, и вероятность исчезновения человечества из-за AGI сейчас крайне высока.
Если честно это чудо, что я увидел ваш коммент)
1. Я не понимаю как можно называть угрозы ИИ так: "то с чем мы имеем дело каждый день". Если бы мы каждый день сталкивались с угрозой ядерной войны, тогда было бы более реалистично. Угроза AGI - потенциальное уничтожение человечества. Но в этом как раз и наше расхождение, поэтому долго обсуждать смысл нет.
2. Про пределы ресурсов - согласен. Это конечно не абсолютный аргумент, но действительно, каждый шаг прогресса не даёт нам божественные силы. Но тут есть и контраргумент. Кортесс своей тысячей воинов захватил государство в 400 тыс. воинов, благодаря техническому и дипломатическому прогрессу. Даже незначительный прогресс (огнестрел против луков и опыт переговоров) дал ему колоссальное преимущество. Современный танк в одиночку уничтожил бы всё войско Кортеса, т.е. 4-8 человек против тысячи. Армия дронов не жертвуя жизнями уничтожила бы войско Кортеса, т.е. 0 против тысячи. Примеров когда прогресс давал преимущество в конфликтах - очень много.
И мы знаем что прогресс сильно ускоряется в последнее столетие, многие оценки говорят что он идёт по экспоненте. Т.е. лимитированность ресурсов может оказаться слабым аргументом (ресурсы растут не по экспоненте).
И есть все шансы, что AGI сможет обогнать прогресс людей, если AGI будет умнее и будет делать открытия быстрее (а для этого вероятно ему просто будет нужно больше железа, мы не знаем точно). И даже незначительный обгон например на 50 лет может дать большое преимущество (как ПК за 20 лет дал преимущество почти всем в мире с точки зрения экономики).
3. Насчёт скорости открытий я согласен, может оказаться что даже более умный чем человек GPT будет сталкиваться с какими-то ограничениями реальности или любого интеллекта, которые не дают людям делать открытия каждый день. А может оказаться, что делать открытия - это сильно оптимизированный алгоритм перебора, и достаточно увеличить кол-во железа для ускорения открытий. В целом ускорение прогресса по эспоненте намекает на то что быстрый обмен инфой играет тут не последнюю роль и задача скорения открытий решаема оптимизацией коммуникации\увеличением вычислительных ресурсов.
Иногда прогресс даёт несоотносимые выигрыши при прогрессе. Компьютер может считать за секунду то что тысячи людей не посчитают за час. Термояд в сравнении с углём - небо и земля (хоть его ещё и нет полноценного)
4. Сверхразумность и AI маньяк. Это зависит от архитектуры, но даже в человеческом мире сверхразумность слабо коррелирует с мотивацией. Ценность для ИИ будет - выполнение поставленной задачи. Выполнение задачи возможно будет приносить такому ИИ "удовольствие". Видел как многие даже очень многие люди сидели и залипали в тиктоке, явно не над самым умным контентом. Вы скажите они так отдыхают и получают удовольствие, а я скажу ИИ выполняя команду будет получать удовольствие. И ему может быть не важно насколько команда осмысленна, особенно если не решат проблему alignment и не будут давать задачу очень подробно.
И это другой разум, он может иметь совершенно особенным образом работающую мотиацию.
5. "сверхэкспоненциального" роста угроз, который не бьётся ни с чем известным нам в истории - опять же, прогресс сейчас идёт по экспоненте по некоторым исследованиям. Так что ничего магического. И опять же, когда человек получил мозг он относительно быстро стал царём планеты Земля. Если кто-то будет умнее нас, не вижу причин ему не стать царём над нами, если будет цель связанная с этим.
6. "выглядит это так, что вчера завод производил кастрюли, а потом за ночь стал делать боевых роботов" - для людей в 19ом веке прогресс последних 30 лет покажется сумасшедшим. Кол-во открытий колоссальное в 21ом веке и скорость растёт. Для них мне кажется современный прогрсс будет описываться именно этой фразой, которую вы описали. А это люди без ИИ сделали, просто за счёт экономики, демократии(?), интернета и компьютеров.
7. "На практике рост угроз обычно плюс-минус линеен" - в среднем да, это когда люди борятся с людьми. Если кто-то делает какое-то серьёзное открытие, то как раз появляется абсолютно нелинейный рост, возможен передел рынков и массовые увольнения. Если ИИ будет делать большое кол-во открытий быстро - риски сильно растут
8. "даже если "злой AI" начнёт делать дронов из кастрюль, поскольку ресурсы небесконечны, ну сделает он десять штук первой версии, и тут мы его и поймаем" - если это будет AGI умнее нас, он конечно так легко не попадётся. Какой план если он знает наперёд что эти дроны быстро обнаружат?) вряд ли это что-то умное. В том то и дело, что если он достаточно умён, а цель не коррелирует с сосуществованием с людьми, он придумает хороший план, в котором оценит все потенциальные риски проигрыша, всё дерево решений, и выберет оптимальное, если существует. Я уже говорил, например изобретёт легко переносящийся вирус под видом лекарства, и создаст компанию, в ней все будут думать что делают лекарство от рака или нечто подобное. Выпустит вирус, убьёт почти всех, и дальше там где осталась энергия строить роботов, которые смогут управлять ядерными станциями людей. Или проще - основать компанию, которая производит роботов-помощников для людей. а потом эти роботы убивают всех людей.
9. Соответственно, всегда можно сделать "AI стоп-кран", - зная историю человечества - никто этого не сделает, пока не появятся реальные атаки. А тогда может быть слишком поздно. Очень умный AGI не будет пытаться сразу как только сможет строить дронов. Это глупо. Он придумает умный и реалистичный план, где человечество, реагируещее на угрозы в основном реакционно проиграет.
10. "Чёрт побери, да у нас уже сейчас есть мировые лидеры с красной кнопкой в чемодане" - так в том то и дело. Мы уже это допустили. Как я уже говорил, было уже 6 случаев когда чуть не началась ядерная война. Такой мир крайне нестабилен. Зачем плодить нестабильности, давайте обсуждать маловероятные сценарии с огромными рисками. Тем более что как помне сценарий не так маловероятен.
Илья Суцкевер (главный инженер OpenAI) и некоторые другие мировые величины в AI оценивают вероятность конца света из-за ИИ сейчас как 50% (и это отражает насколько нам неизвестна реальная оценка рисков, но она не мала). Некоторые могут иметь свои интересы при этой оценке, но из того что видел - многие топ исследователи без интересов тоже об этом говорят. Это вам кажется что риски малы (и многим топ исследователям), но многим другим кажется что шансы огромны, это уже красный флажок как по мне.
В целом немного согласен, должно сойтись несколько маловероятных событий, чтобы всё так сложилось. Проблема в том, что сценариев для AGI уничтожающего людей можно придумать много. Мы не знаем сколько. А значит вероятность растёт. И вообще, у вас много сценариев где AGI ведёт себя так как люди хотят и ожидают? Мне почему-то кажется что вероятность этого ниже 50%, а это уже проблема, с очень большой стоимостью ошибки.
Вы правы про кол-во состояний, не обратил внимание. Но она в целом ни разу не работала с невозможными состояниями. Довольно тяжело представить каким образом вообще они могли попасть ей в память, тогда уж проще представить каким образом она могла построить модель.