Читали, но продолжаете использовать линию "ничего математически не доказывается, следовательно это не "рационально", следовательно это алармизм" в риторике? Там показывается почему как раз таки такое рассуждение нерационально.
Для того, чтобы это сработало, надо структурировать веб (https://trustoverip.org/), collective decision making and governance определенным образом, на мировом масштабе. С текущими институтами типа nation states и ООН - это скорее мертвый номер.
Понять системы уровня GPT-4, с 1.3 триллионами параметров, "можно" скорее теоретически, чем практически. Сейчас mechanistic interpretability нейросетей копошится на куда меньших размерах, или понимает какие-то крайне изолированные вещи про сети уровня 10B параметров. До "полного понимания" даже текущих сетей, теми темпами, которыми это сейчас идет, десятки лет. И это когда GPT-5 планируют дотренировать к концу года...
Как я объяснил частично выше, нет, это существенно неправильно.
Первая группа шире, и я ее называю "AI safety-pilled", или, если хотите, "обеспокоенные". Они выступают за резкое увеличение инвестиций в ИИ-сафети и алаймент, регуляцию и замедление развитие ИИ ("письмо"), инновации в сфере коллективного управления и демократии (потому что существующие древние и ветхие институты, скорее всего, покойники, а если нет, то нам же хуже), и ряд других вещей.
"Думеры" - это лишь "радикальное крыло" обеспокоенных, то есть те, у кого p(doom) особо высокий (например, больше 60% в течение следующих 50 лет), и, как правило, наиболее радикальные policy proposals (как то у Юдковского - "остановить это все нахрен"), но то же не обязательно. На днях, например, выяснилось, что у Dan Hendrycks p(doom) > 80%, но я не уверен, что он согласен с Юдковским насчет того, что надо делать.
Эта позиция хоть и коррелирует с p(doom), нет такого, что у всех "технобро" p(doom) ниже, чем у всех "обеспокоенных".
В "технобро" можно записать как "технооптимистов", так и аккселерационистов. У "аккселерационистов", в принципе, может быть высокий p(doom), но они считают, что лучшее, что можно сделать в этой ситуации, для того чтобы минимизировать риск - это именно бежать к AGI как можно быстрее. Главный аккселерационист - это, конечно, Сэм Альтман.
В принципе, объяснения выше показывают, что "двух лагерей" скорее нет, чем они есть - картинка существенно сложнее - это матрица, где есть категорные различия по favoured policy proposal/strategy, p(doom), "AGI soon is safer"/"AGI not soon is safer", "AGI in the single hands is safer"/"AGI in many hands (or even open-source) is safer", и другим осям.
На второй стороне этого спора у нас инженеры и прочие технооптимисты, которые уверены, что «джинна обратно в бутылку не запихнешь, их просто хотят зарегулировать всякие леваки, да и вообще непонятно что там в будущем — сначала долетим, потом разберёмся».
Лидером мнений до последнего времени здесь можно было назвать Илона Маска, хотя и условно. Он просто самый заметный, так как одной ногой вливает миллионы в создание AGI, а второй активно срётся с ИИ-думерами в своем твиттере.
[...] где якобы подписался даже сам Илон Маск, однако потом стало выясняться, что некоторые подписи оказались фейковыми.
Ребят, ну такая серьезная фактическая ошибка в статье это эпик фейл. Конечно, Маск не "думер" ("думеры" это те у кого p(doom) > 60%, AI-safety pilled это те, у кого он выше пары процентов, а также в модели мира кого p(doom) снижается, если принять некие предложения AI-safety crowd, как то из "письма", или Юдковского, хоть и не разделяя его оценки p(doom)), но Маск однозначно "AI safety-pilled". Это абсолютно очевидно по его Твиттеру в последнее время. И подпись его настоящая под письмом, про это написали все СМИ типа Блумберга и Ройтерс и ни одного опровержения не было. И в комменты в Твиттер к Лекуну (который реальный "технооптимист") Маск приходил и полемировал как раз с Лекуном, в два голоса с Юдковским.
Это очень важная ошибка, потому Маск - это такой очень важный "камертон", на которого многие равняются, и транслировать ложный месседж что "Маск не парится, так что спокуха", это очень не правильно. Маск как раз таки "парится".
Третий уровень. Агент может ставить и достигать любую цель в любой, даже ранее неизвестной ему, среде. Например, «добыть молока». И выбрать любой путь — сгонять самому в магазин, заказать молоко в интернете или украсть у соседа корову.
Вастрик, это очень плохое определение "уровня агентности" (да и в целом онтология плохая). Человек и собака тоже не могут "ставить и достигать любую цель в любой, даже ранее неизвестной ему, среде". Есть куча "сред" в которых интеллект человека беспомощен и куча целей которые человек не может достигнуть.
Пока все наши модные современные GPT, включая Sydney, находятся на втором уровне. Они успешно достигают заданной цели — генерировать «осмысленные» тексты и картинки, чтобы средний человек в них поверил. Но сколько бы Sydney ни газлайтила, ни угрожала своим юзерам и ни обещала «стереть все файлы с серверов Bing» — она этого не делает.
Поэтому для нашей темы придумали другой термин — AI alignment. Но для начала посмотрим на примеры, когда вещи начинают идти совсем «не так».
Все сложнее. Многие, я в их числе, предпочитают таки термин AI (existential) safety, хотя он же используется другим сообществом людей, тех, кто "про МЛ биасы". Юдковский же уже вместо "AI alignment" форсит термин AI notkilleveryoneism.
Роллаут языковой модели, то бишь "симуляция" или "конфабуляция". "Иллюзия" имеет другую коннотация - что-то что и "не собиралось" сходиться с реальностью. Как художественная литература. А если текст не художественный - он все таки хочет что-то выразить про реальность. Насколько у него получится описать реальность точно - это другой вопрос.
Наоборот. Мне кажется для бессмертия конкретно вообще никакого ИИ не нужно. Системы типа AlphaFold максимум ускорят решение этой проблемы. Посмотрите на работы Девида Синклера. Мне кажется даже если развитие ИИ остановится ровно сейчас и потом никуда не сдвинется, бессмертие ученые решат за несколько десятков лет.
Я бы сказал что ИИ скорее нужен для того, чтобы улучшать геном человека, и делать человека более миролюбивым, как бонобо. Так как геном и онтогенез и работа клетки и организма в целом слишком сложны, чтобы решить эту проблему без ИИ эффективно, а не методом тыка, что было бы неэтично. А если сделать ИИ который будет предлагать мутации в геном с очень хорошим балансом положительных и отрицательных качеств, то евгенику надо будет разрешить.
Способность писать квайны за один rollout сетки нельзя объяснить никак, кроме какого-то advanced reasoning внутри residual stream. Замечу, что такой способности нет даже у людей - люди не могут написать квайн не итеративно, с ошибками и исправлениями, или как минимум некоего wrangling "в уме", что по сути тоже итеративный процесс, только скратчпадом в котором выступает не файл на компьютере, а память человека.
Он все ещё огромный shareholder и де-факто таки работает как консультант - см. его подкаст с Кевином Скоттом (CTO Microsoft) недавно, где Кевин Скотт благодарит его за "многие обсуждения и брейнштормы".
Илья Сутскевер в последнем интервью неделю назад говорил что данные сейчас не боттленк.
Стоимость обучения в принципе да, GPT-5 обучить стоит 250m. Но с учетом того что на кону, я думаю что Микрософт вполне может себе пойти на тренировку за 1-2 ярда. Плюс алгоритмические инновации которые повышают эффективность обучения тоже происходят. На самом деле, я буду удивлен, если по сумме все эти инновации (или полностью новые архитектуры, "убийц трансформера" сейчас есть как минимум несколько) повысят эффективность обучения на порядок, и таким образом GPT-6 уже опять будет стоить "всего" 250m.
Может ли GPT-4 захватить мир? Нейросеть сама по себе ничего не делает и ни о чём не думает, у неё нет никаких желаний и коварных планов. Её нормальное состояние — это ждать вопросов пользователя, в свободное время она просто крутит вентиляторами. Кто‑то может создать задачу захватить мир, но ничем интересным это не кончится, в лучшем случае, она отправит пользователя зарабатывать деньги, чтобы купить всё на свете.
Может ли GPT-4 самораспространиться?Нет, не может. Во‑первых, такую задачу должен кто‑то поставить. Во‑вторых, у логической части нейросети вряд ли есть доступ к собственным файлам и документам по установке. Но представим совершенно невероятное, что такой доступ есть. Даже тогда, захватить мир будет невозможно из‑за её громадного размера и требований к вычислительной мощности. Если в интернетах не врут, то день работы такой системы стоит 500k $. Слишком много технических и логических барьеров.
Эти ответы правильные, но они фундаментально упускают всю суть из виду. А суть состоит в том, что системы стремительно развиваются по функциям, а заодно дешевеют по тренировке и инференсу, благодаря алгоритмическим инновациям (например, не далее как два месяца назад люди думали, что до инференса моделей уровня GPT-3.5 на телефонах еще пара лет; по факту это уже есть с Alpaca). Постановка задач (например, на самораспространение) прикручивается элементарно: https://github.com/Torantulino/Auto-GPT.
Поэтому эти "успокаивающие" ответы по сути вводят в заблуждение о реальных рисках и том, куда катится вся эта телега
Читали, но продолжаете использовать линию "ничего математически не доказывается, следовательно это не "рационально", следовательно это алармизм" в риторике? Там показывается почему как раз таки такое рассуждение нерационально.
Помедитируйте над этой статьей: https://astralcodexten.substack.com/p/mr-tries-the-safe-uncertainty-fallacy и перестаньте требовать математических доказательств реальности риска
Для того, чтобы это сработало, надо структурировать веб (https://trustoverip.org/), collective decision making and governance определенным образом, на мировом масштабе. С текущими институтами типа nation states и ООН - это скорее мертвый номер.
Целеполагание - https://github.com/Torantulino/Auto-GPT, https://github.com/yoheinakajima/babyagi
Понять системы уровня GPT-4, с 1.3 триллионами параметров, "можно" скорее теоретически, чем практически. Сейчас mechanistic interpretability нейросетей копошится на куда меньших размерах, или понимает какие-то крайне изолированные вещи про сети уровня 10B параметров. До "полного понимания" даже текущих сетей, теми темпами, которыми это сейчас идет, десятки лет. И это когда GPT-5 планируют дотренировать к концу года...
Как я объяснил частично выше, нет, это существенно неправильно.
Первая группа шире, и я ее называю "AI safety-pilled", или, если хотите, "обеспокоенные". Они выступают за резкое увеличение инвестиций в ИИ-сафети и алаймент, регуляцию и замедление развитие ИИ ("письмо"), инновации в сфере коллективного управления и демократии (потому что существующие древние и ветхие институты, скорее всего, покойники, а если нет, то нам же хуже), и ряд других вещей.
"Думеры" - это лишь "радикальное крыло" обеспокоенных, то есть те, у кого p(doom) особо высокий (например, больше 60% в течение следующих 50 лет), и, как правило, наиболее радикальные policy proposals (как то у Юдковского - "остановить это все нахрен"), но то же не обязательно. На днях, например, выяснилось, что у Dan Hendrycks p(doom) > 80%, но я не уверен, что он согласен с Юдковским насчет того, что надо делать.
Эта позиция хоть и коррелирует с p(doom), нет такого, что у всех "технобро" p(doom) ниже, чем у всех "обеспокоенных".
В "технобро" можно записать как "технооптимистов", так и аккселерационистов. У "аккселерационистов", в принципе, может быть высокий p(doom), но они считают, что лучшее, что можно сделать в этой ситуации, для того чтобы минимизировать риск - это именно бежать к AGI как можно быстрее. Главный аккселерационист - это, конечно, Сэм Альтман.
В принципе, объяснения выше показывают, что "двух лагерей" скорее нет, чем они есть - картинка существенно сложнее - это матрица, где есть категорные различия по favoured policy proposal/strategy, p(doom), "AGI soon is safer"/"AGI not soon is safer", "AGI in the single hands is safer"/"AGI in many hands (or even open-source) is safer", и другим осям.
Ребят, ну такая серьезная фактическая ошибка в статье это эпик фейл. Конечно, Маск не "думер" ("думеры" это те у кого p(doom) > 60%, AI-safety pilled это те, у кого он выше пары процентов, а также в модели мира кого p(doom) снижается, если принять некие предложения AI-safety crowd, как то из "письма", или Юдковского, хоть и не разделяя его оценки p(doom)), но Маск однозначно "AI safety-pilled". Это абсолютно очевидно по его Твиттеру в последнее время. И подпись его настоящая под письмом, про это написали все СМИ типа Блумберга и Ройтерс и ни одного опровержения не было. И в комменты в Твиттер к Лекуну (который реальный "технооптимист") Маск приходил и полемировал как раз с Лекуном, в два голоса с Юдковским.
Это очень важная ошибка, потому Маск - это такой очень важный "камертон", на которого многие равняются, и транслировать ложный месседж что "Маск не парится, так что спокуха", это очень не правильно. Маск как раз таки "парится".
Вастрик, это очень плохое определение "уровня агентности" (да и в целом онтология плохая). Человек и собака тоже не могут "ставить и достигать любую цель в любой, даже ранее неизвестной ему, среде". Есть куча "сред" в которых интеллект человека беспомощен и куча целей которые человек не может достигнуть.
Вместо того, чтобы гнать когнитивистскую отсебятину, лучше бы взял определения и онтологию из каких-нибудь научных работ - например, Chollet "On the measure of intelligence" или Levin "Technological approach to mind everywhere".
Чтобы тут не имелось ввиду, zero-shot in-context learning в GPT, которое суть Байесовский инференс. Также есть RL который умеет адаптироваться и решать "открытые", новые задачи на человеческих временных масштабах. Все это онтологически неотличимо от того, что делает человек, кроме, возможно, генерализации (что в принципе не влияет на тип и широту решаемых задач в целом, но может исключить задачи определенного класса, для решения которых нужна именно генерализация), но и тут уже бабка надвое сказала.
Все сложнее. Многие, я в их числе, предпочитают таки термин AI (existential) safety, хотя он же используется другим сообществом людей, тех, кто "про МЛ биасы". Юдковский же уже вместо "AI alignment" форсит термин AI notkilleveryoneism.
Нет, не далеко.
Целям не надо "появляться" самим - их очень легко присобачить к LLMs.
Думает что выживет если будет осторожен.
Роллаут языковой модели, то бишь "симуляция" или "конфабуляция". "Иллюзия" имеет другую коннотация - что-то что и "не собиралось" сходиться с реальностью. Как художественная литература. А если текст не художественный - он все таки хочет что-то выразить про реальность. Насколько у него получится описать реальность точно - это другой вопрос.
Emergent Analogical Reasoning in Large Language Models
GPT-4 performance on Abstraction and Reasoning Corpus (ARC)
Наоборот. Мне кажется для бессмертия конкретно вообще никакого ИИ не нужно. Системы типа AlphaFold максимум ускорят решение этой проблемы. Посмотрите на работы Девида Синклера. Мне кажется даже если развитие ИИ остановится ровно сейчас и потом никуда не сдвинется, бессмертие ученые решат за несколько десятков лет.
Я бы сказал что ИИ скорее нужен для того, чтобы улучшать геном человека, и делать человека более миролюбивым, как бонобо. Так как геном и онтогенез и работа клетки и организма в целом слишком сложны, чтобы решить эту проблему без ИИ эффективно, а не методом тыка, что было бы неэтично. А если сделать ИИ который будет предлагать мутации в геном с очень хорошим балансом положительных и отрицательных качеств, то евгенику надо будет разрешить.
Господи, "свидетелей стохастического попугая" исправит только могила.
В репрезентациях внутри LLMs возникает модель мира, которой ее никто явно не учил
Способность писать квайны за один rollout сетки нельзя объяснить никак, кроме какого-то advanced reasoning внутри residual stream. Замечу, что такой способности нет даже у людей - люди не могут написать квайн не итеративно, с ошибками и исправлениями, или как минимум некоего wrangling "в уме", что по сути тоже итеративный процесс, только скратчпадом в котором выступает не файл на компьютере, а память человека.
Zero-shot способность к некой "стенографии", которая основана на предсказании своей же реакции на какие-то входы. То есть, рефлексия.
Он все ещё огромный shareholder и де-факто таки работает как консультант - см. его подкаст с Кевином Скоттом (CTO Microsoft) недавно, где Кевин Скотт благодарит его за "многие обсуждения и брейнштормы".
Илья Сутскевер в последнем интервью неделю назад говорил что данные сейчас не боттленк.
Стоимость обучения в принципе да, GPT-5 обучить стоит 250m. Но с учетом того что на кону, я думаю что Микрософт вполне может себе пойти на тренировку за 1-2 ярда. Плюс алгоритмические инновации которые повышают эффективность обучения тоже происходят. На самом деле, я буду удивлен, если по сумме все эти инновации (или полностью новые архитектуры, "убийц трансформера" сейчас есть как минимум несколько) повысят эффективность обучения на порядок, и таким образом GPT-6 уже опять будет стоить "всего" 250m.
Эти ответы правильные, но они фундаментально упускают всю суть из виду. А суть состоит в том, что системы стремительно развиваются по функциям, а заодно дешевеют по тренировке и инференсу, благодаря алгоритмическим инновациям (например, не далее как два месяца назад люди думали, что до инференса моделей уровня GPT-3.5 на телефонах еще пара лет; по факту это уже есть с Alpaca). Постановка задач (например, на самораспространение) прикручивается элементарно: https://github.com/Torantulino/Auto-GPT.
Поэтому эти "успокаивающие" ответы по сути вводят в заблуждение о реальных рисках и том, куда катится вся эта телега
Ложная дихотомия. Юдковский предлагает приостановить работы над AGI (как то LLMs) и продолжить делать narrow biomedical AI
Ещё как сможет, см. работы по reward-free RL, open-endedness, interestingness в контексте ML.