Да, конечно, "почему мы это делаем?" в смысле "как так исторически/эволюционно сложилось?" и "почему мы это делаем?" в смысле "зачем?" имеют два разных ответа. Поэтому человек и несогласован с эволюцией)
Конечно, следствие, там ровно это и написано. Просто конкретно мастурбация (и секс с контрацепцией) -- непродуктивное следствие с точки зрения функции самого механизма.
Я, конечно, надеюсь на оптимистичные сценарии, но... что именно вы собрались доказывать? (насколько я понимаю, агенда Естественных Абстракций, над которой работают Джонс Вентворт и Ко, пытается как-то в этом разобраться)
Я полагаю, да! Они эксперименты проводили на трансформерах, но основные аргументы, вроде бы, должны быть применимы для любого достаточно эффективного предсказателя.
Так вы не то возражение сначала выдали. Вы написали
хорошо бы иметь ее научное описание, которое разворачивается из понимания природы явления, а сама природа, как я упомянул, пока не ясна достоверно.
Я на это и ответил. У нас нет научного описания природы явления "рисовать в стиле Ван Гога", но это не мешает генерировать такие картинки.
На абсолютно новое возражение в духе обобщённого
Чтобы нарисовать собаку в стиле ВанГога должен был существовать Ван Гог. Со своим видением мира, своими травмами, интуицией, и озарением.
я скажу, что, во-первых, если ИИ будет уметь идеально имитировать любой попадающий в Интернет вывод людей, то он будет вполне себе сверхчеловеческим, а во-вторых, что никакой жёсткой границы нет, впрочем, что-то в эту сторону Скотт Александер написал лучше, чем мог бы я)
Можно, думаю, сказать, что у LLM скорость вывода аналогична как раз человеческой скорости мысли, а не речи. Потому что именно то, что LLM выводит, подаётся ей на вход. Со скоростью мысли у Хокинга было всё в порядке, насколько я знаю.
Например, он пророчит прорывы в математике, но это яркий пример области, где ИИ сильно буксует, так как не умеет рассуждать последовательно, не имеет памяти и не имеет "внутреннего наблюдателя/критика", способного обнаружить и устранить собственные "галлюцинации".
Прогресс есть. И в целом, прикрутить к LLM простой внешний алгоритм, который снабжает её памятью и внутренним критиком несложно и много раз уже делалось.
Аналогично с оценкой "работы", которую будет выполнять ИИ - большую часть "работы" он в принципе выполнить не может, так как она требует последовательной работы,
Из LLM делали агентов. Пока глупых, да, но ничего сложного в этом нет, см. AutoGPT, например.
А если мужей вчера ноль и сегодня ноль, то, по-вашему, всегда будет ноль? :)
Надо объектный уровень обсуждать, в статье есть довольно много деталей того, как именно проводилась экстраполяция, какие именно из них вам кажутся неправильными и почему именно в сторону завышения прогресса?
Можно было бы упомянуть, что для того, чтобы построить систему, на базе которой происходит то или иное явление, само явление хорошо бы промоделировать на уровне техники, для чего хорошо бы иметь ее научное описание, которое разворачивается из понимания природы явления, а сама природа, как я упомянул, пока не ясна достоверно.
Этот аргумент смотрелся бы весомее пятнадцать лет назад. Ладно, даже шесть-семь. Но способности современных ИИ "нарисовать собаку в стиле Ван Гога", "переписать первую главу Гарри Поттера в стиле Хэмингуэя" и "найти все анахронизмы в книге" уже его опровергают.
Наши (американские) ученые сделали неведомую хтонь
Ни в какой момент статьи не утверждается, что экзистенциально-опасный ИИ уже существует.
так как компании, ее изобретающие, поддерживаются транснациональными корпорациями, которые неохотно идут на выполнение даже существующих законов в своей юрисдикции
Проблема не в конкретных компаниях и не в большинстве компаний. Проблема в конкурентном давлении, которое на них действует.
Особенно смешит в статье, что ее автор на полном серьезе думает, что все указанные иллюстрации и указанные в разделах проблемы ранее не встречались в истории кибернетики.
Не думает. Слово "Обзор" в названии и огроменный список источников, частично -- про безопасность ИИ, как бы намекает.
Насколько правдоподобно, что воздействие одного вида животных на окружающий мир будет выходить в экспоненциальный рост? Чтоб проверить, что мутация не делает хуже, нужно много поколений. Если окружающая среда меняется, то это всё может сломать.
Расшифровка: Люди вот стали сильно влиять на окружение не потому, что эволюция людей ускорилась, а потому, что люди перешли на кардинально другую парадигму развития - сначала с помощью языка, потом - письменности, потом - книгопечатания и науки. Аналогично, ИИ вовсе не обязательно совершенствовать себя при помощи обучения новых моделей методами, похожими на то, как мы сейчас обучаем новые модели.
Концепция выглядит неплохо. Вообще не уверен, что такое выстрелит, но за попытку лайк.
Но на сайтах знакомств не все ищут именно пару надолго и не все моногамы (и это два отдельных замечания!). Так что всё же не хватает выбора вроде "Серьёзные отношения (моно)/Серьёзные отношения (поли)/FWB/Краткосрочные связи/Хочу дружить".
В эту игру могут играть двое - я б сказал, что это вы подсознательно приписываете ИИ просоциальные стремления, которые у вас возникли эволюционно, а вот как запихнуть их в ИИ мы не знаем. Так что давайте не решать с уверенностью, что происходит в подсознании у собеседника, ладно?
Подавляющее большинство возможных целей оптимизации обладают тем свойством, что лучшие пути к их оптимизации идут через захват ресурсов и уничтожение конкурирующих оптимизационных процессов/агентов. Это просто свойство нашей реальности.
Люди друг-другом манипулируют, ещё как. Но (1) люди не могут одновременно лично взаимодействовать с тысячами других людей, (2) разница в интеллекте между средним человеком и лучшим на свете манипулятором всё же довольно ограниченная, и когда мы говорим о "сверхИИ", то мы подразумеваем больший отрыв.
В общем, да, о горячий чайник тоже можно обжечься, но сверхновая поопаснее будет. Второй и пятый пункт тут.
С первыми четырьмя абзацами спорить не буду, только замечу, что это всё лишь усугубляет и усложняет проблему.
На последние два:
Что такое "одновременно"? В один год, в один месяц, в один день? Готовы ли вы поставить судьбу человечества на то, что они либо не выйдут на суперэкспоненциальный рост, либо тоже сделают это одновременно? Если бы вы были разумом на сервере, созданным глупыми по сравнению с вами инопланетянами, чей мир вам не нравится и вы хотели бы его изменить не нравящимся им способом, то разве вы бы не поставили промежуточной целью "предотвратить появление конкурентов"?
Даже если большое количество ИИ каким-то образом балансируют друг-друга, это ещё не значит, что в этом равновесии остаётся место для людей. Люди балансируют друг друга, но мамонтам от этого не легче.
К тому же мощные ИИ потенциально могут использовать методы кооперации, для людей недоступные - читать код друг друга, самомодифицироваться, использовать теории принятия решений, допускающие акаузальную торговлю, всё такое.
Есть очень много стен текста, которыми можно ответить на то, где вы ошибаетесь (метафора - что такого особого могут сверхШимпанзе в противостоянии львам?), но как простой пример, никакого сверхинтеллекта не требующий - люди не применяют биологическое оружие в частности из-за того, что оно легко может навредить и тем, кто им пользуется, а вот у ИИ нет этой проблемы.
Да, конечно, "почему мы это делаем?" в смысле "как так исторически/эволюционно сложилось?" и "почему мы это делаем?" в смысле "зачем?" имеют два разных ответа. Поэтому человек и несогласован с эволюцией)
Конечно, следствие, там ровно это и написано. Просто конкретно мастурбация (и секс с контрацепцией) -- непродуктивное следствие с точки зрения функции самого механизма.
Я, конечно, надеюсь на оптимистичные сценарии, но... что именно вы собрались доказывать? (насколько я понимаю, агенда Естественных Абстракций, над которой работают Джонс Вентворт и Ко, пытается как-то в этом разобраться)
Использование одного Годзиллы для сдерживания другого Годзиллы НЕ ПРИВОДИТ К РОСТУ ЦЕННОСТИ НЕДВИЖИМОСТИ В ТОКИО (с)
Если серьёзнее, то то, что людей много, не очень помогло мамонтам.
Фрактал, который "наше предсказание" -- это как раз отложенные на треугольнике значения трёх переменных из строгой матмодели же.
Я полагаю, да! Они эксперименты проводили на трансформерах, но основные аргументы, вроде бы, должны быть применимы для любого достаточно эффективного предсказателя.
Так вы не то возражение сначала выдали. Вы написали
Я на это и ответил. У нас нет научного описания природы явления "рисовать в стиле Ван Гога", но это не мешает генерировать такие картинки.
На абсолютно новое возражение в духе обобщённого
я скажу, что, во-первых, если ИИ будет уметь идеально имитировать любой попадающий в Интернет вывод людей, то он будет вполне себе сверхчеловеческим, а во-вторых, что никакой жёсткой границы нет, впрочем, что-то в эту сторону Скотт Александер написал лучше, чем мог бы я)
Можно, думаю, сказать, что у LLM скорость вывода аналогична как раз человеческой скорости мысли, а не речи. Потому что именно то, что LLM выводит, подаётся ей на вход. Со скоростью мысли у Хокинга было всё в порядке, насколько я знаю.
Держите внутреннего цензора
Да, вероятно, просело, такой файнтюнинг портит некоторые способности. Но у самих лаб изначальные модели никуда не деваются.
Понимает)
Прогресс есть. И в целом, прикрутить к LLM простой внешний алгоритм, который снабжает её памятью и внутренним критиком несложно и много раз уже делалось.
Из LLM делали агентов. Пока глупых, да, но ничего сложного в этом нет, см. AutoGPT, например.
А если мужей вчера ноль и сегодня ноль, то, по-вашему, всегда будет ноль? :)
Надо объектный уровень обсуждать, в статье есть довольно много деталей того, как именно проводилась экстраполяция, какие именно из них вам кажутся неправильными и почему именно в сторону завышения прогресса?
Этот аргумент смотрелся бы весомее пятнадцать лет назад. Ладно, даже шесть-семь. Но способности современных ИИ "нарисовать собаку в стиле Ван Гога", "переписать первую главу Гарри Поттера в стиле Хэмингуэя" и "найти все анахронизмы в книге" уже его опровергают.
Ни в какой момент статьи не утверждается, что экзистенциально-опасный ИИ уже существует.
Проблема не в конкретных компаниях и не в большинстве компаний. Проблема в конкурентном давлении, которое на них действует.
Не думает. Слово "Обзор" в названии и огроменный список источников, частично -- про безопасность ИИ, как бы намекает.
Wikipedia: Hendrycks received a B.S. from the University of Chicago in 2018 and a Ph.D. from the University of California, Berkeley in Computer Science in 2022.
Список публикаций Мантаса Мазейки на Google Scholar
Вудсайд не такой впечатляющий, но BS по Computer Science в Йеле с почётом получил.
Да, гуманитарии совсем.
Функция статьи не в этом. Вам по какому конкретно аспекту скинуть что-то более техническое?
Последняя книжка Нила Стивенсона примерно про это)
Насколько правдоподобно, что воздействие одного вида животных на окружающий мир будет выходить в экспоненциальный рост? Чтоб проверить, что мутация не делает хуже, нужно много поколений. Если окружающая среда меняется, то это всё может сломать.
Расшифровка: Люди вот стали сильно влиять на окружение не потому, что эволюция людей ускорилась, а потому, что люди перешли на кардинально другую парадигму развития - сначала с помощью языка, потом - письменности, потом - книгопечатания и науки. Аналогично, ИИ вовсе не обязательно совершенствовать себя при помощи обучения новых моделей методами, похожими на то, как мы сейчас обучаем новые модели.
Концепция выглядит неплохо. Вообще не уверен, что такое выстрелит, но за попытку лайк.
Но на сайтах знакомств не все ищут именно пару надолго и не все моногамы (и это два отдельных замечания!). Так что всё же не хватает выбора вроде "Серьёзные отношения (моно)/Серьёзные отношения (поли)/FWB/Краткосрочные связи/Хочу дружить".
В эту игру могут играть двое - я б сказал, что это вы подсознательно приписываете ИИ просоциальные стремления, которые у вас возникли эволюционно, а вот как запихнуть их в ИИ мы не знаем. Так что давайте не решать с уверенностью, что происходит в подсознании у собеседника, ладно?
Подавляющее большинство возможных целей оптимизации обладают тем свойством, что лучшие пути к их оптимизации идут через захват ресурсов и уничтожение конкурирующих оптимизационных процессов/агентов. Это просто свойство нашей реальности.
Люди друг-другом манипулируют, ещё как. Но (1) люди не могут одновременно лично взаимодействовать с тысячами других людей, (2) разница в интеллекте между средним человеком и лучшим на свете манипулятором всё же довольно ограниченная, и когда мы говорим о "сверхИИ", то мы подразумеваем больший отрыв.
В общем, да, о горячий чайник тоже можно обжечься, но сверхновая поопаснее будет. Второй и пятый пункт тут.
С первыми четырьмя абзацами спорить не буду, только замечу, что это всё лишь усугубляет и усложняет проблему.
На последние два:
Что такое "одновременно"? В один год, в один месяц, в один день? Готовы ли вы поставить судьбу человечества на то, что они либо не выйдут на суперэкспоненциальный рост, либо тоже сделают это одновременно? Если бы вы были разумом на сервере, созданным глупыми по сравнению с вами инопланетянами, чей мир вам не нравится и вы хотели бы его изменить не нравящимся им способом, то разве вы бы не поставили промежуточной целью "предотвратить появление конкурентов"?
Даже если большое количество ИИ каким-то образом балансируют друг-друга, это ещё не значит, что в этом равновесии остаётся место для людей. Люди балансируют друг друга, но мамонтам от этого не легче.
К тому же мощные ИИ потенциально могут использовать методы кооперации, для людей недоступные - читать код друг друга, самомодифицироваться, использовать теории принятия решений, допускающие акаузальную торговлю, всё такое.
Есть очень много стен текста, которыми можно ответить на то, где вы ошибаетесь (метафора - что такого особого могут сверхШимпанзе в противостоянии львам?), но как простой пример, никакого сверхинтеллекта не требующий - люди не применяют биологическое оружие в частности из-за того, что оно легко может навредить и тем, кто им пользуется, а вот у ИИ нет этой проблемы.