Технически более точный ответ состоит в том, что когда вы рискуете жизнью (себя или цивилизации), вы нарушаете payoff симметрию, и поэтому не можете просто применить классическую теорию игр. Надо использовать другую логику, где ваша главная задача - выжить, а не максимизировать "матожидание выигрыша". Вот например про это пишет Талеб.
Мб потому что сейчас более подходящий момент, чтобы катализировать общество, которое уже начинает понимать, что к чему? Пока не увидишь - не поверишь. Большинство подписантов уже 4 месяца назад представляла себе возможности GPT-4 (которые оформились еще в прошлом августе), по своим инсайдерским каналам, но широкая общественность-то нет.
Почему они обращаются к компаниям, а не к политикам, которые вообще-то должны этим заниматься - разрабатывать грамотные законы.
Один из подписантов, Andrew Yang, это политик. И почему вы решили, что они не обращаются к политикам? Следующий абзац это вполне недвусмысленное обращение к политикам в том числе: "Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надёжных систем управления ИИ. Эти усилия должны как минимум включать: новые и дееспособные регулирующие органы, занимающиеся вопросами ИИ; надзор и отслеживание высокопроизводительных систем искусственного интеллекта и больших пулов вычислительных мощностей; системы верификации и водяных знаков, помогающие отличить настоящий контент от сгенерированного и отслеживать утечки моделей; надёжную экосистему аудита и сертификации; ответственность за вред, причиненный ИИ; надёжное государственное финансирование технических исследований безопасности ИИ; хорошо обеспеченные ресурсами институты для преодоления серьёзных экономических и политических потрясений (особенно в демократических режимах), которые вызовет ИИ."
Кто вообще на высоком уровне сейчас это обсуждает? Где наднациональные структуры?
Если OpenAI в принципе собирается релизить GPT-5 (а если не собирается - зачем тренируют?), то избежать вот такого использования непросто. Плюс есть риск утечки или кражи весов (как бы они не утверждали, что такого риска нет).
Фундаментально, мы говорим о том, что аргумент "LLM это просто функция вопрос-ответ, и следовательно в принципе не может нести никакого риска" бесмысленнен - достаточно умная LLM может заполучить агентность множеством способов, от программных до методов социнжинерии. Более того, сейчас уже очевидно, что ей даже не надо будет стараться: найдутся сотни "Геростратов", которые с радостью ей в этом помогут, просто чтобы посмотреть, что из этого получится, невзирая ни на какие риски.
Мы же опасаемся не того что отбирается, а того что какой-то дурачек запустит спираль само-улучшения ИИ таким образом на базе GPT-5, к примеру, которую, возможно, будет уже не остановить.
Если вы хотите твердые доказательства (опустим тут что их невозможно получить, в принципе, потому что сложные системы такие как мозг, общество, или государство фундаментально не предсказуемы твердо и "до конца"), вы все еще во фрейме "кругом враги". Надо из него выйти, взять и выйти, в одностороннем порядке, и лишь надеятся и убеждать других выйти из него тоже.
Откуда у ИИ воля и мотивация? Это математическая функция! Инструмент.
Откуда у человека воля и мотивация? Это математическая функция (уравнение Шредингера управляет всей химией, следовательно всей биохимией, следовательно клетками и нейронами, и т. д.)
Ученых там среди подписантов большинство, из этой тысячи.
человечество на кооперативные действия не способно.
Без новых инноваций в сфере коллективного планирования и действия - возможно (хотя и не совсем: как бы не был плох и неэффективен ООН, это все-таки какой-то пример ненулевой кооперации. А масштабный вызов вполне может подстегнуть большую кооперацию). Значит, над такими инновациями (хоть бы и что-то типа DeGov, или таких программ) надо работать.
ниоткуда не следует, что языковые модели угрожают человечеству уничтожением.
Тут справится только достаточно сильное влияние в виде госрегулирования, да и то это будет лишь небольшая задержка на время релокации серверов и разработчиков.
Я бы не стал ударяться в совсем уж киношные картинки с релокацией разработчиков в цитадели и т. д.
Сам Альтман призывал и призывает к регулированию отрасли ИИ. Можно сказать, что OpenAI "бежит", как раз пока такого регулирования нет. Если будет, и OpenAI будет таким образом иметь некую гарантию, что не бегут другие, то они подчинятся.
Если вы хотите поиграться в эту аналогию, то можно еще вспомнить стандарты безопасности, ПДД, запрет на использования свинца в топливе, и т. д.
Только ставки сейчас выше -- все человечество садится в одну машину (или, как выражаются Харари, Харрис и Раскин тут, самолет), по сути не понимая, что у этой машиной вообще с безопасностью.
Нет у него ни свободы, ни собственной воли (желаний). И не будет в принципе.
Как и у человека. Free will is an illusion. Есть только динамика. И у ИИ это динамика тоже есть, и она вовсе не "нейтральна" по отношению к человеку. Вот простой аргумент на эту тему.
Но тогда давайте вовсе их запретим.
Предложение из письма: "Это не означает паузу в развитии ИИ в целом, а просто шаг назад от опасной гонки к всё более крупным непредсказуемым моделям "чёрного ящика" с более широкими возможностями."
Я ни в чем не уверен, но я предсказываю с большой вероятностью (больше 90%), что да, никаких таких работ не проводится. Потому что если бы проводились -- это наверняка бы утекло если не в паблик, то американской разведке, которой не было бы смысла не публиковать этот факт, потому что это нарушение международного договора.
Миром правит не тайная ложа, а явная лажа.
Но, допустим, я не прав, и Китай действительно проводит бесчеловечные эксперименты в катакомбах. Как я должен на это отреагировать? Убояться злобную КПК и поощрить гонку за создание сильного ИИ со стороны OpenAI?
Я уже писал в нескольких комментариях ниже, что даже если основная доля вероятности приходится на такие "race to the bottom" варианты, я не должен вливаться в эту струю -- это строго бесмысленно. Сейчас имеет смысл транслировать только пацифизм, кооперацию, и дружелюбность по отношению ко всем, даже если это неоптимально с точки зрения холодной теории игр.
И, кстати, в самом письме еще есть абзац про то, что надо делать "в эти шесть месяцев":
In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause.
Я не понимаю фрейм вашего вопроса. Государство не идеально, но что-то контролировать и запрещать оно все еще в состоянии. Само что-то делать продуктивное - в сильно меньшей степени. И что дальше? как это связано и инвалидирует ветвь обсуждения выше?
Технически более точный ответ состоит в том, что когда вы рискуете жизнью (себя или цивилизации), вы нарушаете payoff симметрию, и поэтому не можете просто применить классическую теорию игр. Надо использовать другую логику, где ваша главная задача - выжить, а не максимизировать "матожидание выигрыша". Вот например про это пишет Талеб.
Мб потому что сейчас более подходящий момент, чтобы катализировать общество, которое уже начинает понимать, что к чему? Пока не увидишь - не поверишь. Большинство подписантов уже 4 месяца назад представляла себе возможности GPT-4 (которые оформились еще в прошлом августе), по своим инсайдерским каналам, но широкая общественность-то нет.
Один из подписантов, Andrew Yang, это политик. И почему вы решили, что они не обращаются к политикам? Следующий абзац это вполне недвусмысленное обращение к политикам в том числе: "Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надёжных систем управления ИИ. Эти усилия должны как минимум включать: новые и дееспособные регулирующие органы, занимающиеся вопросами ИИ; надзор и отслеживание высокопроизводительных систем искусственного интеллекта и больших пулов вычислительных мощностей; системы верификации и водяных знаков, помогающие отличить настоящий контент от сгенерированного и отслеживать утечки моделей; надёжную экосистему аудита и сертификации; ответственность за вред, причиненный ИИ; надёжное государственное финансирование технических исследований безопасности ИИ; хорошо обеспеченные ресурсами институты для преодоления серьёзных экономических и политических потрясений (особенно в демократических режимах), которые вызовет ИИ."
Ну например: "UK government creates AI taskforce to look at foundation models".
Дурачок просто прикрутит цикл к сетке, натренированной большими игроками. У автора https://github.com/refcell/run-wild нет миллионов.
Если OpenAI в принципе собирается релизить GPT-5 (а если не собирается - зачем тренируют?), то избежать вот такого использования непросто. Плюс есть риск утечки или кражи весов (как бы они не утверждали, что такого риска нет).
Фундаментально, мы говорим о том, что аргумент "LLM это просто функция вопрос-ответ, и следовательно в принципе не может нести никакого риска" бесмысленнен - достаточно умная LLM может заполучить агентность множеством способов, от программных до методов социнжинерии. Более того, сейчас уже очевидно, что ей даже не надо будет стараться: найдутся сотни "Геростратов", которые с радостью ей в этом помогут, просто чтобы посмотреть, что из этого получится, невзирая ни на какие риски.
Стремление запретить или ограничить gain-of-function research есть.
Мы же опасаемся не того что отбирается, а того что какой-то дурачек запустит спираль само-улучшения ИИ таким образом на базе GPT-5, к примеру, которую, возможно, будет уже не остановить.
Я думаю elicit.org сейчас пилит то, что вы хотите
Если вы хотите твердые доказательства (опустим тут что их невозможно получить, в принципе, потому что сложные системы такие как мозг, общество, или государство фундаментально не предсказуемы твердо и "до конца"), вы все еще во фрейме "кругом враги". Надо из него выйти, взять и выйти, в одностороннем порядке, и лишь надеятся и убеждать других выйти из него тоже.
Откуда у человека воля и мотивация? Это математическая функция (уравнение Шредингера управляет всей химией, следовательно всей биохимией, следовательно клетками и нейронами, и т. д.)
Ученых там среди подписантов большинство, из этой тысячи.
"Самостоятельность" добавляется элементарно, https://github.com/refcell/run-wild
Да. Но подписанты письма не говорят о десятках лет даже, они хотя бы полгода хотят выгадать, для начала.
Без новых инноваций в сфере коллективного планирования и действия - возможно (хотя и не совсем: как бы не был плох и неэффективен ООН, это все-таки какой-то пример ненулевой кооперации. А масштабный вызов вполне может подстегнуть большую кооперацию). Значит, над такими инновациями (хоть бы и что-то типа DeGov, или таких программ) надо работать.
Да, это ниоткуда не следует с математической точностью, поэтому можно полагаться только на интуиции. И 50% исследователей ML читает, что есть как минимум 10% шанс уничтожения человечества от развития ИИ. Это достаточная оценка риска чтобы, например, хотя бы замедлиться, как призывают подписанты письма, или нет, надо продолжать бежать к сильному ИИ так быстро, как мы можем?
Я бы не стал ударяться в совсем уж киношные картинки с релокацией разработчиков в цитадели и т. д.
Сам Альтман призывал и призывает к регулированию отрасли ИИ. Можно сказать, что OpenAI "бежит", как раз пока такого регулирования нет. Если будет, и OpenAI будет таким образом иметь некую гарантию, что не бегут другие, то они подчинятся.
Если вы хотите поиграться в эту аналогию, то можно еще вспомнить стандарты безопасности, ПДД, запрет на использования свинца в топливе, и т. д.
Только ставки сейчас выше -- все человечество садится в одну машину (или, как выражаются Харари, Харрис и Раскин тут, самолет), по сути не понимая, что у этой машиной вообще с безопасностью.
Как и у человека. Free will is an illusion. Есть только динамика. И у ИИ это динамика тоже есть, и она вовсе не "нейтральна" по отношению к человеку. Вот простой аргумент на эту тему.
Предложение из письма: "Это не означает паузу в развитии ИИ в целом, а просто шаг назад от опасной гонки к всё более крупным непредсказуемым моделям "чёрного ящика" с более широкими возможностями."
Я ни в чем не уверен, но я предсказываю с большой вероятностью (больше 90%), что да, никаких таких работ не проводится. Потому что если бы проводились -- это наверняка бы утекло если не в паблик, то американской разведке, которой не было бы смысла не публиковать этот факт, потому что это нарушение международного договора.
Миром правит не тайная ложа, а явная лажа.
Но, допустим, я не прав, и Китай действительно проводит бесчеловечные эксперименты в катакомбах. Как я должен на это отреагировать? Убояться злобную КПК и поощрить гонку за создание сильного ИИ со стороны OpenAI?
Я уже писал в нескольких комментариях ниже, что даже если основная доля вероятности приходится на такие "race to the bottom" варианты, я не должен вливаться в эту струю -- это строго бесмысленно. Сейчас имеет смысл транслировать только пацифизм, кооперацию, и дружелюбность по отношению ко всем, даже если это неоптимально с точки зрения холодной теории игр.
Вот именно - это дилемма заключенного. Только на кону - не "двушечка" и "десяточка", а уничтожение человечества. Значит необходимо действовать кооперативно, а не пассивно-агрессивно, даже под теоретико-игровым риском, что злобный конкурент тебя уничтожит.
В подобной ситуации это просто будет другой формой эскапизма, разве что чуть более субъективно приятной, чем скулить из-под коряги.
Можно выбрать не бежать от реальности.
И, кстати, в самом письме еще есть абзац про то, что надо делать "в эти шесть месяцев":
Эффект Стрейзанд тут уже не нужен - про ИИ и его потенциал уже знают и думают просто все, даже 99-летний Генри Киссинджер.
Догнать и перегнать чтобы что? Накормить свое эго? Захватить всемирную власть?
Я не понимаю фрейм вашего вопроса. Государство не идеально, но что-то контролировать и запрещать оно все еще в состоянии. Само что-то делать продуктивное - в сильно меньшей степени. И что дальше? как это связано и инвалидирует ветвь обсуждения выше?
Стоимость тренировки GPT-5 - по слухам, 250 млн долларов, и происходит на десятках тысяч нод. Вы путаете тренировку мощных сеток с инференсом.