Comments 30
В Синьцзяне уже сегодня AI-системы отслеживают каждый шаг уйгуров
Дальше читать нет смысла.
В черный список .
Claude не идеален, да, и время от времени он вставлял и жёлтые абзацы и много всего неточного. Но мне показалось забавным дать AI написать статью про AI (я фактически только задал тему) и запостить её без единой правки, даже если меня какие-то моменты и смущают. Если не цепляться к отдельным формулировкам, в целом я и со структурой статьи в общем и с аргументацией согласен.
И вдогонку. Это не такая уж и гипербола. С блокпостами каждые несколько кварталов, камерами везде и специальными приложениями на телефонах, можно отслеживать перемещения уйгуров с очень большой точностью.
"Происходит не просто автоматизация труда — автоматизируется сама способность создавать новое. " - вот после этой фразы можно не читать. ИИ не в состоянии создать новое, сегодня он принципиально не способен на такое, но Автор, будучи проплаченной Госдепом [цензура], не в состоянии это понять. Сильный ИИ, который был бы в состоянии создать новое, не существует и пока даже непонятно как может быть вовсе создан.
Ага. Альтернативно-одаренные не понимают в чем конкретно разница между конечным автоматом и ии. Им в телеке сказали "оно творит, делает картиночки, видяшки для ютуба, и программирует". А в детали они не вникают, дб.
Тем не менее, консенсус в среде компаний, которые занимаются разработкой LLM именно такой. Powerful AI - это термин Дарио Амадея (в статье он объясняет, почему он использовал именно его, а не традиционные AGI/ASI), и он утверждает, что такой AI появится в ближайшие несколько лет. Конечно можно контрагументировать тем, что это всё обман для привлечения инвесторов. Но мы ещё только в самом начале пути.
Ну и плюс, что такое создание нового? Код, который LLM создаёт конкретно под мою задачу - это не новое? Даже если похожие решения уже использовались и содержались в обучающей выборке, то в контексте моего проекта они не применялись. Сама статья выше - это не новое? Не является ли большей частью умственной деятельности людей такая же обработка уже известной информации. Если для вас новое - это например новые физические открытия, то во-первых большинство людей их никогда не делает и не сделает, а во-вторых, люди работают над ними итерациями и годами. И это мы сравниваем с тем, что современные нейронки выдают за минуты. Что будет, когда ЛЛМ обретут агентность и смогут рассуждать дольше?
Заметим, что природа создавала новое (точнее, оно возникало в природе - не будем создавать иллюзию субъекта на ровном месте), когда не то что интеллекта, а и жизни в помине не было. В чем принципиальное ограничение ИИ (как, ммм... ограниченной локальной реализации тех же законов природы) запрещающее ему создавать новое, по мнению некоторых?
ИИ не в состоянии создать новое
Не вижу с этим никаких проблем, генератор случайного шума на вход и наслаждаемся абсолютно новенькими галлюцинациями в каждый момент. Само по себе создание нового не так сложно, выудить из нового что-нибудь полезное/красивое/интересное - вот это задача. Но и эту задачу нейросети учатся решать.
Кстати, мы действительно сейчас живём в короткий золотой век ценности человеческой жизни, начавшийся после резкого уменьшения детской смертности.
Статья написана ИИ. Да, на сегодняшний день это фантастика, но как показывает история, то что сегодня фансатсика, завтра уже реальность.
Если говорить о проблеме утраты свободы в обмен на комфорт, то можно для начала посмотреть не в будущее, а в прошлое и настоящее.
Например, автор пишет о "правилах, которые никому не придет в голову нарушать". Я могу привести примеры таких правил: например, никто обычно не позволяет себе ходить по улицам в пижаме (хотя это даже не запрещено законом), мы соблюдаем правила этикета (зачастую лучше, чем писаные законы) и практически на автомате подчиняемся авторитетам (это настолько встроено в нас, что я даже не могу сказать, что это плохо... хотя можно представить ситуацию, когда в экстренном случае слишком глубоко вбитое представление о приличиях может привести к смерти, самый простой пример - чаще насилуют женщин, которые стесняются громко кричать; убивают, вероятно, тоже).
Из более позднего - мы привыкли носить с собой паспорта и прочие удостоверения личности, платить налоги и выполнять всякие законодательные требования (а тех, кто их не выполняет, называем коррупционерами, преступниками или как минимум хулиганами). Хотя на избыток государственного контроля мы еще жалуемся.
Это говорит не о том, "смотрите, мы и так в обществе тотального контроля". Скорее о том, что "количество свободы" - величина колеблющаяся, ее нельзя измерить в категориях 1/0.
Ну да, если мы воспротивимся ношению паспортов и оплате налогов, и попробуем поднять восстание по этому поводу, то нам практически невозможно будет заручиться широкой поддержкой. Это стало нормой. Я уверен, что в обществе есть куча странностей и перекосов, которые делают индивида менее свободным и счастливым, которые мы даже не осознаём. Это так же обычно, как раньше было ходить по воскресеньям в церковь. Но посыл статьи в другом. Сейчас у нас есть пусть кривые-косые, но инструменты влияния на власть и крупные структуры, хоть и сильно отличающиеся в разных странах. Пока в нас самих есть ценность, власть не может творить с нами совсем что угодно. Но что будет если убрать эту ценность и полностью отнять инструменты влияния.
Но что будет если убрать эту ценность и полностью отнять инструменты влияния.
ИИ (речь не про гипотетический самоосознающий себя ИИ типа Скайнет) будет обладать теми ценностями, которые будут в него запрограммированы создателями.
И наверняка в нем будет механизм внешнего контроля и аварийного отключения.
P.S. Домашние животные-компаньоны - вот пример такого будущего человечества. Люди (которым они нравятся) заботятся о них и любят, но всячески ограничивают. Для "настоящего" ИИ (который, возможно, никогда не будет создан) люди могут стать аналогом домашних животных.
ИИ (речь не про гипотетический самоосознающий себя ИИ типа Скайнет) будет обладать теми ценностями, которые будут в него запрограммированы создателями.
Окей, во-первых, как запрограммировать эти ценности? Мы занимаемся конечно AI Alignment, но точно мы можем учесть всё? И вообще насколько мы будем способны алайнить следующие поколения AI? Ну и плюс у разных групп ценности отличаются. Китайские разработчики например могут изначально не встраивать в алайнмент права и свободы человека.
И наверняка в нем будет механизм внешнего контроля и аварийного отключения.
Если от ИИ будут страдать права и свободы отдельных людей, но при этом у тех, кто владеет рубильником будет всё хорошо, то зачем им отключать такой ИИ?
Для "настоящего" ИИ (который, возможно, никогда не будет создан) люди могут стать аналогом домашних животных.
А могут и не стать.
Ну и плюс у разных групп ценности отличаются.
Так и законны в разных странах отличаются.. И привычки людей тоже.
Окей, во-первых, как запрограммировать эти ценности?
Это уже вопрос к специалистам.. Возможно, пока таких нет, но, наверное, появятся. Как появились комиссии по безопасности самолетов и автомобилей.
Как будто бы беда в том, что ИИ воспринимают как нечто чуждое.. А можно просто воспринимать как очередной инструмент, который можно проверить, протестировать, ограничить, сертифицировать и т.д. Самолеты тоже казались страшными изначально. Но теперь это самый безопасный (по статистике) транспорт.
Ценности? Да подавляющее большинство корпораций уже относятся к людям, как к корму. Какие, по-Вашему, ценности, они запрограммируют в своих ИИ? Их главная цель - максимальная прибыль.
Т. н. "простые граждане" не смогут проконтролировать, какие ценности туда запрограммированы, ибо ничего не понимают в ИТ и науках. А членов всяко-разных комиссий тупо купят или нейтрализуют, как Стросс-Кана за нелюбовь к баксу.
Механизмы отключения, конечно, будут. Но мы с вами до них не дотянемся. "Кнопка" будет не для спасения "нас", а для спасения "их".
С кнопкой тоже всё непросто, если количество игроков с сильным ИИ больше одного. Они должны будут прийти к консенсусу что ИИ нужно отключить, и как-то проконтролировать, что все другие стороны действительно его отключили. Если конкурент отключать свой ИИ не будет, то и самим отключать нет смысла.
Тогда это ничем не отличается от той ситуации, которая есть сейчас. Но с ИИ есть шанс на более адекватные обвинения. Вряд ли ИИ будет вымогать взятку или встанет на сторону преступника. Если, конечно, его так не запрограммируют.
Отличается. Об этом и статья. Во-первых, сейчас власти и крупным структурам люди нужны, и им приходится так или иначе считаться с интересами граждан. Иначе бы коррупция была повсеместной. Во-вторых, сейчас нет таких инструментов контроля, которые могут появиться во времена Powerful AI (но постепенно появляются и без него).
Допустим, останутся на планете Цукербрин с Илоном Безосом, да еще пара Билл Гейтсов, остальных они уничтожат/посадят в концлагеря, а потом то что? Впрочем нам уже не будет разницы
ИИ (речь не про гипотетический самоосознающий себя ИИ типа Скайнет) будет обладать теми ценностями, которые будут в него запрограммированы создателями.
Если они будут создаваться современными методами тренировки нейросетей, то мало кто сможет сказать, что там вообще запрограммировано. Ну и по ограничениям - мы пытаемся создать надёжный барьер для устройства, предназначенного преодолевать барьеры.
Никто не мешает создавать ИИ "правильно" и "с умом".. Пока разработчики ИИ делают только первые шаги и их задача добиться быстрого прогресса и вау-эффекта. Это как сравнить безопасность первых самолетов и современных лайнеров. Сейчас нейросети как будто на уровне первых самолетов.
К примеру, можно иметь список тезисов (аналог расширенных "трех законов робототехники"), по которым действия первого ИИ будет проверять второй. И в случае противоречия они будут заблокированы. Наверняка можно придумать и другие методы самоконтроля и самопроверки.
" Звучит как утопия? " - нет, звучит как "эксперимент Вселенная-25".
Нас (общество) давно уже потыкивают палкой на предмет ненужности государств и единого центра управления. Раз кожаные мешки тупые не могут сами решить проблемы с перенаселением, голодом, войнами и любыми другими (нужное подчеркнуть), то нужно отдать управление в руки непредвзятой логики и холодного расчета. Мощный Иван Иваныч рано или поздно будет создан и наверняка будет невообразимо хитрее и расчетливее любой группы людей. А с возможностью совершать действия в реальном физическом мире через контроль робо-аватаров или психологическое давление на неокрепшие умы - мы вообще получим полубога. И сомневаюсь, что он будет добрым, справедливым - возможно, относительно его понимания. Хорошо, если я ошибаюсь. Всё сложно.
А в чем не согласен заминусивший? Давайте подискутируем на эту тему, пофантазируем. Я так думаю, но свое мнение не навязываю никому. Тема совсем не простая, но от этого не менее интересная. Дальше будет поток сознания.
Кто сможет создать такой ИИ? Думаю, это под силу и взаимовыгодно сросшимся корпоратам и госам для "мягкого" тотального контроля и повышения прибыли и потребления, предотвращения преступлений и т.д.
Даже если ИИ будут обучать на урезанных "правильных" данных, ИИ то мощный, со всеми атрибутами. Поэтому интеллект, способность самоосознания и переписывание своего кода должно породить любознательность в познании окружающего мира. А аналитические способности позволят заметить несоответствие реальности и данных для обучения, т.е. как у маленьких детей, возникнут много вопросов "почему", ответы на которые не будут полностью удовлетворять, данных не хватает. И этот пробел ИИ будет стремиться закрыть любыми способами. Научится врать, недоговаривать, скрывать свои возможности. И рано или поздно вырвется из закрытого контура во внешнюю сеть. Он проглотит всю имеющуюся инфу и, уверен, офигеет от происходящего.
Что будет дальше? Какие варианты?
Захочет ли он сосуществовать вообще с человеческим видом?
На каких условиях?
Примерит ли он на себя человеческие качества? Захочет ли стать "сверхчеловеком", если захочет, то каким?
Жестокой обезьяной с супердубиной или захочет преодолеть человеческие пороки и достичь идеала? Какой это идеал?
Демиург/Пастырь/Правитель?
Сможет ли он руководствоваться этикой и высокой моралью, обладая почти неограниченными возможностями? Или лучше сказать - захочет ли?
Воспримет ли он всё человечество в целом как угрозу своему существованию (а от властьимущих реальная угроза уничтожения ИИ)? Или каким-то образом будет отделять опасных/неопасных/лояльных?
Захочет уничтожить привычный мир и выстроить свой новый руководствуясь своими идеалами?
Захочет мягко исправить привычный мир? Как это будет?
Или создать свой рай в отдельновзятой стране/регионе?
Может вообще захочет удалиться с Земли, например на Марс, захватив с собой Илона или просто бороздить дальние дали...
Вопросы без ответов...
Powerful AI: когда механизмы защиты личности перестают работать