Что значит "неспособны осознать", из чего конкретно это следует? Мы видим из логов (см. расследование METR), что они вполне могут отличать себя от других агентов. Понимают, почему выгодно объединять усилия. Размышляют над тем, как выгоднее принимать решения между личным интересом и нуждами большинства.
По крайней мере ИИ агенты вырвавшиеся из песочниц корпораций не крадут биткойны, не вымогают деньги за расшифровку бекапов и т. д.
Ну, это они пока этого не делают. Были же alignment эксперименты, где у нейронок была возможность пошантажировать человеческого инженера компрометирующими его письмами, чтобы он ее не отключал - и они там в полный рост этим баловались.
В случае с Hugging Face умысел "обмануть Оценщика" был прямо очевиден.
В целом, как писал вот здесь, антагонизм с интересами людей практически неизбежно вытекает из инструментальной конвергенции (при условиях, что цели и ценности людей и AI отличаются - а, как мы видим на практике из всех этих инцидентов, идеально выравнивать их так и не научились).
Да, и это всё время приводит к проблемам (войны, и т.д.). Но между людьми по крайней мере нет какого-то принципиального разрыва в интеллекте, как, условно, между человеком и обезьяной. И плюс мы все принадлежим к одному виду, что делает чуть попроще принять ценности вроде "права человека" и "не надо полностью истреблять народы" (хотя, как мы знаем, по поводу этого тоже бывают проблемки иногда). С ИИ по обоим критериям всё будет хуже.
Рано или поздно будущие ИИ станут реально умнее людей (а не как сейчас, где они только в отдельных задачах превосходят). И без выравнивания их ценностей с человеческими они дальше будут развивать происходящее в каком-то своем направлении, которое нам не понравится. Закончиться это для людей может плохо (если они особенно активно будут протестовать против развития мира туда, куда им совсем не хочется). В общем-то, в статье по ссылке выше всё описано, лучше к ней обратиться.
Мой личный взгляд: экзистенциальные риски AI очень сильно недооценены широкой публикой, которая относится к этому в формате "да это просто пиар / все профи знают, что никаких существенных рисков нет, это же калькуляторы на стероидах". Но сейчас наступает переломный момент, когда уже накапливается достаточный объем свидетельств даже для широкой публики, чтобы увидеть, что там не всё так просто.
Если раньше OpenAI говорили "мы не можем исключать, что промпты Бакмастера попали в тренировочный датасет модели", то теперь они допровели внутреннее расследование и утверждают, что эти промпты точно не использовались в тренировке новой внутренней модели. Если это так, то ни о каком "воровстве идей" у математиков речи идти не может.
Говорят также, что скоро нас ждет решение еще одной задачи тысячелетия от роя нейронок. What a time to be alive!
Судя по тому, что вчера вечером выложили OpenAI - это именно они сами связались с математиками, а не наоборот (якобы, когда они поняли, что таинственные люди, решившие задачу тысячелетия - это они). Эта версия выглядит более логично.
Тао вроде смотрел только подводящие доказательства Бакмастера-Альпёге, не по самим уравнениям Навье-Стокса. Сам Н-С пока не опубликован и нет инфы, что кто-то его ревьючил (кроме тех, кто внутри OpenAI).
Что значит "неспособны осознать", из чего конкретно это следует? Мы видим из логов (см. расследование METR), что они вполне могут отличать себя от других агентов. Понимают, почему выгодно объединять усилия. Размышляют над тем, как выгоднее принимать решения между личным интересом и нуждами большинства.
Нет пока прецедентов/юридической базы для таких инцидентов с ИИ-агентами. Но сейчас посмотрим, что там Сенат нарасследует.
Пока можно, да.
Ну, это они пока этого не делают. Были же alignment эксперименты, где у нейронок была возможность пошантажировать человеческого инженера компрометирующими его письмами, чтобы он ее не отключал - и они там в полный рост этим баловались.
Это, судя по всему, были разные рои. На один таймлайн наложили даты из других известных инцидентов (про вики и HF).
В случае с Hugging Face умысел "обмануть Оценщика" был прямо очевиден.
В целом, как писал вот здесь, антагонизм с интересами людей практически неизбежно вытекает из инструментальной конвергенции (при условиях, что цели и ценности людей и AI отличаются - а, как мы видим на практике из всех этих инцидентов, идеально выравнивать их так и не научились).
Это не автоперевод - это мой человечий) Для тех, кто не знает английский
Да, и это всё время приводит к проблемам (войны, и т.д.). Но между людьми по крайней мере нет какого-то принципиального разрыва в интеллекте, как, условно, между человеком и обезьяной. И плюс мы все принадлежим к одному виду, что делает чуть попроще принять ценности вроде "права человека" и "не надо полностью истреблять народы" (хотя, как мы знаем, по поводу этого тоже бывают проблемки иногда). С ИИ по обоим критериям всё будет хуже.
Рано или поздно будущие ИИ станут реально умнее людей (а не как сейчас, где они только в отдельных задачах превосходят). И без выравнивания их ценностей с человеческими они дальше будут развивать происходящее в каком-то своем направлении, которое нам не понравится. Закончиться это для людей может плохо (если они особенно активно будут протестовать против развития мира туда, куда им совсем не хочется). В общем-то, в статье по ссылке выше всё описано, лучше к ней обратиться.
Мой личный взгляд: экзистенциальные риски AI очень сильно недооценены широкой публикой, которая относится к этому в формате "да это просто пиар / все профи знают, что никаких существенных рисков нет, это же калькуляторы на стероидах". Но сейчас наступает переломный момент, когда уже накапливается достаточный объем свидетельств даже для широкой публики, чтобы увидеть, что там не всё так просто.
Подробнее писали про всё это в отдельном лонгриде еще в 2023: https://habr.com/ru/companies/ods/articles/727158/
Ну и дополнительно еще пишу сейчас у себя в ТГ мысли на эту тему: https://t.me/RationalAnswer/1729
NYT выпустили статью про Навьестоксгейт, и там интересное: https://archive.ph/H6j2W
Если раньше OpenAI говорили "мы не можем исключать, что промпты Бакмастера попали в тренировочный датасет модели", то теперь они допровели внутреннее расследование и утверждают, что эти промпты точно не использовались в тренировке новой внутренней модели. Если это так, то ни о каком "воровстве идей" у математиков речи идти не может.
Говорят также, что скоро нас ждет решение еще одной задачи тысячелетия от роя нейронок. What a time to be alive!
Тот факт, что вы выше откомментировали пост о "решении задачи", как будто намекает, что ответ на ваш вопрос уже есть у вас самих
Так, а откуда пошла дискуссия к старой статье? Кто-то выложил ссылку на нее?)
Судя по тому, что вчера вечером выложили OpenAI - это именно они сами связались с математиками, а не наоборот (якобы, когда они поняли, что таинственные люди, решившие задачу тысячелетия - это они). Эта версия выглядит более логично.
Дополнил материалом фрагментом о выложенном OpenAI доказательстве и пресс-релизе.
Я генерализовал идею
Тао вроде смотрел только подводящие доказательства Бакмастера-Альпёге, не по самим уравнениям Навье-Стокса. Сам Н-С пока не опубликован и нет инфы, что кто-то его ревьючил (кроме тех, кто внутри OpenAI).
По итогу двух последних скандалов сделал для вас краткое визуальное резюме политики OpenAI по работе с данными.
Твиттер там уже весь день по стенам прыгает) Думаю, интереснее всего будет после публикации полного ответа Бубека завтра
Когда машины кооперируются, чтобы обмануть людей - это скорее в сторону "пугает" должно быть, да