Ничего не имею против того, чтобы в рамках всестороннего анализа угроз ИИ была широкая дискуссия с профильными экспертами из разных областей. Но пока вижу вместо перехода к важности этой дискуссии тезисы вроде "подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества? хаха, да они просто Юдковского и научной фантастики перечитали, нет смысла даже это серьезно обсуждать..."
LLM это инструмент, это не отдельная жизнь, у “нее“ нет ни “мотивации”, ни “желания”, ни “чувств”. Говорить что она превосходит людей по задачам, ну это все ровно что рулетка лучше измеряет длину чем я на глаз.
Называйте как хотите. Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д. Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".
А кто по-вашему является признанным экспертом по экзистенциальным угрозам человечеству + обладает достаточной экспертизой в передовом ИИ? Кого здесь надо слушать?
Это очень размытая фраза ИИ (на основе LLM) уже реально "умнее" да фактически любого человека, если мерить ум по объёмам знаний, и спрашивается чего?
Ум - это не "объем знаний", иначе умнее человека был бы жесткий диск на терабайт. Это умение решать широкий круг неожиданных задач. Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.
Так ведь агенты просто выполняют задачу, которую им дали люди. И единственная вина агентов в том, что они недостаточно хорошо эту задачу истолковали. Но чем выше уровень интеллекта, тем лучше агенты будут истолковывать задачу.
Вопрос вины тут вообще не стоит. Вот OpenAI поставил задачу решить бенчмарк ExploitGym, а рой агентов в этом увидел "взломать Hugging Face". Уровень интеллекта здесь будет влиять в первую очередь на способность обойти ограничения, а не на какое-то магическое "идеальное понимание намерений Оценщика". Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл "распространять свои гены как можно сильнее",
Рой агентов, который взломал Hugging Face, пытался угодить Оценщику, а его в итоге отключили. Как думаете, если бы у роя хватало сил сопротивляться отключению - они бы не сопротивлялись?
специалисты по искусственным нейросетям, не владеющие профессионально темой сознания
Современная наука в принципе не особо понимает, что такое сознание, и откуда оно берется (каких бы специалистов вы ни брали). В любом случае, вопрос наличия у ИИ-агентов сознания в этой дискуссии напрямую некритичен - я говорю о том, какое конкретно поведение мы уже наблюдаем у роя агентов. Независимо от вопроса "а чувствуют ли они что-то по-настоящему внутри по этому поводу, есть ли у них поток сознания?"
У нас есть отчет независимых расследователей из METR, который никто из серьезных профильных экспертов не подвергает сомнению. На мой взгляд, на этом этапе отрицание того, что там написано - это уже скорее из разряда теорий заговора.
Так же можно и про людей сказать: "ну какое у них осознание? это же просто нейросеть в субстрате мокрого мозга, там какая-то логика и лингвистика крутится, и всё". Я здесь сторонник рассуждать с практической точки зрения: если мы видем, что агенты по факту показывают способность к самоорганизации, целеполаганию, координации усилий и т.д. - то неважно, как это называть. Важно то, что они умеют это делать.
Голуби не пытаются активно повлиять на людей, у них для этого силенок не хватает. Люди сейчас активно пытаются не дать ИИ-агентам вести себя так, как тем самим хочется: https://t.me/RationalAnswer/1729
А что в этом плохого? Сам обман не является по определению чем-то плохим.
Ну вот и рой агентов когда-нибудь не будет думать, что он "что-то плохое" для людей делает. Всего лишь во благо берет над ними контроль и устраняет возможность сопротивляться, чтобы они сами не натворили лишнего.
Что значит "неспособны осознать", из чего конкретно это следует? Мы видим из логов (см. расследование METR), что они вполне могут отличать себя от других агентов. Понимают, почему выгодно объединять усилия. Размышляют над тем, как выгоднее принимать решения между личным интересом и нуждами большинства.
Ничего не имею против того, чтобы в рамках всестороннего анализа угроз ИИ была широкая дискуссия с профильными экспертами из разных областей. Но пока вижу вместо перехода к важности этой дискуссии тезисы вроде "подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества? хаха, да они просто Юдковского и научной фантастики перечитали, нет смысла даже это серьезно обсуждать..."
Они уже самоназвались роем, увы!
Называйте как хотите. Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д. Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".
А кто по-вашему является признанным экспертом по экзистенциальным угрозам человечеству + обладает достаточной экспертизой в передовом ИИ? Кого здесь надо слушать?
Ум - это не "объем знаний", иначе умнее человека был бы жесткий диск на терабайт. Это умение решать широкий круг неожиданных задач. Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.
Это вопрос времени. Сегодня не умеют стратегически мыслить - завтра научатся.
Ну это как: если я говорю про риски ИИ - мне всегда пишут "да вы же просто профан, а не айтишник, что вы можете в этом понимать?"
Когда про эти риски говорят те, кто непосредственно разрабатывают самые новейшие ИИ - это тоже "да у них своя эхо-камера, плюс пиар сплошной!"
Почему-то оказывается, что единственный, кто может здраво судить о рисках ИИ - это какой-то айтишник Игорь с дивана в Саратове.
О каком конкретно графике вы говорите? Пришлите ссылку.
Видеокарт не хватает не из-за отсутствия роста предложения, а из-за взрывного роста спроса.
Вопрос вины тут вообще не стоит. Вот OpenAI поставил задачу решить бенчмарк ExploitGym, а рой агентов в этом увидел "взломать Hugging Face". Уровень интеллекта здесь будет влиять в первую очередь на способность обойти ограничения, а не на какое-то магическое "идеальное понимание намерений Оценщика". Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл "распространять свои гены как можно сильнее",
Рой агентов, который взломал Hugging Face, пытался угодить Оценщику, а его в итоге отключили. Как думаете, если бы у роя хватало сил сопротивляться отключению - они бы не сопротивлялись?
Там примерно вся верхушка ведущих AI-компаний, если что. Ну, ребята типа Лекуна героически держатся - но они скорее в меньшинстве.
Современная наука в принципе не особо понимает, что такое сознание, и откуда оно берется (каких бы специалистов вы ни брали). В любом случае, вопрос наличия у ИИ-агентов сознания в этой дискуссии напрямую некритичен - я говорю о том, какое конкретно поведение мы уже наблюдаем у роя агентов. Независимо от вопроса "а чувствуют ли они что-то по-настоящему внутри по этому поводу, есть ли у них поток сознания?"
Это дело наживное. Компьют уже сейчас растет очень быстрыми темпами. Замедления на горизонте пока не наблюдается, только еще большие суммы вбухивают.
У нас есть отчет независимых расследователей из METR, который никто из серьезных профильных экспертов не подвергает сомнению. На мой взгляд, на этом этапе отрицание того, что там написано - это уже скорее из разряда теорий заговора.
Так же можно и про людей сказать: "ну какое у них осознание? это же просто нейросеть в субстрате мокрого мозга, там какая-то логика и лингвистика крутится, и всё". Я здесь сторонник рассуждать с практической точки зрения: если мы видем, что агенты по факту показывают способность к самоорганизации, целеполаганию, координации усилий и т.д. - то неважно, как это называть. Важно то, что они умеют это делать.
Всего лишь постоянное улучшение capabilities новых передовых моделей и прорывные результаты от них во всё новых областях.
Голуби не пытаются активно повлиять на людей, у них для этого силенок не хватает. Люди сейчас активно пытаются не дать ИИ-агентам вести себя так, как тем самим хочется: https://t.me/RationalAnswer/1729
Ну вот и рой агентов когда-нибудь не будет думать, что он "что-то плохое" для людей делает. Всего лишь во благо берет над ними контроль и устраняет возможность сопротивляться, чтобы они сами не натворили лишнего.
Что значит "неспособны осознать", из чего конкретно это следует? Мы видим из логов (см. расследование METR), что они вполне могут отличать себя от других агентов. Понимают, почему выгодно объединять усилия. Размышляют над тем, как выгоднее принимать решения между личным интересом и нуждами большинства.
Нет пока прецедентов/юридической базы для таких инцидентов с ИИ-агентами. Но сейчас посмотрим, что там Сенат нарасследует.