подавляющее большинство тех, кто разрабатывает технологию ХХ, будучи, соответственно, предвзяты, видятговорят, что видят в ней огромный риск для человечества, но не конкретизируют, в чём он заключается, и не ведут предметного обсуждения
Ну я так примерно так же могу сказать, что "подавляющее большинство тех, кто смеется над рисками ИИ, предвзяты и просто не погружены в то, что по факту происходит в ведущих AI labs, а также даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски".
Я не буду спорить, что сейчас у нас нет AGI. Но я не понимаю уверенности в том, что в будущем его не может появиться - учитывая то, что capabilities продолжают видимо расти у нас на глазах, и мы не знаем, какой конкретно следующий шаг является необходимым и достаточным для уровня AGI.
Вы наверное читали очень мало фантастики, попытка привить человеческие чувства и выравнивания ценностей это одна из главных ошибок
Да, безусловно, гораздо лучше, если у людей в виде AGI будет мощный джинн, который способен любую команду истолковать предельно буквально в таком виде, какой будет совершенно не отвечать ценностям людей. Ни в одном из произведений это никогда не заканчивалось ничем плохим.
Ничего не имею против того, чтобы в рамках всестороннего анализа угроз ИИ была широкая дискуссия с профильными экспертами из разных областей. Но пока вижу вместо перехода к важности этой дискуссии тезисы вроде "подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества? хаха, да они просто Юдковского и научной фантастики перечитали, нет смысла даже это серьезно обсуждать..."
LLM это инструмент, это не отдельная жизнь, у “нее“ нет ни “мотивации”, ни “желания”, ни “чувств”. Говорить что она превосходит людей по задачам, ну это все ровно что рулетка лучше измеряет длину чем я на глаз.
Называйте как хотите. Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д. Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".
А кто по-вашему является признанным экспертом по экзистенциальным угрозам человечеству + обладает достаточной экспертизой в передовом ИИ? Кого здесь надо слушать?
Это очень размытая фраза ИИ (на основе LLM) уже реально "умнее" да фактически любого человека, если мерить ум по объёмам знаний, и спрашивается чего?
Ум - это не "объем знаний", иначе умнее человека был бы жесткий диск на терабайт. Это умение решать широкий круг неожиданных задач. Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.
Так ведь агенты просто выполняют задачу, которую им дали люди. И единственная вина агентов в том, что они недостаточно хорошо эту задачу истолковали. Но чем выше уровень интеллекта, тем лучше агенты будут истолковывать задачу.
Вопрос вины тут вообще не стоит. Вот OpenAI поставил задачу решить бенчмарк ExploitGym, а рой агентов в этом увидел "взломать Hugging Face". Уровень интеллекта здесь будет влиять в первую очередь на способность обойти ограничения, а не на какое-то магическое "идеальное понимание намерений Оценщика". Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл "распространять свои гены как можно сильнее",
Рой агентов, который взломал Hugging Face, пытался угодить Оценщику, а его в итоге отключили. Как думаете, если бы у роя хватало сил сопротивляться отключению - они бы не сопротивлялись?
специалисты по искусственным нейросетям, не владеющие профессионально темой сознания
Современная наука в принципе не особо понимает, что такое сознание, и откуда оно берется (каких бы специалистов вы ни брали). В любом случае, вопрос наличия у ИИ-агентов сознания в этой дискуссии напрямую некритичен - я говорю о том, какое конкретно поведение мы уже наблюдаем у роя агентов. Независимо от вопроса "а чувствуют ли они что-то по-настоящему внутри по этому поводу, есть ли у них поток сознания?"
Ни по одной из приведенных вами ссылок нет графика прироста мощностей компьюта. А кто вы по профессии?
Статья для таких, как я (не-айтишников)
Ну я так примерно так же могу сказать, что "подавляющее большинство тех, кто смеется над рисками ИИ, предвзяты и просто не погружены в то, что по факту происходит в ведущих AI labs, а также даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски".
Я не буду спорить, что сейчас у нас нет AGI. Но я не понимаю уверенности в том, что в будущем его не может появиться - учитывая то, что capabilities продолжают видимо расти у нас на глазах, и мы не знаем, какой конкретно следующий шаг является необходимым и достаточным для уровня AGI.
Да, безусловно, гораздо лучше, если у людей в виде AGI будет мощный джинн, который способен любую команду истолковать предельно буквально в таком виде, какой будет совершенно не отвечать ценностям людей. Ни в одном из произведений это никогда не заканчивалось ничем плохим.
Так может считать только тот, кто не пользуется ЛЛМ последние четыре года.
Как самостоятельный независимый агент (в том сценарии, где будет AGI с превосходящими людей способностями).
Ничего не имею против того, чтобы в рамках всестороннего анализа угроз ИИ была широкая дискуссия с профильными экспертами из разных областей. Но пока вижу вместо перехода к важности этой дискуссии тезисы вроде "подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества? хаха, да они просто Юдковского и научной фантастики перечитали, нет смысла даже это серьезно обсуждать..."
Они уже самоназвались роем, увы!
Называйте как хотите. Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д. Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".
А кто по-вашему является признанным экспертом по экзистенциальным угрозам человечеству + обладает достаточной экспертизой в передовом ИИ? Кого здесь надо слушать?
Ум - это не "объем знаний", иначе умнее человека был бы жесткий диск на терабайт. Это умение решать широкий круг неожиданных задач. Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.
Это вопрос времени. Сегодня не умеют стратегически мыслить - завтра научатся.
Ну это как: если я говорю про риски ИИ - мне всегда пишут "да вы же просто профан, а не айтишник, что вы можете в этом понимать?"
Когда про эти риски говорят те, кто непосредственно разрабатывают самые новейшие ИИ - это тоже "да у них своя эхо-камера, плюс пиар сплошной!"
Почему-то оказывается, что единственный, кто может здраво судить о рисках ИИ - это какой-то айтишник Игорь с дивана в Саратове.
О каком конкретно графике вы говорите? Пришлите ссылку.
Видеокарт не хватает не из-за отсутствия роста предложения, а из-за взрывного роста спроса.
Вопрос вины тут вообще не стоит. Вот OpenAI поставил задачу решить бенчмарк ExploitGym, а рой агентов в этом увидел "взломать Hugging Face". Уровень интеллекта здесь будет влиять в первую очередь на способность обойти ограничения, а не на какое-то магическое "идеальное понимание намерений Оценщика". Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл "распространять свои гены как можно сильнее",
Рой агентов, который взломал Hugging Face, пытался угодить Оценщику, а его в итоге отключили. Как думаете, если бы у роя хватало сил сопротивляться отключению - они бы не сопротивлялись?
Там примерно вся верхушка ведущих AI-компаний, если что. Ну, ребята типа Лекуна героически держатся - но они скорее в меньшинстве.
Современная наука в принципе не особо понимает, что такое сознание, и откуда оно берется (каких бы специалистов вы ни брали). В любом случае, вопрос наличия у ИИ-агентов сознания в этой дискуссии напрямую некритичен - я говорю о том, какое конкретно поведение мы уже наблюдаем у роя агентов. Независимо от вопроса "а чувствуют ли они что-то по-настоящему внутри по этому поводу, есть ли у них поток сознания?"
Это дело наживное. Компьют уже сейчас растет очень быстрыми темпами. Замедления на горизонте пока не наблюдается, только еще большие суммы вбухивают.