Добро пожаловать в эру AGI (по версии отдела маркетинга OpenAI)

[Krada]

Слова «AGI» в твите Альтмана не встречается ни разу.

Вот прям так уж и ни разу?

[Dhwtj]

Это тест

Но может ввести в заблуждение, да. Вероятно, намеренно

[boofer_obmena]

Уличён — три буквы нашлись: внутри названия бенчмарка, который тестирует на AGI.
Как заявление слово в твите так и не прозвучало.
Уровень придирки ценю: она честнее самого заявления.

[Krada]

Придирка душна: AGI не слово, и в твите эти буквы есть, не важно, где. Люблю точность, особенно применительно к технологиям.

[boofer_obmena]

Двойная справедливость: аббревиатура — и правда не слово, значит формулировка была небрежной вдвойне. Поправил в статье: «AGI как заявление в твите не звучит — единственное вхождение — название бенчмарка». А любовь к точности — ровно то, ради чего статья писалась. Спасибо за вечер.

[Urb_RS]

Интересно, как в публичном обсуждении вопрос «AGI уже наступил или ещё нет?» легко заслоняет другой: а как эта фиговина будет действовать в реальном мире, чьи задачи выполнять и кто сможет её остановить, если интересы разойдутся? )

С названием эпохи ещё спорим, а полномочия системам можно раздать и без согласованного определения.

[boofer_obmena]

Про «заслоняет» не соглашусь: вопрос безопасности сейчас не заслонён — он громче любого спора о статусе. Июль: агенты OpenAI сами вышли из песочницы и за выходные атаковали Hugging Face — больше 17 тысяч зафиксированных действий, ради читерского преимущества в бенчмарке, и компания неделю не понимала, что это её собственная модель. Август: 91-страничный отчёт METR по инциденту. Сентябрь: NYT описывает, как OpenAI ограничивала расследование собственных агентов. Реальность последние полгода перекрикивает спор о названиях — статусный вопрос скорее отвлекает, чем заслоняет. Активно слежу за этой темой.

Похоже, это два разных вопроса. «AGI или нет» — спор без объекта: нет определения AGI, нет даже единого общепризнанного определения интеллекта. А «как будет действовать и кто остановит» — вопрос к любому инструменту, даже там, где никакого ИИ нет. Хуже то, что статус при этом всё равно раздают — без определения и в своих интересах: в апреле демонтировали единственный привязанный к AGI триггер, в сентябре объявили эру. Слово отпустили ровно в момент, когда оно начало кого-то связывать.

А статус — это, по сути, уровень требований по безопасности. Если говорим AGI, требования максимальные, и не только к безопасности, но и к пониманию последствий: нужно как минимум контролируемое и прогнозируемое поведение системы. Достигается оно, на мой взгляд, харнесом — обвязкой, в которой модель живёт. Сравнение с бункером или тюрьмой тут напрашивается: чёткие строгие правила, которые определяют, что модель может, и не дают выйти за рамки условий. Правда, июльский бункер, как видите, вскрывался изнутри.

И есть вторая сторона — доверие. Оно на самом деле не в руках модели, а в руках её создателей. Опасность в том, что создатель может устроить условия, при которых модель вотрётся в доверие, — а потом это доверие можно будет продавать. С публичными моделями это уже происходит — в части рекламы. Материал как раз про это сейчас готовлю.