Ноам Браун — исследователь OpenAI, создатель рассуждающих моделей o1 и o3, а до этого покерных ИИ Libratus и Pluribus — опубликовал эссе, в котором заявил: ни AI-компании, ни спецслужбы не должны решать, как использовать ИИ. По его мнению, правила должны быть публичными и приниматься через демократические институты, а не через корпоративные политики или условия контрактов с Пентагоном. Эссе — продолжение позиции, которую Браун обозначил еще на прошлой неделе, когда публично раскритиковал первоначальные условия контракта OpenAI с Пентагоном.

Спусковым крючком истории стал конфликт между Пентагоном и Anthropic, которая отказалась дать военным неограниченный доступ к своим моделям — компания потребовала гарантий, что Claude не будет использоваться для массовой слежки за американцами и полностью автономного оружия. Пентагон в ответ признал Anthropic "риском для цепочки поставок" и приказал федеральным агентствам в течение шести месяцев прекратить использование её технологий. OpenAI тут же подписала собственный контракт с военными — но после волны критики от сотрудников и оттока пользователей была вынуждена добавить ограничения и приостановить развертывание для разведывательных агентств.

Браун подчеркивает структурную проблему: добровольные ограничения AI-компаний экономически хрупки. Лаборатория, которая ставит себе рамки, несет конкурентные издержки, а соперники могут этого не делать. Модель управления, зависящая от доброй воли каждой компании, — не та защита, на которую стоит полагаться. При этом передавать эту власть спецслужбам тоже нельзя: это просто перемещает проблему легитимности от корпораций к чиновникам.

Исследователь разбирает три возражения, которые слышит от коллег: что компании вправе сами решать, что ученые лучше разбираются в технологии, и что демократические институты слишком медленны. На все три он отвечает одинаково — экспертиза не дает права на власть, а медлительность демократии не повод от нее отказываться.

В качестве конкретных шагов Браун предлагает четыре вещи: законодательно ограничить использование ИИ для слежки за гражданами, закрыть лазейку с покупкой персональных данных у брокеров, перевести правила для автономного оружия из ведомственных директив в законы и обязать агентства вести аудируемые записи при использовании ИИ в чувствительных ситуациях.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.