В команде Vercel (создателей Next.js) представили открытый проект Agent Desktop, который позволяет Claude и Codex управлять любыми программами на рабочем ПК на Windows, macOS и Linux, включая сложные последовательности действий в приложениях:

• ИИ получает доступ к интерфейсу программ: может нажимать кнопки, заполнять поля, прокручивать страницы, работать с окнами, меню и буфером обмена.

• Не нужны специальные интеграции и API: агент использует системные инструменты Windows, macOS и Linux, чтобы взаимодействовать с обычными десктопными приложениями.

• Работает не только по скриншотам: вместо угадывания координат кнопок ИИ считывает структуру интерфейса и точно определяет, на какие элементы нужно нажимать.

• 60 команд для управления компьютером: от запуска приложений и перетаскивания объектов до управления уведомлениями и проверки результатов собственных действий.