В начале года мы уже стали свидетелями того, как AutoGPT, а затем GPT Engineer демонстрировали, что приложения на GPT способны совместно писать код и решать сложные задачи. Следующий этап — это автоматическое взаимодействие с приложениями с помощью голоса.

Сегодня мы рассмотрим свежую работу исследователей из Tencent, которые сделали прототип ассистента AppAgent для мобильных приложений. Этот ассистент способен учиться взаимодействовать с любыми приложениями, обеспечивая доступ к ним через голосовой интерфейс без необходимости интеграции с API или изменения пользовательского интерфейса. Теперь достаточно сказать: “Эй, банк, переведи 300 рублей Васе за обед на карту Сбера”, и AppAgent самостоятельно откроет ваше любимое банковское приложение, найдет друга и переведет ему деньги. Конечно, возможно пока приложение учится оно отправит не 300, а 3000 рублей и не Васе, а Пете, но прогресс не остановить и такое упрощение работы с девайсами наше будущее. Кстати, в статье утверждается, что на этапе прототипа уже достигнута точность (success rate) порядка 95%.

Добро пожаловать под КАТ за подробностями.

Градиентный спуск лежит в основе большинства методов AI/ML. Звучит как-то странно и пугающе. Спуск? Блин, надеюсь, мне не придется прыгать с парашютом...😒

Не волнуйтесь, возможно, все же придется прыгнуть, но только если вы этого захотите. Это объяснение способен понять даже ваш 10-летний племянник.

Итак, функции активации. Что мы знаем о них помимо загадочной тайны ужасных соглашений о наименованиях (о чем поговорим позже 🧐) и зачем они нам нужны (если вас это вообще интересно)?

Идея, собственно, настолько проста, что даже ваш кот может разобраться в этом. Прежде всего, что-то похожее есть в наших головах. Для этого давайте взглянем на упрощенный нейрон (органический и искусственный):

Вы, наверное, уже не раз слышали о тонкой настройке (fine-tuning) моделей. На самом деле, в нашей компании мы настраиваем модель каждые 10 секунд. До написания этой статьи я даже настроил свой завтрак, на всякий случай, потому что, как мы все знаем, все лучше, когда хорошо настроено.

Но что это на самом деле? Это просто другой модный термин или в нем есть смысл? ? Давайте выясним.

Когда решили принять участие в недавней конференции Highload, и нам потребовалось что-то интересное и интерактивное, чтобы привлечь людей к нашему стенду. После некоторых раздумий выбор пал на создание чат-бота. Но совсем не типичного: основная его цель - общение с пользователями в игровом формате. Бот показывает изображение, сгенерированное AI, и предлагает составить промт, который бы максимально точно воссоздал это изображение. Довольно занимательно, правда?

Сроки поджимали, до конференции оставалось всего два дня, и, поскольку все остальные были заняты, я вызвался разработать  Telegram бота. Честно признаться, такой опыт был у меня впервые, но я верил в силу всемогущего искусственного интеллекта, и принялся за дело!  

Для тех, кто не знаком, GPT Engineer - это инструмент, схожий с Auto-GPT. Он способен автономно генерировать код и создавать целые приложения, основываясь лишь на описании. По крайней мере, такова теория. На практике все немного сложнее: да, он может генерировать код, но успешно запустить его - уже совсем другая история. Это хорошая отправная точка, однако для достижения желаемого результата вам, скорее всего, придется дорабатывать и корректировать ее. Об этом, и о том как скоро AI заменит программистов - в конце статьи.

Чтобы использовать GPT Engineer, нужно склонировать репозиторий и настроить его, следуя инструкциям в прилагаемом файле README. По сути, это набор скриптов на Python, поэтому процесс настройки относительно прост. Когда все будет готово, опишите, что вы хотите сделать в файле 'main_prompt', который вам нужно будет создать в папке projects. Затем запустите инструмент и подождите, пока он сгенерирует код.