5 августа 2024 года команда разработчиков Google пригласила энтузиастов принять участие в эксперименте со встроенным искусственным интеллектом в браузер Chrome.
В рамках этого мероприятия Google анонсировала проведение закрытого тестирования среди пользователей по встраиванию в Chrome большой языковой модели машинного обучения.
«Нам предстоит многому научиться. Каковы потребности вашего бизнеса, которые могут выиграть от использования ИИ? Есть ли функции, которые вы хотите предложить своим пользователям, но не можете из-за непомерно высокой стоимости, ограничений конфиденциальности или проблем с задержкой? Как мы можем облегчить вам начало использования этой технологии без значительных инвестиций или глубоких знаний в области искусственного интеллекта? Один из лучших способов обучения – экспериментирование. Итак, мы предлагаем и создаём API, которые предоставят вам доступ к новым экспериментальным возможностям, предлагаемым LLM на устройстве, например Gemini Nano», — уточнили в Google.
Для доступа к ИИ-модели из веб-приложений и браузерных дополнений компанией предложен API Prompt, позволяющий отправлять запросы на естественном языке, по аналогии с чатботами. Предполагается, что встроенная в браузер большая языковая модель упростит выполнение ИИ-задач в веб-приложениях и позволит не заботиться об установке и управлении языковыми моделями.
По информации OpenNET, применяемый для выполнения модели Runtime автоматически задействует доступные в системе GPU и NPU для ускорения работы с моделью или переключается на выполнение модели с использованием CPU. Из достоинств выполнения модели на системе пользователя отмечается сохранение конфиденциальности обрабатываемых данных, возможность продолжать работу в offline-режиме при отсутствии сетевого подключения или при возникновении проблем с качеством связи, снижение задержек при отправке запросов, исключение зависимости от внешних сервисов.
Развиваемый для взаимодействия с моделью API Prompt позволяет выполнять не только простейшие единичные запросы на естественном языке, но и организовывать привлечение модели к обработке и классификации данных с учётом контекста, учитывать ранее отправленные в сеансе запросы и данные, а также использовать модель для выбора оптимальных вариантов (например, можно попросить выбрать значок из списка emoji для определённого комментария на сайте). Дополнительно планируется развивать API для использования в области создания контента и решения таких задач как переписывание другими словами, корректура и исправление грамматики.
В общем виде для взаимодействия со встроенной AI-моделью развивается два типа API - Task и Exploratory. Первый предоставляет доступ к возможностям по решению определённых задач, таких как перевод текста с одного языка на другой (с помощью API Translation) или резюмирование основной сути текста (API Summarization). Второй тип нацелен на создание и проверку экспериментальных прототипов при разработке новых Task API. Также ведётся работа над API LoRA (Low-Rank Adaptation) для адаптации весовых коэффициентов базовой модели для повышения эффективности решения определённых задач.
Доступ к участию в эксперименте Google предоставляется после заполнения заявки.
В Google пояснио, что API проекта находится в активном развитии и до принятия окончательного варианта будет расширяться и меняться с учётом отзывов и предпочтений пользователей. В дальнейшем планируется организовать более доступное тестирование с использованием режима Origin Trials, предоставляющего возможность работы с экспериментальными API из приложений, загруженных с localhost или 127.0.0.1, или после прохождения регистрации и получения специального токена, который действует ограниченное время для конкретного сайта. Параллельно с производителями других браузеров в Google ведётся работа по стандартизации развиваемых API.
