В отличие от нынешних голосовых ассистентов, команда AI for Service предлагает более интерактивный подход. Они считают, что ИИ должен сам распознавать ситуации, когда человеку требуется помощь, и предлагать ее без предварительного запроса. Такой подход, который они называют проактивной помощью, был продемонстрирован на примере ИИ-очков с потоковым видео от первого лица.

Сравнение пассивного и проактивного сервиса: пассивный — ИИ помогает только по запросу; проактивный — наблюдает за окружением, предполагает мысли пользователя, учитывает его потребности и оказывает услуги без запроса.

Для чего все это?

В быту нам нечасто удается сформулировать запросы в нужный момент: мысли мелькают, руки заняты, ситуация постоянно меняется. Проактивный ИИ должен уметь:

Определить подходящий момент для вмешательства;
Предложить краткий общий совет, если он будет достаточным;
Приоритет отдавать персональному сопровождению, когда речь идет о сформировавшихся привычках и долгосрочных предпочтениях.

Исследователи определяют проактивное поведение ИИ с помощью двух ключевых параметров: момента вмешательства и метода помощи.

Как это устроено

Предлагаемая архитектура Alpha‑Service, отсылающая к классической, но актуальной концепции фон Неймана, состоит из пяти блоков, которые охватывают весь путь от получения информации до формирования ответа.

Input: непрерывное восприятие видео от первого лица. Легкая модель ловит триггеры в реальном времени, тяжелая — по запросу — разбирает детали сцены. Это баланс скорости и глубины.
CPU: мозг‑диспетчер на базе дообученной LLM. Он решает, что делать: отвечать сразу, дождаться нужного момента, сходить в память или вызвать инструменты.
Memory: простое, но полезное долговременное хранилище — история, привычки, краткие резюме взаимодействий. Нужное подмешивается в промт для персонализации.
ALU: набор инструментов — от веб‑поиска до специализированных моделей. Подключаются только при нехватке уверенности.
Output: короткий, понятный ответ и при необходимости голос через локальный синтезатор.

Мультиагентная система распределяет роли: восприятие, планирование, вычисления, память, подача — и держит низкую задержку на очках.

Что это дает на практике

1) Подсказки в блэкджеке в реальном времени. Очки ловят моменты, когда на столе меняется сумма очков, и подают короткий совет с учетом вероятностей и карты дилера. Речь не о магии, а о трезвом расчете, который успевает прозвучать до того, как вы протянете руку к стопке.

Пример подсказок по блэкджеку: распознав игру, Alpha-Zero проактивно советует ходы (на 13‑й секунде — «взять карту»). При сумме 12 (2, 4 и 6) базовая стратегия рекомендует брать. Видео собраны с AI-очков Xiaomi.

2) Музейный гид, который понимает, на чем вы задержали взгляд. Система замечает интерес к экспонату, уточняет визуальные признаки, при необходимости делает целевой поиск и выдает емкое объяснение происхождения и смысла артефакта.

Экскурсионное сопровождение: распознав, что пользователь в музее, Alpha-Service ищет изображение в интернете и даёт вводное описание (15 с): перед вами бронзовый артефакт династии Шан — квадратный цзун с четырьмя бараньими головами, ритуальный сосуд для вина. Видео снято ИИ-очками Xiaomi.

3) Совет по посадке и стилю в магазине. Очки видят, что вы вертите в руках темный свитер, и подкидывают короткую шпаргалку: по ткани, размерной сетке и сочетаемости. Без лекций и лишних слов.

Пример советника по стилю: Alpha-Service замечает длительное внимание к вещи и проактивно советует (на 18-й сек.): есть разные способы носки; джинсы с повседневным пиджаком могут выглядеть немного формально. Видео с ИИ-очков Xiaomi.

Под капотом: несколько слов о моделях

Для триггеров и быстрых подсказок используется легкая мультимодальная модель, которая непрерывно читает поток и отмечает “точки внимания”.
Для глубокого разбора — более мощная мультимодальная LLM, включающаяся лишь тогда, когда действительно нужно.
Роль CPU выполняет дообученная LLM: она строит план, решает, когда молчать, а когда вывести голосовую подсказку, и обращается к инструментам.
В качестве инструментов уже подключен веб‑поиск: результаты ужимаются и подшиваются к рассуждению. Память хранит опорные факты и предпочтения, а вывод — короткий и дружелюбный, с локальным озвучиванием.

Главное — не ответы “по запросу”, а своевременность вмешательства. Система учится видеть временные паттерны: когда задержка разрушит опыт, а когда наоборот лучше промолчать. Она сочетает обобщенные подсказки для всех и персональные — для вас. И делает это на устройстве, где ресурсы всегда на счету.

Куда двигаться дальше

Авторы видят потенциал в более глубокой памяти и персонализации, расширении набора инструментов, а главное — в масштабных пользовательских исследованиях. Цель проста: помощник, который с годами все точнее понимает ваш контекст и аккуратно предвосхищает потребности, не отнимая автономию. Сегодня фантастическое будущее из фильмов становится реальностью, благодаря подобным исследованиям.

📜 Полная статья

***

Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.

Как ИИ-очки предсказывают ваши желания прежде чем вы о них подумаете