Кратко: Я собрал локального ИИ‑ассистента на базе двух видеокарт по 12 ГБ. Система объединяет языковую модель с RAG, графовой памятью, MCP инструментами, голосовым вводом/выводом и доступом к локальной инфраструктуре. Он обрабатывает документы, почту, календарь, Telegram, умный дом и рутинные рабочие процессы. Главный вывод: моделей на 9B–27B параметров уже вполне достаточно для задач такого класса. Локальная модель становится действительно полезной не тогда, когда догоняет облачные сервисы по «чистому интеллекту», а когда получает долговременную память, доступ к инструментам и возможность взаимодействовать с реальным окружением пользователя.
В сезон свободного времени появилась идея создать персонального AI‑ассистента, заточённого под мои личные задачи и стиль общения. Главное требование — использование исключительно локальных решений: все данные должны оставаться у меня, от корпоративных документов, до личной переписки. Второй не менее важный фактор — экономия. Облачные сервисы обходятся дорого и могут быть недоступными, поэтому система должна работать на собственном железе. Оба этих фактора довольно актуальны для большого числа пользователей.
Что нужно уметь персональному агенту‑ассистенту: 1) умение работать с документами разных форматов, междокументный анализ идей и взаимосвязей, их графическое представление; 2) умение взаимодействовать с внешним миром — инфраструктура Google (календарь, gmail, drive и так далее), Telegram (как бот, так и от моего имени), внешние базы данных и так далее; 3) агент должен учится и наращивать свои знания и навыки — чем больше ты с ним работаешь, тем лучше он тебя понимает и подстраивается под тебя; 4) помощник изначально конципируется под голосовое взаимодействие, он должен понимать мой родной язык и говорить на нём, в особенности быть транскрайбером с LLM обработкой и переводом; 5) ассистент должен быть автономным 24/7 и сам инициировать действия, если это требуется в дневном workflow — считывать данные умного дома, внешних сенсоров и так далее
