В этой статье я расскажу, как сделать своими руками две умные колонки, полностью поддерживающие русский язык:
1) На микроконтроллере esp32s3, используя XiaoZhi
2) На Raspberry Pi автономную голосовую колонку с камерой, которая будет работать и распознавать всё, что не только слышит, но и видит перед собой, даже при отсутствии Интернета! Без облаков, без API-ключей. С локально запущенными моделями ИИ, связка Ollama+Gemma3:1b+Moondream+OpenWakeWord+Whisper.cpp+Silero TTS
А также расскажу, как подключить обе эти колонки к Home Assistant для управления устройствами умного дома.
Содержание статьи:
Умная колонка с ESP32S3 и XiaoZhi
Сборка своей прошивки
Интеграция с Home Assistant
Видео работы готового устройства
Что можно улучшить
Умная колонка на Raspberry Pi и Ollama
Интеграция с Home Assistant
Видео работы готовой колонки
Что можно улучшить
Если не хватает производительности
Ссылки по теме
Умная колонка с ESP32S3 и XiaoZhi
XiaoZhi - это платформа, которая позволяет использовать большие языковые модели в собственных разработках. Благодаря этой платформе можно использовать модели ИИ в микроконтроллерах esp32 (и не только), создавая чатботы, роботы и тому подобные устройства. При этом это полностью бесплатно, не нужно платить за использование токенов! Нужен лишь номер телефона либо учётная запись Google для регистрации.
Поддерживаются модели: Xiaozhi Lite и DeepSeek Quantized (без ограничений), а также поддерживается модель для распознавания изображений (с лимитом по времени использования).
После привязки к своей учётной записи на Github становятся также доступны модели Qwen 3, DeepSeek Full, Doubao, а также ограниченные по времени использования GLM 4.7 и Kimi K2.
Самое главное - поддерживается русский язык, причём даже есть варианты выбора спикера - "женщина", "брутальный мужик", "ребёнок", "сумасшедшая королева", "амбициозная женщина", и звучат все эти голоса просто шикарно =)
Для реализации при помощи XiaoZhi голосовых ассистентов на микроконтроллерах предназначен open-source проект XiaoZhi-ESP32. Поддерживается offline-распознавание слова пробуждения (wake word) при помощи ESP-SR. Можно подключить OLED / LCD - экраны для отображения анимированных эмоций и озвучиваемого ответа языковой модели. Реализовано распознавание говорящего по голосу (3D-Speaker).
Благодаря поддержке MCP (Model Context Protocol) можно подключать свои самодельные устройства на esp32 к Home Assistant и управлять устройствами умного дома. Чем мы с вами в этой статье и воспользуемся. Также можно подключить к esp32 свои исполнительные устройства - реле, сервоприводы и т.д., и датчики, и управлять ими голосом через XiaoZhi.
Помимо общения и управления умными устройствами, можно просто попросить модель включить музыку - в общем, всё, как и в заводских умных колонках. :)
Есть уже готовые прошивки как для работы через Wi-Fi, так и через мобильную связь, используя модуль 4G ML307.
Вот что нам понадобится для сборки нашей умной колонки:
Плата с микроконтроллером ESP32-S3 N16R8 (16Mb Flash, 8Mb Psram), 44 контакта
Всенаправленный MEMS-микрофон INMP441
i2s усилитель MAX98357A
Динамик 4/8 Ом 2-3Вт
Экран 1.54" 240х240 на контроллере ST7789, 8 контактов
Беспаечная макетная плата (например, BB-801-2S-3P) + набор перемычек
usb type-c кабель для питания/программирования
Собираем по схеме на сайте:
Далее скачиваем прошивку (файл v2.0.2_bread-compact-wifi-lcd-240x240.zip) и софт для прошивки - Flash Download Tool. Всё распаковываем, после чего запускаем flash_download_tool_3.9.9_R2.exe и выбираем в появившемся окне ESP32-S3, WorkMode Develop и LoadMode UART:
Нажимаем "ОК", и в новом окне указываем путь к прошивке - файлу v2.0.2_bread-compact-wifi-lcd-240x240.bin, ставим галку напротив пути, указываем адрес 0х0, скорость порта 230400, номер виртуального ком-порта, к которому подключена плата (можно посмотреть в диспетчере устройств), и нажимаем кнопку "START":
После появления надписи "FINISH" нажимаем на плате кнопку RST - на экране устройства должно появится название Wi-Fi-сети и IP-адрес для подключения:
Со своего телефона или компьютера подключаемся по Wi-Fi к указанной сети, после чего с браузера открываем страницу по адресу http://192.168.4.1, где выбираем из списка Wi-Fi-сеть, через которую устройство может выходить в Интернет, вбиваем пароль и нажимаем "Connect":
Если устройство самостоятельно не перезагрузилось - принудительно нажимаем кнопку RST, после чего плата подключиться к Wi-Fi и отобразит на экране данные для подключения к платформе XiaoZhi:
Через браузер заходим на xiaozhi.me, нажимаем кнопку "Console", и регистрируемся, указав номер телефона либо авторизуясь через Google.
После регистрации нажимаем на сайте кнопку "+ Add Device" и во всплывающем окне указываем шестизначный код с экрана нашего устройства:
После нажатия на "Confirm" отобразиться карточка устройства. Нажимаем в ней кнопку "Configure Role" и выбираем роль ассистента (например, учитель по английскому), его имя, язык, спикера:
После нажатия на "Save" нас попросят перезагрузить вручную кнопкой RST устройство, чтобы настройки вступили в силу. После этого наша умная колонка начнёт наконец работать по назначению. :)
Но есть нюанс - по-умолчанию голосовая активация не работает. Чтобы начать общение с колонкой, каждый раз нужно нажимать кнопку "BOOT" на плате устройства. Если мы хотим, чтобы устройство пробуждалось по ключевому слову, без нажатия на кнопку, то нам нужно перейти на страницу Manage Devices:
Далее выбираем Theme Settings: Customize, жмём Next, и попадаем в раздел Theme Design:
Здесь мы можем как выбрать уже предобученную модель (Preset Wake Word), так и задать своё собственное слово пробуждения (Custom Wake Word). В данном примере я выбрал Sophia модели WakeNet9.
Далее выбираем Next -> Generate assets.bin, и начнётся загрузка новой прошивки в память устройства. После перезагрузки больше не нужно нажимать на кнопку для начала общения - достаточно произнести вслух ключевое слово "Софья", и устройство сразу проснётся.
Сборка своей прошивки
Готовая прошивка - это, конечно, хорошо, но как насчёт того, чтобы собрать свою?
Для этого нам нужно скачать среду разработки ESP-IDF отсюда: https://dl.espressif.com/dl/esp-idf/
выбираем ESP-IDF v.5.5.3 Offline Installer (там есть 5.3 и другие - они нам не подойдут) и устанавливаем.
Теперь нам нужно скачать репозиторий xiaozhi esp32 с исходниками прошивки нашей умной колонки: https://github.com/78/xiaozhi-esp32
Распаковываем его в уже существующую папку с примерами ESP-IDF: Espressif\frameworks\esp-idf-v5.5.3\examples\
Далее на рабочем столе выбираем "ESP-IDF 5.5 CMD" и в открывшемся окне переходим в паку Espressif\frameworks\esp-idf-v5.5.3\examples\xiaozhi-esp32-main\:
После этого нам нужно выбрать цель для сборки, указав наш микроконтроллер esp32s3. Делается это следующей командой в терминале:
idf.py set-target esp32s3
После того, как всё будет готово, вводим следующую команду:
idf.py menuconfig
Попадаем в меню конфигурации для сборки нашей прошивки:
Переходим в раздел Xiaozhi Assistant и выбираем:
Default Language: Russian
Board Type: Bread Compact WiFi + LCD
LCD Type: ST7789 240x240
Wake Word Implementation Type: Wakenet model with AFE
Далее возвращаемся в главное меню и переходим в раздел ESP Speech Recognition. Выбираем:
Load Multiple Wake Words (WakeNet9): Sophia (wm9_sophia_tts)
English Speech Commands Model: english recognition (mn5q8_en)
Благодаря этому наша колонка будет откликаться на слова "Софья / София".
Для сохранения настроек нажимаем клавишу "S", далее выходим по нажатию "ESC".
Для сборки прошивки вводим:
idf.py build
Последний шаг - загрузка прошивки в нашу колонку:
idf.py -p COM8 flash
Поменяйте "COM8" на номер ком-порта своей платы esp32. После загрузки прошивки устройство сразу будет готово к работе.
Кстати, есть расширение ESP для редактора VS Code, поэтому можно работать не из консоли, а из редактора. Про установку и настройку рассказано в этом видео: https://www.youtube.com/watch?v=XEmlCJrlPBA
Если хотите проект под эту плату отредактировать под свои нужды - файлы находятся в Espressif\frameworks\esp-idf-v5.5.3\examples\xiaozhi-esp32-main\main\boards\bread-compact-esp32-lcd
Файл локализации на русском - Espressif\frameworks\esp-idf-v5.5.3\examples\xiaozhi-esp32-main\main\assets\locales\ru-RU\language.json
Интеграция с Home Assistant
Наша умная колонка отлично работает, но ей кое-чего не хватает. Она не умеет то, что умеют колонки вроде Яндекс.Станции - управлять устройствами умного дома. Для решения этой проблемы нашу колонку можно подключить к серверу умного дома Home Assistant через MCP (Model Context Protocol). Работать это будет по следующей схеме:
Чтобы это всё работало, нужно установить и настроить Xiaozhi MCP Integration for Home Assistant, как указано в документации: https://github.com/mac8005/xiaozhi-mcp-ha
После установки задаем русские имена устройствам Home Assistant (например, "розетка"), и можно управлять голосовыми командами через нашу колонку (например, "включи розетку в спальне").
Видео работы готового устройства
Что можно улучшить
Существуют версии модулей ESP32S3 N16R8 с камерой:
Для них уже есть готовые прошивки Xiaozhi, которые вместе с инструкцией по сборке находятся здесь: https://my.feishu.cn/docx/GoGBdLVUooHARPxyTLhc9AjdnFh
У меня не было плат с камерой, поэтому в этой статье описал колонку с платой без камеры.
Умная колонка на Raspberry Pi и Ollama
А теперь давайте сделаем полностью автономную умную голосовую колонку с ИИ, которая будет работать даже без Интернета! И более того - даже без внешнего питания, при пропадании электричества =)
Зачем делать свою колонку, когда можно пойти в магазин и купить готовую? В отличии от готовых устройств, тут локальное распознавание и синтез речи, локальный ИИ, работающий даже без Интернет.
Плюсы самодельной колонки по сравнению с теми решениями, которые предлагает рынок:
финансовый вопрос использования - другие колонки работают по подписке. А наша колонка будет работать без подписок, без облаков и без API-ключей.
вопрос конфиденциальности и безопасности данных - не всегда хочется и приемлемо передавать данные третьей стороне
без интернета не работают, наша - легко
гибкость: что вам дали - тем и пользуетесь, нет возможности кастомизации под себя
Вот что нам нужно для сборки умной колонки:
Raspberry Pi 5 4-16Гб
USB-микрофон
I2S-усилитель MAX98357A
X1002 NVME HAT
NVME M.2 диск
5" LCD-экран с DSI или HDMI-интерфейсом
Raspberry Pi камера
Собираем по схеме:
Почему бы не использовать гораздо более дешёвую SD-карту? Тут дело не только в том, что SSD-диски ощутимо быстрее по скорости, но в основном в том, что при активном использовании ИИ SD-карты быстро выходят из строя, месяц-два - и карту на выброс. Так что определённо стоит раскошелиться. :)
Подключаем SSD-диск через USB NVMe-переходник к компьютеру, запускаем Raspberry Pi Imager, выбираем Raspberry Pi OS (64-bit), записываем на диск.
После загрузки Raspberry Pi 5 с диска у нас скорость чтения с него будет около 400Мб/с, проверить это можно командой:
sudo hdparm -t --direct /dev/nvme0n1
Чтобы разогнать диск с Gen.2 до Gen.3, открываем файл /boot/firmware/config.txt и добавляем в него:
[all] dtparam=nvme dtparam=pciex1_gen=3
После перезагрузки проверяем скорость:
sudo hdparm -t --direct /dev/nvme0n1
Увидим, что она поднялась в два раза - около 800Мб/с :) Важно, чтобы диск получал дополнительное питание - для этого на переходнике X1002 предназначены дополнительные контакты pogo pin, подключающиеся к пинам +5V и GND на Raspberry Pi.
Устройство собрано, теперь пора установить приложение для нашей умной колонки. Оно будет работать по следующей схеме:
Давайте разберём составляющие более подробно.
Для пробуждения колонки и определения необходимости записи речи используется OpenWakeWord. Доступны уже обученные модели (одну из таких, "Алекса", мы будем использовать в нашей умной колонке), также можно обучить свои модели, и для этого есть два пути:
Google Colab - наиболее простой и быстрый вариант, обучение занимает около часа
Notebook - более сложный и продвинутый, позволяет создавать высококачественные модели
Для преобразования речи в текст выбран Whisper.cpp. Используется модель ggml-base.bin, которая работает с русским языком.
Для обратного преобразования, из текста ответа языковой модели в речь, выбран Silero TTS. Наиболее распространён Piper TTS, который просто летает на Raspberry Pi, и у которого просто шикарно звучащие английские модели, но вот модели на русском совсем не понравились - звучат уныло. Я начал искал варианты, которые хорошо звучат на русском, и в итоге остановился на Silero TTS - работает помедленнее, плюс имеет ряд проблем (например, не проговаривает числа, для этого их приходится переводить предварительно в текст), зато модели звучат просто шикарно. :) Я использовал модель v5_ru и спикера baya для озвучки на русском и модель v3_en со спикером en_0 для озвучки на английском.
Отмечу, что тут поддерживается SSML - при помощи расстановки тёгов в тексте можно контролировать паузы и произношение (например, говорить быстро/медленно, тоном выше/ниже, делать паузы в нужном месте в N секунд).
Также существует Silero-VAD - модель для обнаружения голосовой активности (определяет, где в аудиозаписи речь, а где - тишина, когда пользователь начал либо закончил говорить).
В качестве платформы (роутера) для локального запуска моделей искусственного интеллекта выбрана широко распространённая Ollama. Из альтернатив существуют KoboldCpp и LM Studio.
В качестве текстовой модели ИИ выбрана модель gemma3:1b - из всех моделей, доступных для загрузки на Ollama, она оказалась самой быстрой на Raspberry Pi. Плюс поддерживает русский язык.
Для распознавания изображения со встроенной камеры выбрана модель Moondream. Причина - не удалось найти другую модель, которая распознавала бы изображение на Raspberry Pi за приемлемое время. На версии с 8Гб памяти она выдаёт ответ за минуту, другие модели - существенно дольше. Но есть проблема - Moondream не поддерживает русский язык. Для решения этой проблемы пришлось создать "бутерброд" - gemma3:1b вначале переводит запрос пользователя с русский на английский, далее получаем картинку с камеры при помощи rpicam-still, и вместе с запросом на английском передаём на вход модели Moondream. Полученный от неё на английском ответ также при помощи gemma3:1b переводим обратно на русский и при помощи Silero TTS озвучиваем пользователю. Получается всё равно гораздо быстрее в плане производительности, чем использовать другую модель зрения, поддерживающую нативно русский.
Собственно говоря, умная колонка не является полностью автономной - если модель не знает ответа, она берёт данные извне, используя Api поисковика Duck Duck Go (через библиотеку ddgs). Но если отключить такую возможность, колонка станет полностью автономной. :)
Установка
После сборки схемы умной колонки нам нужно установить весь необходимый софт. Исходный проект автором brenpoly выложен здесь: https://github.com/brenpoly/be-more-agent
Но он не поддерживает русский язык, работу с умным домом и некоторые другие вещи, поэтому я сделал форк и выложил в свой репозиторий: https://github.com/tzirulnicov/be-more-agent
Для начала, обновляем пакеты и ставим git:
sudo apt update && sudo apt upgrade -y
Устанавливаем необходимые библиотеки и приложения:
sudo apt install -y python3-tk libasound2-dev libportaudio2 libatlas-base-dev cmake build-essential espeak-ng git rpicam-apps
Далее, устанавливаем Ollama:
curl -fsSL https://ollama.com/install.sh| sh
Когда установка будет завершена, загружаем модели:
ollama pull gemma3:1b ollama pull moondream
Теперь нужно загрузить к себе репозиторий проекта, создать виртуальную среду и установить необходимые пакеты:
git clone https://github.com/tzirulnicov/be-more-agent.git cd be-more-agent python3 -m venv venv source venv/bin/activate pip install --upgrade pip pip install -r requirements.txt
Установить Whisper.cpp
cd be-more-agent git clone https://github.com/ggerganov/whisper.cpp.git cd whisper.cpp sh ./models/download-ggml-model.sh base cmake -B build cmake --build build --config Release
Чтобы заработал динамик, подключенный к Raspberry Pi через усилитель MAX98357A, нужно выполнить команды, описанные здесь: https://learn.adafruit.com/adafruit-max98357-i2s-class-d-mono-amp?view=all
Тут появится проблема - динамик работает, а вот микрофон - нет, выводится ошибка "The dmix plugin supports only playback stream". Решение - использовать asym, для этого возьмите файл be-more-agent/asound.conf, и замените им уже существующий /etc/asound.conf и запустите sudo /etc/init.d/alsa-utils restart.
Проверить работу микрофона можно командой arecord -d 5 test.wav
Работу динамика - aplay test.wav
Если будет ошибка, что устройство не найдено - вызвать aplay / arecord c параметром --list-devices, найти своё устройство записи/воспроизведения, и внести соответствующие настройки в /etc/asound.conf
Запускаем колонку:
source venv/bin/activate python agent.py
Интеграция с Home Assistant
Управлять голосом через умную колонку устройствами умного дома через сервер Home Assistant ��ы будем, используя REST API и библиотеку home-assistant-rest-driver
Для этого нужно получить токен доступа, для этого на странице Home Assistant переходим в свой профиль, далее вкладка "Безопасность", в самом низу блок "Долгосрочные токены доступа". Создаём токен и прописываем настройки в config.yaml на нашей колонке:
home_assistant: enable: 1 url: http://[ip-адрес сервера home assistant]:8123 token: [долгосрочный токен доступа] device_id: [id устройства, которым хотим управлять голосом]
Видео работы готовой колонки
Можно распечатать корпус для этой колонки, вот конечное изделие (файлы для печати - в be-more-agent/stl):
Чтобы устройство было полностью законченным в плане функционала, реализуем работу от аккумуляторов при пропадании питания, а также возможность играть в видеоигры при помощи кнопок на корпусе. Для этого нужно добавить компоненты:
WaveShare UPS HAT 18650
Аккумуляторы 18650 2шт высокотоковые (например, Molicel 18650-P30B)
Arduino Nano
тактовые кнопки 7шт
Гербер-файлы для печати платы кнопок расположены в be-more-agent/pcb репозитория.
Если нет необходимости, чтобы кнопки работали, то можно распечатать заглушку - be-more-agent/stl/dummy-pcb.stl
Для работы кнопок можно использовать Arduino Nano, которая будет эмулировать USB-клавиатуру. Для этого предназначена библиотека Алекса Гайвера EasyHID - помимо примеров кода там же можно посмотреть схему подключения к USB (используется обвязка из стабилитрона, диодов и резисторов).
Что можно улучшить
От используемого микрофона за 100 рублей ждать хорошей работы не приходится, фразы приходится произносить вблизи микрофона. Как вариант - использовать микрофоны подороже:
конференц usb-микрофон - наиболее бюджетный вариант из представленных (около 500р), обеспечивает дальность порядка трёх метров
ReSpeaker 2-mic HAT - два микрофона, чуть дороже предыдущего варианта, требует порой танцев с бубном, чтобы заработало
Respeaker XMOS AI-powered 4-mic array - сразу определяется в системе, предназначен как раз для общения с ИИ, хорошее качество звука и дальность, но цена кусается - в 10 раз дороже предыдущего варианта
SiPeed 6+1 mic array - массив из 7 mems-микрофонов, вместе с платой с usb аналогичен по цене с предыдущим вариантом
Если не хватает производительности
Локальные модели ИИ требуют больших вычислительных ресурсов, для решения этой проблемы выпускаются платы расширения - HAT - для Raspberry PI.
В продаже есть платы расширения на базе ускорителя Hailo-8 производительностью 13 и 26 TOPS - сразу оговорюсь, что они НЕ подходят для генеративных моделей ИИ, т.к. предназначены для ускорения распознавания объектов на изображении.
Для наших нужд подходит плата расширения с ускорителем Hailo-10H - Raspberry Pi AI HAT 2+, имеющая на борту 8Гб памяти. Поддерживает запуск как больших языковых моделей (LLM), так и визуально-языковых (VLM). На данный момент поддерживаются DeepSeek-R1-Distill, Qwen2.5-Coder, Qwen2.5-Instruct, Qwen2 и Llama3.2 до 1,5 млрд параметров, но проект активно развивается.
Ещё один вариант ускорения - подключить к Raspberry Pi внешнюю видеокарту благодаря поддержки PCIe Gen 3 x1, используя плату-переходник M.2 Key E to PCIe x16. На продакшен такое - не вариант, но для экспериментов - почему бы и нет.
Если хочется большей производительности, можно использовать одноплатные компьютеры серии Jetson - например, линеек Nano B01, Orig Nano, Orin NX Super, AGX Orin, производительностью до 275 TOPS, которые как раз предназначены для запуска и использования моделей ИИ:
Вместо послесловия
В этой статье мы познакомились с платформой ИИ XiaoZhi, open-source проектом xiaozhi-esp32, запустили оффлайн языковые модели с использованием Ollama и собрали две колонки - на микроконтроллере esp32 с XiaoZhi и полностью (при условии отключения поисковика Duck Duck Go) автономную колонку на Raspberry Pi, работающую не только без Интернета, но даже и без внешнего питания. Рассмотрели возможность подключения устройств умного дома с использованием сервера Home Assistant.
Ссылки по теме:
Сборка умной колонки на ESP32: https://my.feishu.cn/wiki/Zq62wST38iuNxZkwg9JcjkSSnSd
Xiaozhi-esp32: https://github.com/78/xiaozhi-esp32
Руководство по использованию XiaoZhi на русском: https://xiaozhi.dev/ru/docs/usage/
Xiaozhi MCP Integration for Home Assistant: https://github.com/mac8005/xiaozhi-mcp-ha
Репозиторий умной колонки на Raspberry Pi: https://github.com/tzirulnicov/be-more-agent/
