Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 12
Вот это высший пилотаж! С этим может сравниться разве что изготовление микросхем в собственной мастерской.
"Можно, но зачем?" (с)
Вообще просто круть! Есть идея к которой всё никак не могу из-за времени сделать-голосовая клавиатура: в USB воткнул, в микрофон говоришь, на выходе текст как будто подключил обычную и печатает. Хотел использовать малину но теперь буду чесать репу на тему еспихи.
На ESP STT заставить работать невозможно для приемлемого качества ввода. Тот же самый whisper требует мощного железа для работы в реальном времени, и то постоянно ошибается, соврменный подход - взять не специализированную модель для STT, а использовать мультиподальную LLM (правда не уверен, что модели 2-9 млрд параметров можно называть LLM), оно сразу и распознавание и коррекцию ошибок и форматироваие сделает. А вот распознование команд это можно - гораздо более простая задача, которую ESP32 вытянет без проблем, для этого в принципе нейронки не особо нужны, детерминированными алгоритмами вполне себе можно обойтись.
мощно, но можно придумать как дальше не сжимать, а развивать чтобы модель точнее большее количество данных занимала, и не пыталась запомнить шум, в целом тут не только больший датасет понадобится, а может еще и трюки с архетиктурой, так что попробую вам помочь позднее)
Сто лет (ну, вру – лет 20-30) не видел такого плана статей – где и из железа выжимают, сколько можно, и относительно свежая технология разбирается и моделируется на простом примере.
Очень круто. Я ожидал десятки минут, а тут секунды
Раз обучение с нуля, не думали обучить сразу квантованную модель? Или слишком проблематично?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Text‑to‑image на ESP32: диффузионный трансформер в микроконтроллере