Обновить

Языковую модель на 28,9 млн параметров запустили на микроконтроллере ESP32-S3

Время чтения2 мин
Охват и читатели24K
Всего голосов 38: ↑38 и ↓0+51
Комментарии14

Комментарии 14

Пора б уже запускать языковые модели на тесте на беременность. Давно ждём.

Да хоть на часах Электроника. Вопрос в приемлемости производительности и точности.

И чтобы тест выдавал результат в виде пространного эссе на тему "Почему вам стоит пересмотреть свои жизненные приоритеты"

Что если... (с) Объединить их в кластер и запускать модели покрупнее?

Интересно было бы, если бы кто-то на кластере ПЛИС попробовал запустить

Кажется distributed llama для такого подходит

Были проекты, но в последнее время что-то не слышно.

Compute module
Compute module

Это же просто замечательно! И выглядит круто и собрано аккуратно.

Крутой инженерный челендж. Практической пользы мало, но как концепт распределения памяти - отлично)

Больше всего удивился тому что внутри абсолютно чистый сишный код, так ещё и в качестве фреймворка arduino а не esp-idf. Я честно ожидал там esp-dsp, полное использование векторных инструкций на LX7, а оно вот как оказывается.

Есть направления для роста )

Для эксперимента разработчик использовал ESP32-S3 N16R8 с 16 Мбайт флеш‑памяти и всего 512 Кбайт встроенной SRAM

И ещё 8Мб динамической памяти, о чём говорит число в конце маркировки.

Да, на этот проект ссылка в конце новости тоже есть

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации