Комментарии 14
Пора б уже запускать языковые модели на тесте на беременность. Давно ждём.
Что если... (с) Объединить их в кластер и запускать модели покрупнее?
Интересно было бы, если бы кто-то на кластере ПЛИС попробовал запустить
Кажется distributed llama для такого подходит
Были проекты, но в последнее время что-то не слышно.

Крутой инженерный челендж. Практической пользы мало, но как концепт распределения памяти - отлично)
Больше всего удивился тому что внутри абсолютно чистый сишный код, так ещё и в качестве фреймворка arduino а не esp-idf. Я честно ожидал там esp-dsp, полное использование векторных инструкций на LX7, а оно вот как оказывается.
Для эксперимента разработчик использовал ESP32-S3 N16R8 с 16 Мбайт флеш‑памяти и всего 512 Кбайт встроенной SRAM
И ещё 8Мб динамической памяти, о чём говорит число в конце маркировки.
https://github.com/DaveBben/esp32-llm уже делали, 2 года назад
(а стоп 28 миллионов. в моей ссылке - 260 тысяч)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Языковую модель на 28,9 млн параметров запустили на микроконтроллере ESP32-S3