Обновить

LLM - это Internet.jpg

1-битный Bonsai 1.7B весит 290 МБ и запускается прямо в браузере

PrismML выложил Bonsai 1.7B — 1-битную модель в 290 МБ, которая работает в Chrome через WebGPU без сервера и без установки

В браузере оно правдо так и не заработало, но вот 8B модель Bonsai-8B-Q1_0.gguf с квантизацией 1 бит (!) - занимает на диске чуть больше гигабайта и даже отвечает на вопросы. Локально. Ну как отвечает: генерирует какие-то наборы букв, которые похожи на правду. pom.xml для Spring Boot с пятой итерации сгенерировало. Прямая аналогия - jpeg, ужатый до полной мыльности и с дикими артефактами. Зато маленький. Понять, что имелось в виду - можно. Рассмотреть детали - нет.

Модели на 8 - 12 гигабайт уже позволяет более-менее подробно рассказывать про массу интересных вещей. Про любую почти область знаний, пусть и с глюками, и их можно запустить локально на устройстве с современной видеокартой. Деталей больше, изображение богаче, артефактов сжатия сильно меньше. Про "взрослые" и говорить нечего - не то чтобы png, а даже трёхмерная томограмма - посмотреть со всех сторон и сделать выводы.

Очень прикольно жить в центре технической революции

Теги:
Всего голосов 4: ↑2 и ↓20
Комментарии2

Метод Каллана: я повторял предложения три года

Как курс английского, построенный на повторении, оказался самым полезным, что я изучал, — и почему любой разработчик за пределами англоязычного мира рано или поздно сталкивается с тем же выбором.

Фото: little Gabriel, Unsplash

Мне было четырнадцать, когда я решил, что школа не научит меня английскому.

Шёл 2009 год. Я учил немецкий и не любил его — не сам язык, а тот факт, что его выбрали за меня. К тому времени я уже писал первые строки кода и заметил вещь, которая казалась мне очевидной и, судя по всему, никому вокруг: любой язык программирования, который я хотел выучить, был документирован на английском. Любой ответ на форуме. Любое сообщение об ошибке. Любая книга, которую стоило читать.

Так что я попросил записать меня куда-нибудь всерьёз. Так я оказался в Британский Центр в Тбилиси, в двухэтажном здании на улице Пекини, в комнате с одиннадцатью другими людьми и преподавателем, который говорил быстрее, чем я успевал думать.

Метод Каллана: я повторял предложения три года

Публикации