LLM - это Internet.jpg

1-битный Bonsai 1.7B весит 290 МБ и запускается прямо в браузере

PrismML выложил Bonsai 1.7B — 1-битную модель в 290 МБ, которая работает в Chrome через WebGPU без сервера и без установки

В браузере оно правдо так и не заработало, но вот 8B модель Bonsai-8B-Q1_0.gguf с квантизацией 1 бит (!) - занимает на диске чуть больше гигабайта и даже отвечает на вопросы. Локально. Ну как отвечает: генерирует какие-то наборы букв, которые похожи на правду. pom.xml для Spring Boot с пятой итерации сгенерировало. Прямая аналогия - jpeg, ужатый до полной мыльности и с дикими артефактами. Зато маленький. Понять, что имелось в виду - можно. Рассмотреть детали - нет.

Модели на 8 - 12 гигабайт уже позволяет более-менее подробно рассказывать про массу интересных вещей. Про любую почти область знаний, пусть и с глюками, и их можно запустить локально на устройстве с современной видеокартой. Деталей больше, изображение богаче, артефактов сжатия сильно меньше. Про "взрослые" и говорить нечего - не то чтобы png, а даже трёхмерная томограмма - посмотреть со всех сторон и сделать выводы.

Очень прикольно жить в центре технической революции