А можно вот это в понятные числа перевести? Сколько памяти нужно
В названии модели обычно указано количество весов, например, 70B обозначает 70 миллиардов (B - billion). Каждый вес храниться в виде числа, которое в зависимости от квантизации модели занимает определенное число бит. Например, квантизация fp16 хранит веса в виде чисел с плавающей запятой половиной точности, таким образом на один вес приходится 16 бит данных или 2 байта, следовательно вся модель будет весить 140 миллиардов байт или 140Гб. Для работы такой модели потребуется 140Гб оперативной памяти и ещё сколько-то для хранения контекста. Если понизить точность весов, можно существенно уменьшить размер модели, при этом до какого-то предела качество её ответов будет страдать не так сильно. Это собственно и есть процесс квантизации. Самому это делать не нужно, модели в нужной квантизации как правило можно скачать. Так при квантизации 4 бита на вес модель уже будет занимать 35Гб (+память под контекст), что конечно все равно много для потребительских видеокарт, но можно погонять на CPU (медленно, ~1 токен/с). Таким образом для видеокарт с 12-16Гб VRAM выбор модели и квантизации это все равно компромисс, а в случае с запуском на CPU скорость работы оставляет желать лучшего.
Я пробовал попросить несколько разных моделей (на chat.lmsys.org) написать код на Brainfuck'е, который бы выводил простой текст ("YO"). Все из опробованных моделей уверенно сгенерировали код и даже добавили (сомнительное) описание того, как он работает. Только вот при попытке выполнить этот код, даже близкий к правильному результат не был получен ни разу. В основном выводился мусор или ошибки. В редких попытках - что-то типа "He" (предположительно кусок от Hello world, примеров с которым в интернете много). Что дало мне окончательное осознание того, что LLM просто умеет хитро и красиво складывать что-то из кусочков того, что было использовано при её обучении, но никак не может синтезировать что-то новое.
От этого спасает файл .editorconfig в корне проекта, в нём можно задать кодировку и окончания строк для файлов по умолчанию, студия его понимает. Ну и компилятору добавить опцию /utf-8, чтобы исходники трактовались как UTF-8 без необходимости добавлять BOM.
Контроллер зарядки TP40526 нельзя использовать с аккумулятором в буферном режиме, из-за постоянного наличия тока нагрузки в цепи зарядки, зарядка аккумулятора никогда не прекратится. Надо добавить подачу напряжения в обход зарядки, схемы можно найти по запросам TP4056 power path / TP4056 load sharing.
В названии модели обычно указано количество весов, например, 70B обозначает 70 миллиардов (B - billion). Каждый вес храниться в виде числа, которое в зависимости от квантизации модели занимает определенное число бит. Например, квантизация fp16 хранит веса в виде чисел с плавающей запятой половиной точности, таким образом на один вес приходится 16 бит данных или 2 байта, следовательно вся модель будет весить 140 миллиардов байт или 140Гб. Для работы такой модели потребуется 140Гб оперативной памяти и ещё сколько-то для хранения контекста. Если понизить точность весов, можно существенно уменьшить размер модели, при этом до какого-то предела качество её ответов будет страдать не так сильно. Это собственно и есть процесс квантизации. Самому это делать не нужно, модели в нужной квантизации как правило можно скачать. Так при квантизации 4 бита на вес модель уже будет занимать 35Гб (+память под контекст), что конечно все равно много для потребительских видеокарт, но можно погонять на CPU (медленно, ~1 токен/с). Таким образом для видеокарт с 12-16Гб VRAM выбор модели и квантизации это все равно компромисс, а в случае с запуском на CPU скорость работы оставляет желать лучшего.
https://www.midi-mixer.com/
Я пробовал попросить несколько разных моделей (на chat.lmsys.org) написать код на Brainfuck'е, который бы выводил простой текст ("YO"). Все из опробованных моделей уверенно сгенерировали код и даже добавили (сомнительное) описание того, как он работает. Только вот при попытке выполнить этот код, даже близкий к правильному результат не был получен ни разу. В основном выводился мусор или ошибки. В редких попытках - что-то типа "He" (предположительно кусок от Hello world, примеров с которым в интернете много). Что дало мне окончательное осознание того, что LLM просто умеет хитро и красиво складывать что-то из кусочков того, что было использовано при её обучении, но никак не может синтезировать что-то новое.
От этого спасает файл .editorconfig в корне проекта, в нём можно задать кодировку и окончания строк для файлов по умолчанию, студия его понимает. Ну и компилятору добавить опцию /utf-8, чтобы исходники трактовались как UTF-8 без необходимости добавлять BOM.
Catlateral Damage — симулятор кота, роняющего предметы.
Контроллер зарядки TP405
26 нельзя использовать с аккумулятором в буферном режиме, из-за постоянного наличия тока нагрузки в цепи зарядки, зарядка аккумулятора никогда не прекратится. Надо добавить подачу напряжения в обход зарядки, схемы можно найти по запросам TP4056 power path / TP4056 load sharing.можно заменить на