В центр надо поместить ядро из свертяжелого антиграфена. Это будет анодом батарейки, которая будет плавать в жидком вакууме. Так как в вакууме нет материи, это защитит антиматерию от разрушения, а так как тёмная материя энергична, сверхбыстрые электроны попадают на натиграфен, но так как это антивещество, и на границах его молекул - позитроны, они падают на них, нейтрализуют, и остаются свободные ядра, отрицательно заряженные. Электроны из темной материи тут же отодвигаются в сторону чугуния, там мы и ловим их и получаем электричество.
По поводу сравнения с mixtral, я запускал, ещё раз, 16бит и Q8_0, и обе работают на голову выше по качеству, чем mixtral/mistral, просто несравненно лучше. 16 гигабайт не хватит, возможно какие то сильно квантованные может и влезут, но надо понимать, что такого рода чудес не бывает, как бы сила модели в количестве и точности связей.
На полной версии gguf без квантования (вернее 16 bit, вроде как не квантованная) у меня запустилось на 12 гигабайт видео + 96 обычной ОЗУ, лагало но работало, всё сожралось в пол. На квантованной влезло в 46 гигабайт:
Я бы добавил в список command r (а остальные из списка убрал). Ну, и кроме квантизации есть такие штуки, как LM Studio и GGUF, позволяющие держать модель в оперативке, а не видеопамяти. А 96 гигов оперативки несравненно дешевле, чем 96 гигов видеопамяти.
UPD: на картинке рейтинга в посте command r присутствует, и находится выше всех открытых, и даже выше, чем два ChatGPT 4
Там 3,2 гигапикселя на самом деле. И эти объёмы считаются самой сложной частью проекта, это все надо где-то хранить, а люди обработать не успеют, поэтому будут смотреть роботы
Долго сидел на автоматике1111, примерно с августа 2022, сейчас удалил и плотно сижу на Comfyui. На первый взгляд может показаться сложным, но это не так, работать проще чем в автоматике. Есть ещё foocus, но это пару раз побаловаться, меньше контроля но прощает ошибки.
Киллер фича comfy - повторяемость настоек и промпта, просто в веб интерфейс перекинуть старую картинку и готово. Дублирование вкладок, отмена, очередь, это все бесценно. Советую всем, и ламерам тоже.
В центр надо поместить ядро из свертяжелого антиграфена. Это будет анодом батарейки, которая будет плавать в жидком вакууме. Так как в вакууме нет материи, это защитит антиматерию от разрушения, а так как тёмная материя энергична, сверхбыстрые электроны попадают на натиграфен, но так как это антивещество, и на границах его молекул - позитроны, они падают на них, нейтрализуют, и остаются свободные ядра, отрицательно заряженные. Электроны из темной материи тут же отодвигаются в сторону чугуния, там мы и ловим их и получаем электричество.
Хабр — торт
Это не совсем так (вернее совсем не так). К тому же это GPT-4 дышит в спину Опусу.
Вот так выглядело с F16 версией. Примерно 4-6 секунд на один токен уходило.
По поводу сравнения с mixtral, я запускал, ещё раз, 16бит и Q8_0, и обе работают на голову выше по качеству, чем mixtral/mistral, просто несравненно лучше.
16 гигабайт не хватит, возможно какие то сильно квантованные может и влезут, но надо понимать, что такого рода чудес не бывает, как бы сила модели в количестве и точности связей.
То же самое делает ML studio, можно даже указать, какой процент видеопамяти мы готовы дать.
На полной версии gguf без квантования (вернее 16 bit, вроде как не квантованная) у меня запустилось на 12 гигабайт видео + 96 обычной ОЗУ, лагало но работало, всё сожралось в пол.
На квантованной влезло в 46 гигабайт:
Я бы добавил в список command r (а остальные из списка убрал). Ну, и кроме квантизации есть такие штуки, как LM Studio и GGUF, позволяющие держать модель в оперативке, а не видеопамяти. А 96 гигов оперативки несравненно дешевле, чем 96 гигов видеопамяти.
UPD: на картинке рейтинга в посте command r присутствует, и находится выше всех открытых, и даже выше, чем два ChatGPT 4
[del]
Там 3,2 гигапикселя на самом деле. И эти объёмы считаются самой сложной частью проекта, это все надо где-то хранить, а люди обработать не успеют, поэтому будут смотреть роботы
Картинки в fb2 несложно разобрать руками, либо попросить бота написать функцию. Такие простые вещи как раз гпт пишет на раз два.
+1, часто начал нейронку просить делать, исправлять, дополнять.
В нескольких источниках, включая Википедию, написано, что Windows не поддерживается, что логично. Но пишут, что портировали какую то Windows CE.
Так что про Убунту и Windows без проблем это преувеличение
Больше месяца назад перешёл с GPT4 на Opus, доволен, чаще всего это замена гугла и кодогенерация.
Спасибо за наводку на oha, попробую использовать вместо ab
Главное, что не гитхаб (чтобы composer install/npm install/go get не ломались)
В некоторых задачах токены через api уходят только в путь.
В grafana: https://play.grafana.org/d/ePolu9Lnk/doom-half-resolution?orgId=1
На диспетчере задач:
Долго сидел на автоматике1111, примерно с августа 2022, сейчас удалил и плотно сижу на Comfyui. На первый взгляд может показаться сложным, но это не так, работать проще чем в автоматике. Есть ещё foocus, но это пару раз побаловаться, меньше контроля но прощает ошибки.
Киллер фича comfy - повторяемость настоек и промпта, просто в веб интерфейс перекинуть старую картинку и готово. Дублирование вкладок, отмена, очередь, это все бесценно. Советую всем, и ламерам тоже.