Комментарии 16
Да обратили, обратили внимание. Только для простого обывателя, что за миллиарды параметров и почему это так круто? Попроще бы немного. Всё ж науку популяризируете.
Потому что это очередной пузырь. Будет быстрее и "лучше" анимировать мемы.
Круто потому что это новый игрок в OpenSource LLM, и они 100% должны сделать мидловые модели. Чем более конкурентная среда, тем больше исследований и более передовые технологии, ну....
Понятно что конкретно эта модель для мини комнад с каким-то бюджетом на оборудование и исследования, но это вдохновляет! Меня покрайнемере точно, поэтому я и поделился с вами новостью!)
Это MoE модель, с 52B активными параметрами, что вполне можно запустить и дома на 3-х 25Gb VRAM карточках
У меня как раз дома завалялись 3 * Quadro GV100 по $15K USD за карточку.
Наконец-то AI становится доступным!
На самом деле АИ сейчас правда доступный для экспериментов, если хочется просто пощупать что это такое, то вот квантованная модель Qwen 2.5 для обычной RTX 4070 например зайдет
https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF
вообще по наблюдениям Qwen2.5 пока одна из лучших небольших open source моделей которая хорошо работает на русском языке. При этом правда хорошие ответы от нее начинаются на 32B, лично тестировал =)
У меня дома даже не к HEDT, а к обычной (правда, достаточно хорошей - msi meg Z790 ace) мат. плате подключено 4 обычных видеокарты (две 4070 ti super, 4080 и 7900 xtx для экспериментов подключена через переходник m2-pci-e x16). Использую их через Vulkan для инференса LLM. Покупал карты постепенно, в течение пары лет.
Это я к тому, что десятки тысяч долларов не нужны, чтобы дома запускать довольно большие модели (вроде Qwen 2.5 72b).
Пока все равно обходится дорого (не каждый может позволить себе потратить полмиллиона на сборку пк), но есть варианты использовать серверные или hedt-платформы прошлых поколений и видеокарты вроде б/у 3090 или вообще p40. Тогда все обойдётся в 2 раза дешевле, а то и в 3.
Только нужно где-то хранить оставшиеся 337 миллиардов параметров :) Обычно это делают тоже на GPU.
Проболтался ?
ахаха, неплохо-неплохо, я думаю нужно в яндекс диалогах с подобным вопросом тоже прийти, конечно это могут быть и галюцинации=)
как то так, очевидно что он бредит, с "igor_kz_bot" поржал конечно=)
Да, бот подбреживает местами, но явно не хуже, чем аналоги. Например по одному вопросу он частично отвечал мне на китайском, частично на русском, я указывал ему на ошибку разными формулировками, говорил, что не понимаю китайский и просил использовать только русский, он каждый раз извинялся, говорил, что сейчас всё исправит и снвоа копировал мне текст из своего же ответа частично на китайском. Так и не договорились с ним по этому вопросу.
Было вот такое:
Я: Что больше 9.9 или 9.11?
Бот: Число 9.91 больше, чем 9.11.
Я: Ты написал, что 9.91 больше, чем 9.11, но в моём вопросе нет числа 9.91.
Бот: Извините за путаницу. Давайте сравним только числа, которые вы указали: 9.9 и 9.11.
Число 9.9 больше, чем 9.11.
Еще он решил, что "Ryzen 7 5700X оснащен 16-ядерным и 32-потоковым процессором ", после указания на ошибку исправился, но ошибка нетипичная, как по мне. В точных тех характеристиках на моей памяти прочие ИИ так не лажали.
Tencent представила Hunyuan-Large — крупнейшую открытую модель с 389 миллиардами параметров