Mistral AI выпустила открытую языковую модель, которой можно пользоваться бесплатно через API и локально

[MAXH0]

Спасибо. Те кто делает свободные модели - делают важное дело. Модель которая, условно, не может назвать кошку кошкой, потому что она чёрная - не многого стоит.

[DrrRos]

Свободная не значит не зацензуренная, если модель будет называть негра негром, то создателей быстренько прикроют любители повесточки. И мистраль вполне себе зацензуренная.

[MAXH0]

Спасибо за уточнение...

Ха. Появляется интересный вопрос - поддерживает ли система патчи?
Например, возможно ли, в принципе, пропатчить нейросеть блоком содержащий специфический ирландский юмор;) Если отдельные блоки можно подгружать из отрытого и свободного рынка, то это ни разу не будет не цензурой. Даже если они будут платными за вменяемую и доступную цену. А еще лучше создаваться через краудфандинг...

[Mirlitus]

Во-первых, ничего с создателями такой нейронки не сделают - достаточно написать, что "наша модель может высказывать оскорбительные высказывания", и всё. А возмущение стада в СМИ ничерта не стоит.

Во-вторых, если якобы прогрессивненький чувачок-разраб боится нарушать всякие "повесточки" - то он не программист, а бзделивый конёк.

[mazagama]

Нигде не нашёл главного:

Какое железо нужно чтобы это запустить. Но подозреваю что 3090 это не переварит.

[DrrRos]

Output generated in 6.38 seconds (7.52 tokens/s, 48 tokens, context 70, seed 966404171)

Она же всего 7b - сносно работает даже на голом cpu (результат выше с 2696v4 \ память 2400 в вм esxi)

[riky]

переварит. 14gb весит, как правило и памяти столько же надо.

[kryvichh]

Не вполне понятно, за счёт чего добились превосходства над более жирными LLaMA. Может, они тренировали свою сеть на тестовых примерах?