Специалисты «Яндекса» разработали решение, позволяющее бизнесу сократить расходы на внедрение нейросетей до восьми раз

[BarakAdama]

Немного контекста для специалистов https://habr.com/ru/companies/yandex/articles/830410/

[IgnatChuker]

Спасибо, добавил в материал!

[datacompboy]

Что удивительно -- это не "убрать 2 слоя менеджеров". Впрочем, это способ сократить еще в 40 раз

[Pol1mus]

Хотите сказать что Gemma 9b будет нормально работать не на 10гб памяти а меньше чем на 2? Звучит абсолютно нереалистично.

[tukreb]

imatrix делает что-то похоже, но конечно не за бесплатно, экономия в памяти выливается в очень сильных требованиях в ЦПУ и ГПУ.

[lerabelkina]

Верной дорогой идете, товарищи

[decomeron]

[StjarnornasFred]

Отличная новость. Вот бы удалось досжимать языковые модели до размеров бытового накопителя при сохранении качества работы, чтобы можно было запускать условную Алису и прочее в оффлайне.

[Lagovi]

Запустить локально модель уровня Алисы не проблема уже довольно давно, запускают даже на макбуках.