Приходите на вебинар, расскажем, как сэкономить на запуске LLM-моделей

Платите за ресурсы, которые не используются, или сталкиваетесь с ошибками из-за нехватки vRAM? Тогда этот вебинар для вас. Приходите пообщаться с нашими экспертами, они расскажут, как точно рассчитать конфигурацию для запуска LLM и настраивать параметры инференса для экономии без потери в качестве.

О чем будем говорить на вебинаре:

• из чего складывается потребление vRAM;

• как точно рассчитать конфигурацию GPU для выбранной модели, включая форматы квантования (BF16, FP8);

• какие параметры LLM сильнее всего влияют на стоимость и производительность;

• как с помощью Evolution ML Inference автоматически масштабировать ресурсы и переводить модели в serverless-режим, чтобы платить только за активную работу.

Еще будет практическая часть, на которой покажем запуск LLM с оптимальными параметрами в сервисе Evolution ML Inference. Сравним разные конфигурации по производительности и стоимости.

Ждем дата-сайентистов, DevOps-инженеров и руководителей, кому интересно узнать, как оптимизировать затраты на ML-инфраструктуру.

📅 Когда? 15 января в 11:00 мск.

📍Где? Онлайн. Зарегистрируйтесь, чтобы задать вопросы экспертам в прямом эфире.