Обновить
8K+
3
Антон Чирикалов@kwak

Пользователь

4
Рейтинг
1
Подписчики
Отправить сообщение

Деплой LLM on-prem: Это наша корова и мы ее доим

Уровень сложностиСредний
Время на прочтение28 мин
Охват и читатели8.4K

Кто виноват? Что делать?©

Заметили, что в наше веселое турбулентное время рождения многополярного мира все больше запросов на он‑прем деплоймент ЛЛМ — а так как подводных камней там много, а опыта мало — то попробуем разобраться с вопросом.

— Как дела с проектом?
— Мы на финальной стадии!
— Супер, сдаете?
— Нет, ищем виноватого!

Итак — вот пришли к вам с типичными требованиями — хотим все в закрытом периметре. Чтобы Железный Болван болтал с клиентами на их языке, не выходил за периметр корпоративной сети, отвечал только по проверенным бумагам и, едва запахнет сомнением, — тут же переключал на живого оператора. А заодно — связывал воедино все отделы, рисовал отчёты для начальства, конверсию поднял нам до небес, рулил всеми бизнес‑процессами, проходил проверки регуляторов и ещё, пожалуйста, уложился бы в фиксированный бюджет с гарантией на несколько лет. И да, демонстрацию можно посмотреть послезавтра?

И тут возникает туман вопросов:

Читать далее

Информация

В рейтинге
1 314-й
Откуда
Минск, Минская обл., Беларусь
Зарегистрирован
Активность