Представьте, что у нас есть бенчмарк из 4 тысяч вопросов и эталонных ответов. Как определить, действительно ли очередное изменение в системе (обновления в промпте, дополнительный агент в цепочке или, например, переход с базового RAG на гибридный) даёт реальный прирост качества?

Технология RAG в последнее время активно внедряется в сферу техподдержки. Однако те, кто приступает к оптимизации работы call-центров, быстро сталкиваются с множеством сложностей. Сегодня я поделюсь несколькими важными инсайтами о том, как должна выглядеть реализация такой системы.

Обзор трех кейсов внедрения LLM в крупных компаниях: Магнит, Skyeng и Точка. В них решаются разные задачи, но всех их объединяет одно: грамотное использование LLM для оптимизации процессов.

Prompt Engineer — очень перспективная профессия. На рынке труда, в том числе российском, появляется всё больше вакансий с солидной зарплатой. Удивительно, но к специалистам в этой области, как правило, нет конкретных требований. Иногда кажется, что некоторые компании ищут промпт-инженеров, просто чтобы соответствовать тренду. Недавно я видел в одном из объявлений такой пассаж: «...Будет преимуществом опыт работы на смежной позиции (продактом, дата-сайентистом, разработчиком) и знание Python…». 

Если всё перечисленное — только преимущество, то что тогда считать требованиями?