Зачем нужна система мониторинга СМИ, если можно спросить ChatGPT?

Привет! Я Александр Жариков, архитектор сервисов анализа информации СКАН, Группа «Интерфакс». Последние 15 лет я занимаюсь алгоритмами, которые читают тексты и извлекают из них смысл. Вопрос, который дал название этой статье, не так давно задал мне студент после моего доклада. И он далеко не такой наивный, как кажется на первый взгляд. Если у вас есть собственное NLP-ядро, которое вы развивали полтора десятка лет, – это актив или уже балласт в эпоху LLM? В этой статье я разбираю, почему специализированные алгоритмы все еще выигрывают на промышленных объемах у универсальных языковых моделей и где LLM действительно усиливают наше ядро, а не заменяют его. Я не буду писать о конкретных алгоритмах и используемых нейросетях – я опишу лишь общие подходы в стиле популяризации компьютерной лингвистики и порассуждаю об алгоритмическом NLP.
















