Pull to refresh
3
Григорий Аршинов@greg_lingva

User

Send message

AutoML для NLU без ручной настройки: делимся библиотекой OpenAutoNLU

Level of difficultyMedium
Reading time9 min
Reach and readers9.4K

Большинство существующих AutoML-библиотек либо не поддерживают обучение моделей для понимания естественного языка (Natural Language Understanding, или NLU) из коробки, либо не умеют обучать хорошие out of scope детекторы, либо неудобны и требуют расширенной экспертизы для использования.  

Для того чтобы решить эти проблемы, мы в MWS AI разработали OpenAutoNLU — опенсорс-библиотеку для NLU, включающую диагностику качества данных, гибко настраиваемый пайплайн обучения модуля фильтра запросов, которые не относятся ни к одному из известных текстовых классификаторов меток OOD, и функции LLM. Делимся ей на GitHub

Под катом разберу, как устроен фреймворк, за счет чего он работает с минимальным вмешательством разработчика и какие результаты уже есть.

Поехали!

Information

Rating
Does not participate
Registered
Activity

Specialization

ML разработчик
Ведущий
Python
NLP
NLU
LLM