DeepPavlov для разработчиков: #1 инструменты NLP и создания чат-ботов

[Shinokama]

Я по началу подумал, что автор BulgenOS выпустил свой движок(

[madlit]

Про обучение на своих датасетах моделей, поставляемых с DeepPavlov — в третей статье цикла. Про создание (и, соответственно, обучение) своих моделей на DP тоже будут статьи, следите за публикациями =)) Ещё тут есть несколько туториалов, возможно вам будет интересно: github.com/deepmipt/DeepPavlov/tree/master/examples

[jetnet]

Приветствую! Несколько вопросов про squad:

• как правильно интерпретировать "ans_start_predicted", "logits"?
• как добавить score в вывод?
• можно ли запустить сервис на бюджетном CUDA с 4Г памяти, чтоб он не вылетал в ООМ? Установка "batch_size": 1 в конфиге не помогает

Спасибо!

[jetnet]

со "ans_start_predicted", "logits" вроде разобрался )

[Moryshka]

Привет! Для ответа на вопросы по контексту в DeepPavlov есть два типа моделей: основанные на R-Net и на BERT. Все конфиги моделей на основе BERT содержат в названии bert. Чтобы уменьшить потребление GPU памяти, можно уменьшить используемую длину контекста: context_limit для R-Net, max_seq_length для BERT.
ans_start_predicted — позиция ответа в символах.
logits — не нормированная уверенность модели в ответе.
Относительно score, какая именно модель/конфиг используется?

[jetnet]

я играюсь с бертом. Думал сортировать ответы по логитам, но эта "уверенность" для этого не очень подходит: очень часто "подходящие" ответы имеют меньшее значение.
Ещё заметил, что на результат часто влияет наличие "?" в конце вопроса.
И squad_ru_bert_infer выдает лучше результаты на иностранных текстах чем squad_bert_infer.

На счет 4г GPU — уменьшил max_seq_length до 4 :) — всё равно не влезает.

ПС: сейчас ответ по контексту в облаке что-то не работает

[Moryshka]

? — действительно влияет, так как модель во время обучения всегда видела вопросы со знаком? на конце. Эту проблему можно решить случайно выбрасывая знаки? во время обучения.
По confidence, который выдает модель корректно сравнивать только ответы внутри одного контекста.
Последнее наблюдение странное, так как мы проверяли качество модели обученной на русском языке на текстах на англ: 75.3 F-1 (обучена на русском, проверена на англ) vs 89.1 F-1 (обучена на англ, проверена на англ)

[jetnet]

Разъясните пожалуйста, чем squad модели отличаются друг от друга?
multi (BERT ведь и так мульти)?
infer?
ru (SQUaD + SDSJ?)
без "ru" — только SQUaD?
немного запутался :)
Спасибо!

[Moryshka]

• squad — models trained on SQuAD v1.1 dataset (En)
• squad_ru* — models trained on SDSJ Task B dataset (Ru)
• squad_zh* — models trained on DRCD dataset (Zh)
• bert — model is based on BERT (En)
• rubert — model is based on RuBERT (Ru)
• bert_multilingual — model is based on Multilingual BERT
• *infer — models based on BERT that can be used for texts with more than 512 subtokens (BERT has limitation 512 tokens).
• Models with multi* prefix were trained to be used in multi-paragraph mode, when you feed several paragraphs to model and then select only one answer.

[jetnet]

а! я значит не первый https://forum.deeppavlov.ai/t/differences-between-squad-models/209
Спасибо!
А там еще "noans" есть :) Что это означает?

[Moryshka]

Да) есть такой же ответ forum.deeppavlov.ai/t/bert-squad-no-answer/221/2?u=yurakuratov
А если коротко, то модели с noans в названии были обучены в том числе и на вопросах, на которых нет ответа в данном тексте)

[jetnet]

Спасибо! Жду продолжение про обучение )

[Moryshka]

можно пока почитать про Alexa Prize c нашим участием)
habr.com/ru/company/mipt/blog/479056

[jetnet]

del