Pull to refresh
190
Karma
0
Rating
Александр Кукушкин @alexanderkuk

Лаборатория анализа данных Александра Кукушкина

  • Followers 226
  • Following

Обучение модели естественного языка с BERT и Tensorflow

Модель доступна для скачивания в формате для tensorflow, pytorch, и tf-hub.

Интересно про SBERT, не могли бы раскрыть подробности:


  1. Сравнивали с RuBERT от DeepPavlov http://docs.deeppavlov.ai/en/master/features/models/bert.html?
  2. Какой объем обучающих текстов? Какой состав, Taiga, Lenta?
  3. Ванильный BERT, не RoBERTa?
  4. Код из Huggingface?
  5. Сколько, каких GPU, сколько тренировали?
  6. Тренировали с нуля или как DeepPavlov инициировали multilungual?

Проект Natasha. Набор качественных открытых инструментов для обработки естественного русского языка (NLP)

Хорошо ли справляется выделение ФИО с приведением к норальной форме (именительный падеж)?
Да, советую пробовать свои примеры на стенде. Более подробный стенд есть на http://natasha.github.io/. Мерил качество нормализации на BSNLP-2019 https://github.com/natasha/corus#load_bsnlp, примерно 90% имён нормализуется корректно.

"Песков" будет превращен в "песок". такие кейсы как Эрик Конггорд («конггордый»)-Андерсен, или Елена Верещака («верещак»), или Николай Борцов («борец»)
Такое, конечно, Наташа старается учитывать. Наташа использует информацию о морфологии от внутреннего морфологического тегера и Pymorphy https://pymorphy2.readthedocs.io/en/latest/ для нормализации. Если оба отработают корректно, ошибки не будет

Эрик Конггорд-Андерсен». Фамилию через черточку не смог осилить полностью
Для разделения на имя и фамилию в библиотеке собран набор правил для Yargy-парсера https://github.com/natasha/yargy. Правил для фамилий с дефисом там нет.

Проект Natasha. Набор качественных открытых инструментов для обработки естественного русского языка (NLP)

Весь проект на Python. Нормального способа использовать с другими языками мне не известно. Только может быть заворачивать в веб интерфейс

Проект Natasha. Набор качественных открытых инструментов для обработки естественного русского языка (NLP)

  1. Кажется, не существует датасетов с эталонной разметкой с текстами из соцсетей
  2. Понятно, что будет плохо. "Правила в Razdel оптимизированы для аккуратно написанных текстов с правильной пунктуацией"
  3. У других готовых решений тоже будет не очень, все ориентируются на публичные датасеты, а там новости, худлит

Для соцсетей нужно делать кастомное решение, использовать статистические методы, не правила

NLP. Основы. Техники. Саморазвитие. Часть 2: NER

Строго говоря, задачу можно решать и без машинного обучения — с помощью rule-based систем (в самом простом варианте — с помощью регулярных выражений). Это кажется устаревшим и неэффективным, однако нужно понимать, если у вас ограничена и четко очерчена предметная область и если сущность, сама по себе, не обладает большой вариативностью, то задача NER решается с помощью rule-based методов достаточно качественно и быстро.

Поэтому применять их имеет смысл только для ограниченных доменов и на простых и четко отделимых от остального текста сущностях.

Система которая заняла первое место на factRuEval-2016 www.pullenti.ru rule-based. Получается при большом желании можно и на непростых сущностях

Было бы интересно почитать про решение NER, которое используется в Abbyy

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

«Конвертор C#.NET => Python 3» ничего себе. Кажется, этого не было, когда я последний раз смотрел на Pullenti.

Спасибо! Надо будет попробовать.

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

1. Если будут конкретные задачи для английских текстов, думаю поддержка появится. Пока конкретных планов нет. Сейчас все задачи для русских текстов. Проблем с реализацией вроде не должно быть. Надо сделать или найти аналог pymorphy2 для английского.
2. Опять же, если появятся задачи про это, то да. Пока планов нет. Теоретически, парсер такое поддерживает.

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

Ой, я думал под словосочетание «Томита-парсер» вы подразумевали github.com/yandex/tomita-parser, про Масару Томита мало кто знает. Тогда «Я плохо знаю Parglare, но я бы не назвал его аналогом yandex/tomita-parser». Просто эти плюшки на практике 50% всей реализации: морфология, нормализаций, специальная процедура интерпретации, согласование, газеттир

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

Я плохо знаю Parglare, но я бы не назвал его аналогом Томита-парсера. Вопрос в том как туда встроить работу с морфологией, нормализацией, согласованием.

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

Про нормализацию не понял вопрос. Нормализация делается после применения грамматик

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

Может быть не совсем понятно написано. В предложении «Для текстов с русскими именами качество получается ~0.95» речь идёт только про github.com/natasha/natasha-examples/blob/master/02_sad/notes.ipynb. То есть утверждается что 95% качество в примере 02_sad/notes.ipynb

Если вы введёте полное предложение, например «придя с работы Маша мыла Раму» «Маша» найдётся. Такая специфика работы NamesExtractor сейчас

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

Если у вас есть потребность в таком экстракторе, я бы посоветовал прислать примеры строк, который должны разбираться, как это было сделано, например, для адресов github.com/natasha/natasha/issues/9#issuecomment-276799414

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

Плохо ))image

Когда мне нужно было работать с такими именами я просто заводил словарь
'Абд Аль — Азиз Бин Мухаммад',
'Абд ар — Рахман Наср ас — Са ди',
'Абд ар — Рахман ибн Хасан',
'Абд — аль Хади ибн Али',
'Абд — уль — Кадим Заллюм',
'Абду — ль — Азиз Аль Абдуль — ли — Лятыф',

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Registered
Activity