tlando Dec 7 2013 at 16:27

Извлечение объектов и фактов из текстов в Яндексе. Лекция для Малого ШАДа

6 min

40K

Яндекс corporate blog Algorithms *Natural Language Processing *

+65

Comments 23

UFO just landed and posted this here

tlando Dec 7 2013 at 21:12

Эээ, спасибо.

+19

RISC Dec 8 2013 at 16:32

Полностью согласен с вами.

zag2art Dec 7 2013 at 17:17

А можно еще ссылки на материалы ШАД-а?

elcoyot Dec 7 2013 at 17:29

Малый ШАД
ШАД

oldHamtick Dec 7 2013 at 19:51

Класс, жаль только что комменты не слышно

sophist Dec 8 2013 at 13:30

Похоже, вместо картинки с примером синтаксического дерева, в статье по ошибке вставлена предыдущая картинка.

elcoyot Dec 8 2013 at 21:07

Спасибо, исправил.

kzn Dec 8 2013 at 15:07

Не совсем в тему, но какова производительность Томита-Парсера по сравнению с GATE?

tlando Dec 9 2013 at 12:30

Если честно, мы никогда не сравнивали. Gate не работает с русским практически.
Наша производительность на очень сложных грамматиках и новостных текстах порядка 80 кб/час. Стандартные для выделения адресов, например, работаю на порядок быстрее.

kzn Dec 9 2013 at 19:53

Спасибо! Просто интересен выбор основного алгоритма для реализации правил. И вообще их сравнение.

tlando Dec 10 2013 at 20:31

Вкралась опечатка, скорость 80 МБ/час.

excoder Dec 10 2013 at 18:21

Татьяна, а не 80 кб/сек? Просто есть общее представление, как себя ведёт Томита на разных грамматиках, и с указанной скоростью оно несколько не согласуется.

tlando Dec 10 2013 at 20:30

Ну конечно мб/час. Спасибо за исправление!
Это скорость на самых сложных наших грамматиках на больших текстах. В среднем быстрее значительно.

excoder Dec 8 2013 at 23:35

Вот такую забавную персону поймал сегодня Яндекс.Новости:

tlando Dec 9 2013 at 12:33

Отличный пример того, как rule based подход не выдерживает ошибок в пунктуации.

excoder Dec 9 2013 at 14:31

Татьяна, а можем разобрать подробнее? :) Как я понял, Томита выделил бы здесь две персоны: «Нельсон Мандела» (схема Имя-Фамилия) и «Мандела Пятьдесят» (схема Фамилия-Имя), и должен был бы разрешить между ними конфликт. Или происходит что-то немного другое?

tlando Dec 9 2013 at 16:32

Это забавная ошибка. Мандела попал в словарь как имя, Нельсон тоже имя. Имя может выступать и как фамилия. Любое слово с большой буквы потенциально может быть фамилией. Плюс есть ограничение, что в конфликтных ситуациях начало предложения — это отрицательный фактор.

Тут собственно и сыграло начало предложения, т.к. обе схемы были имя-фамилия.

excoder Dec 11 2013 at 19:57

Татьяна, ещё такой вопрос. В Яндексе, как я понял, Томита.Парсер используется, в частности, в проекте Яндекс.Новости. А как насчёт машинного обучения и онтологий, используется ли где-либо у вас?

tlando Dec 12 2013 at 20:49

Машинное обучение используется везде. Мы вообще стараемся делать гибриды.
А примером онтологии может служить география — мы используем данные Яндекс.Карт для извлечения географии из текстов и определения геофокуса в новостях.

excoder Dec 13 2013 at 19:54

Ну то что в Яндексе оно везде — это да. А вот конкретно в извлечении объектов и фактов?

tlando Dec 14 2013 at 02:29

Используется, например, обучаются всякие контекстные модели.

tlando Dec 12 2013 at 20:49

Only those users with full accounts are able to leave comments. Log in, please.