NLP: проверка правописания — взгляд изнутри (часть 2)

[sam_reaper]

О, вторая часть, я думал ждатьдолго буду, а тут приятное такое утро

[Ismail]

Интересно, познавательно.

[ererer]

А выделить (хотя бы вероятностно) конец предложения на основе семантического анализ?

[rg_software]

В принципе, метод Ratnaparkhi достаточно хорош — настолько, чтобы не приходило в голову пробовать что-то иное. Мне кажется, проще его «дожать» до лучших показателей с помощью более широкого учитываемого контекста.

Даже сейчас если посмотреть где он ошибается, то окажется, что места эти неочевидны и вполне могут быть сочтены концом предложения любой другой системой тоже.

[ererer]

Ну как скажете =) иногда обидно, что работают самые простые вещи (особенно в machine learning) =)

[rg_software]

Вот это правда :)

[habarov]

«Opulence. I has it».

[ymik]

а с сложносочинёнными предложениями как?

[rg_software]

А что с ними не так? :) Как строится дерево? Тут есть разные подходы, например, корнем такого дерева может быть союз «и» (или запятая). Иной приём — перекидывается связь между двумя корневыми глаголами.

[ymik]

В смысле что делать с ними при пропущенной запятой? Как отлавливать ошибку?

[rg_software]

ну, в теории с помощью синтаксического анализатора можно определить, что в предложении две пары «подлежащее+сказуемое», а запятой нигде нет, и сообщить об этом юзеру.