Данная статья предназначена для тех, кто никогда не работал со Stanford nlp и столкнулся с необходимостью в кратчайшие сроки изучить его и применить.
Данный софт достаточно распространен, и, в частности, наша фирма —
БалтИнфоКом — использует эту программу.
Для начала надо понять простую вещь: Stanford NLP работает по принципу аннотирования слов, то есть на каждое слово «навешиваются» одна или более аннотаций, например POS (Part of Speech — часть речи), NER (Named-Entity Recognizing – именованная сущность) и т.д.
Первое, что видит новичок, зайдя на сайт Stanford NLP в раздел "
быстрый старт", это следующую конструкцию:
Properties props = new Properties();
props.setProperty("annotators", "tokenize,ssplit,pos,lemma,ner,regexner,parse,depparse,coref");
StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
// create a document object
CoreDocument document = new CoreDocument(text);
// annnotate the document
pipeline.annotate(document);
Здесь StanfordCoreNLP – это конвейер, на вход которому подается наш текст, предварительно упакованный в обьект CoreDocument. StanfordCoreNLP, это самый главный и часто используемый объект во всей структуре, с помощью которого происходит вся основная работа.
Сначала задаем параметры в StanfordCoreNLP и указываем, осуществление каких действий нам нужно. При этом все возможные комбинации этих параметров можно найти на официальном сайте по
этой ссылке.
- tokenize – соответственно разбиение на токены
- ssplit – разбиение на предложение
- pos — определение части речи
- lemma – добавление к каждому слову его начальной формы
- ner — определение именованных сущностей, таких как «Организация», «Лицо» и т.д.
