Найти всё. Text Mining

Привет, Хабр! Хочу поделиться опытом анализа текста. Возьму рабочий пример документов в отношении граждан, проходящих процедуру банкротства. Задача заключается в автоматизированном сборе информации из текста 300 тыс. документов такой как: номер счета, с которого можно снять средства, разрешенная сумма, период действия. Пример интересующей меня части документа:

Немного скучной теории: формулировка заключений финансовых управляющих не регламентируется специальными правилами и потому может выглядеть по-разному и может находится в разных частях документа. Но в подобных заключениях (если они имеются) всегда будут упоминаться номер специального счета (для физ. лица он начинается с 4), сумма и фразы, подразумевающие разрешение на снятие денежных средств. С помощью данных эвристик можно локализовать нужный нам кусок текста!

Воспользуюсь python и библиотеками regex и Natasha. С помощью регулярных выражений локализирую нужные предложения, а разбивать текст на предложения и вытаскивать необходимые поля буду с Natasha. Многие знакомы с отличными способностями библиотеки Natasha к распознаванию именованных сущностей (имена, города, названия компаний и т.д.). Но, помимо этого, она умеет находить даты, суммы денег и даже адреса!

Импортирую нужные библиотеки:

import os
import pandas as pd
from natasha import (Doc, Segmenter, NewsEmbedding, NewsMorphTagger,
                     NewsSyntaxParser, MorphVocab, NewsNERTagger,
                     DatesExtractor, MoneyExtractor)
import re
from collections import Counter
import openpyxl
import datetime
pd.options.display.max_columns = 100
pd.options.display.max_rows = 100
import warnings 
warnings.filterwarnings('ignore')

Напишу функцию get_info, которая на вход будет принимать текст и предложения, а на выходе возвращает номер счета, сумму и период. Сначала с помощью регулярных выражений нахожу центральное предложение и беру соседние 2 предложения.

def get_info(text, sents):
  try:
    match = re.finditer('4\d{19}', text) 
    marks = [m.start() for m in match]
    bill = None
    money = None
    date1 = None
    date2 = None 
    for ind, i in enumerate(sents):
      for mark in marks:
   if i.start <= mark and i.stop > mark: 
      mini_sents = [sents[ind-1], i ,sents[ind+1]] # берем 3 предложения
      bill_text = ' '.join([x.text for x in mini_sents]) 

Далее проверяю, если там идет речь о разрешении на снятия или о денежных лимитах, то забираем нужные поля.

patterns = ['не более', 'в пределах', 'разблокир\w+', 'не может превышать', 'превыша\w+', 'самостоятельно', 'имеет право', 'распоряж\w+', '[Дд]еньги снимаются']              
      matches = []
      [matches.extend(re.findall(pattern, bill_text)) for pattern in patterns]
     if matches:
       matches = money_extractor(bill_text) # распознавание денег 
       facts = [i.fact.as_json for i in matches]
       facts = [f.get('amount') for f in facts]
       money = facts
       bill = re.search('4\d{19}',bill_text) # забираем счет 
  try:
    start = [m.start() for m in 
re.finditer('\s+с\s+\d{2}', bill_text)][0]
	   # находим упоминание периода
         dates = dates_extractor(bill_text[start:]) # распознавание дат 
         dates = [datetime.date(d.fact.as_json.get('year'), 
                                d.fact.as_json.get('month'), 
                                d.fact.as_json.get('day')) 
                 for d in dates]
         date1 = dates[0]
         date2 = dates[1]                
       except:
         pass
                            
       if money:
         money = [0]
            
       return bill, money, date1, date2
    except:
       return None, None, None, None

Создаю датафрейм:

data = pd.DataFrame({'ЗНО':[], 'Номер счета' : [], 'Дата 1' : [], 
                      'Дата 2' : [], 'Сумма' : []})

В цикле открываю и считаю информацию из файлов, убираю символы переноса и табуляции. Затем передаю текст в Natasha для токенизации и распознавания сущностей. Вызываю написанную мной функцию get_info и дописываю в датафрейм найденную информацию.

segmenter = Segmenter()
emb = NewsEmbedding()
morph_tagger = NewsMorphTagger(emb)
syntax_parser = NewsSyntaxParser(emb)
morph_vocab = MorphVocab()
ner_tagger = NewsNERTagger(emb)

path = 'docs/'
filenames = os.listdir(path)

for filename in filenames:
  with open(path + filename, 'r') as file:
    text += file.read()
  text = text.replace('\n', ' ')
  text = text.replace('\t', ' ')
  doc = Doc(text)
  dates_extractor = DatesExtractor(morph_vocab)
  money_extractor = MoneyExtractor(morph_vocab)
  doc.segment(segmenter)
  doc.tag_morph(morph_tagger)
  doc.parse_syntax(syntax_parser)
  doc.tag_ner(ner_tagger)
    num, money, date1, date2 = get_info(doc.text, doc.sents)
  data = pd.concat([pd.DataFrame({
    'ЗНО':[filename.split('.')[0].split('_')[0]], 
	# ЗНО в нашем случае являлось название документа
               'Номер счета' : [num], 'Дата 1' : [date1], 
               'Дата 2' : [date2], 'Сумма' : [money]}), data])

На выходе получаю желаемые данные в виде таблицы:

Таким образом, с помощью специальных эвристик и уже существующих инструментов мне удалось автоматизировано и качественно получить желаемую информацию из нескольких сотен тысяч документов и, при этом, не изобретать колесо. На этом всё, надеюсь была полезна, всем успехов!