Найти всё. Text Mining
Привет, Хабр! Хочу поделиться опытом анализа текста. Возьму рабочий пример документов в отношении граждан, проходящих процедуру банкротства. Задача заключается в автоматизированном сборе информации из текста 300 тыс. документов такой как: номер счета, с которого можно снять средства, разрешенная сумма, период действия. Пример интересующей меня части документа:
Немного скучной теории: формулировка заключений финансовых управляющих не регламентируется специальными правилами и потому может выглядеть по-разному и может находится в разных частях документа. Но в подобных заключениях (если они имеются) всегда будут упоминаться номер специального счета (для физ. лица он начинается с 4), сумма и фразы, подразумевающие разрешение на снятие денежных средств. С помощью данных эвристик можно локализовать нужный нам кусок текста!
Воспользуюсь python и библиотеками regex и Natasha. С помощью регулярных выражений локализирую нужные предложения, а разбивать текст на предложения и вытаскивать необходимые поля буду с Natasha. Многие знакомы с отличными способностями библиотеки Natasha к распознаванию именованных сущностей (имена, города, названия компаний и т.д.). Но, помимо этого, она умеет находить даты, суммы денег и даже адреса!
Импортирую нужные библиотеки:
import os
import pandas as pd
from natasha import (Doc, Segmenter, NewsEmbedding, NewsMorphTagger,
NewsSyntaxParser, MorphVocab, NewsNERTagger,
DatesExtractor, MoneyExtractor)
import re
from collections import Counter
import openpyxl
import datetime
pd.options.display.max_columns = 100
pd.options.display.max_rows = 100
import warnings
warnings.filterwarnings('ignore')
Напишу функцию get_info, которая на вход будет принимать текст и предложения, а на выходе возвращает номер счета, сумму и период. Сначала с помощью регулярных выражений нахожу центральное предложение и беру соседние 2 предложения.
def get_info(text, sents):
try:
match = re.finditer('4\d{19}', text)
marks = [m.start() for m in match]
bill = None
money = None
date1 = None
date2 = None
for ind, i in enumerate(sents):
for mark in marks:
if i.start <= mark and i.stop > mark:
mini_sents = [sents[ind-1], i ,sents[ind+1]] # берем 3 предложения
bill_text = ' '.join([x.text for x in mini_sents])
Далее проверяю, если там идет речь о разрешении на снятия или о денежных лимитах, то забираем нужные поля.
patterns = ['не более', 'в пределах', 'разблокир\w+', 'не может превышать', 'превыша\w+', 'самостоятельно', 'имеет право', 'распоряж\w+', '[Дд]еньги снимаются']
matches = []
[matches.extend(re.findall(pattern, bill_text)) for pattern in patterns]
if matches:
matches = money_extractor(bill_text) # распознавание денег
facts = [i.fact.as_json for i in matches]
facts = [f.get('amount') for f in facts]
money = facts
bill = re.search('4\d{19}',bill_text) # забираем счет
try:
start = [m.start() for m in
re.finditer('\s+с\s+\d{2}', bill_text)][0]
# находим упоминание периода
dates = dates_extractor(bill_text[start:]) # распознавание дат
dates = [datetime.date(d.fact.as_json.get('year'),
d.fact.as_json.get('month'),
d.fact.as_json.get('day'))
for d in dates]
date1 = dates[0]
date2 = dates[1]
except:
pass
if money:
money = [0]
return bill, money, date1, date2
except:
return None, None, None, None
Создаю датафрейм:
data = pd.DataFrame({'ЗНО':[], 'Номер счета' : [], 'Дата 1' : [],
'Дата 2' : [], 'Сумма' : []})
В цикле открываю и считаю информацию из файлов, убираю символы переноса и табуляции. Затем передаю текст в Natasha для токенизации и распознавания сущностей. Вызываю написанную мной функцию get_info и дописываю в датафрейм найденную информацию.
segmenter = Segmenter()
emb = NewsEmbedding()
morph_tagger = NewsMorphTagger(emb)
syntax_parser = NewsSyntaxParser(emb)
morph_vocab = MorphVocab()
ner_tagger = NewsNERTagger(emb)
path = 'docs/'
filenames = os.listdir(path)
for filename in filenames:
with open(path + filename, 'r') as file:
text += file.read()
text = text.replace('\n', ' ')
text = text.replace('\t', ' ')
doc = Doc(text)
dates_extractor = DatesExtractor(morph_vocab)
money_extractor = MoneyExtractor(morph_vocab)
doc.segment(segmenter)
doc.tag_morph(morph_tagger)
doc.parse_syntax(syntax_parser)
doc.tag_ner(ner_tagger)
num, money, date1, date2 = get_info(doc.text, doc.sents)
data = pd.concat([pd.DataFrame({
'ЗНО':[filename.split('.')[0].split('_')[0]],
# ЗНО в нашем случае являлось название документа
'Номер счета' : [num], 'Дата 1' : [date1],
'Дата 2' : [date2], 'Сумма' : [money]}), data])
На выходе получаю желаемые данные в виде таблицы:
Таким образом, с помощью специальных эвристик и уже существующих инструментов мне удалось автоматизировано и качественно получить желаемую информацию из нескольких сотен тысяч документов и, при этом, не изобретать колесо. На этом всё, надеюсь была полезна, всем успехов!