Подсчёт упоминаний бренда и ключей в текстах и выдаче: регулярное выражение по подстроке ошибается, лемматизация нет
При разметке выдачи и ответов нейросетей нужно считать, где назван бренд и где стоит ключ. Поиск подстрокой даёт ложные срабатывания: nord находит «nordwind», основа мар\w* для имени «Мария» находит «маршрут». В обратную сторону подстрока теряет склонения: «авторских туров на Бали» не совпадает с ключом «авторский тур бали».
Бренд латиницей ищется как целое слово, с границами по буквам и дефису (просмотр назад и вперёд из модуля re):
python
import re
def has_brand(text, brand):
return re.search(rf'(?<![\w-]){re.escape(brand)}(?![\w-])', text, re.I) is not None
>>> bool(re.search('nord', 'перелёт nordwind, туры на север', re.I))
True
>>> has_brand('перелёт nordwind, туры на север', 'nord')
False
>>> has_brand('Nord Travel: туры на север', 'nord')
True
Русские ключи и имена сравниваются по начальным формам слов. Для этого подходит pymorphy3, морфологический анализатор для русского языка, продолжение pymorphy2 (документация):
python
import pymorphy3
morph = pymorphy3.MorphAnalyzer()
def lemmas(text):
return {morph.parse(w)[0].normal_form
for w in re.findall(r'[а-яёa-z0-9-]+', text.lower())}
def has_key(text, key):
return lemmas(key) <= lemmas(text)
>>> has_key('авторских туров на Бали', 'авторский тур бали')
True
>>> has_key('тур на Бали', 'авторский тур бали')
False
>>> bool(re.search(r'\bмар\w*', 'маршрут по острову'))
True
>>> has_key('маршрут по острову', 'Мария')
False
>>> lemmas('Марией Марию Марии')
{'мария'}
Ключ засчитывается, если все его слова есть в тексте в любой форме и в любом порядке. Порядок и соседство слов для ключа обычно не важны: «туры на Бали авторские» тот же запрос. Если важна точная фраза, сравнивается последовательность лемм.
Тот же приём проверяет минус-слова рекламной кампании. Минус-слово, чья лемма совпадает с леммой рабочего ключа, отрезает этот ключ от показов. Такую пару стоит найти до запуска:
python
def conflicts(keys, minus):
m = {morph.parse(w)[0].normal_form: w for w in minus}
return [(k, m[l]) for k in keys for l in lemmas(k) if l in m]
>>> conflicts(['котельная под ключ', 'блочные котельные цена'], ['ключи', 'бесплатно'])
[('котельная под ключ', 'ключи')]
Автоматический подсчёт остаётся черновым. Подписи источников в ответах нейросетей похожи на названия компаний, у имени клиента бывают однофамильцы и тёзки. Итоговая разметка «назван или не назван» ставится чтением каждого ответа, скрипт задаёт только список мест для проверки.
Источники:
