Pull to refresh

Comments 5

Как будто решение не очень сложное получилось. Но респект тебе за проделенную работу и качественную статью!

А ФИО, место жительства?

Без использования BERT или LLM достаточно трудно корректно отлавливать эти сущности, поэтому остановился на тех, которые можно легко ловить регулярными выражениями

Хороший пример того, как классические методы обработки текста закрывают 80% потребностей без GPU и тяжёлых моделей. Разница в скорости - 0.1 мс против 186 мс у BERT - для продакшена с высоким RPS это решающий аргумент. Алгоритм Луна для карт, контрольные суммы для ИНН/СНИЛС - всё это отработанные десятилетиями методы, и правильно, что вы не стали заменять их нейросетью ради хайпа. Единственное, что добавил бы - модуль PII на регулярках можно дополнить нечётким матчингом для случаев, когда пользователь намеренно пишет номер через пробелы или подменяет цифры буквами. Это частый паттерн обхода фильтров, который как раз и роняет Recall в бенчмарке. Проект оформлен очень зрело - CI, SDK на двух языках, Grafana-дашборд, документация на MkDocs.

Спасибо,было интересно почитать, хорошо разобран весь подход пошагово

Sign up to leave a comment.

Articles