В первых двух статьях цикла мы разобрались, почему нормативно‑справочная информация (НСИ) неизбежно деградирует, почему простые алгоритмы сравнения строк проигрывают AI/ML, и как устроен сервис SOFROS AI/ML в целом — его архитектура, гибридный подход и интеграция с корпоративными системами через REST API.

Но методология и архитектура — это лишь верхушка айсберга. Главная магия происходит внутри моделей, которые отвечают за классификацию, извлечение характеристик, семантический поиск и контекстное обогащение данных. Именно они превращают «сырые» записи в структурированные и нормализованные справочники.

В третьей статье мы заглянем под капот этих моделей и подробно разберём:

— как работает модель классификации на основе наивного байесовского классификатора с учётом опечаток, n‑грамм и нечёткого поиска;
— как модель экстракции выделяет именованные сущности (NER) с помощью spaCy и beam search;
— как модель семантического поиска использует BERT, FAISS и реранкер для поиска по смыслу;
— как модель контекстного поиска обращается к веб‑источникам для дообогащения данных;
— зачем нужна классификация PII и как она обеспечивает безопасность.

В первой части мы описали методологию атрибутивной нормализации и в качестве практического примера рассмотрели сервис SOFROS AI/ML, который автоматизирует полный цикл: от извлечения характеристик до валидации и устранения дубликатов.

Но методология — это полдела. Главный вопрос, который остался за кадром: как именно устроен сервис под капотом?

Во второй статье мы заглянем внутрь SOFROS AI/ML:

- какая архитектура лежит в основе сервиса;

- какие модели машинного обучения и LLM используются и за что отвечает каждая;

- как сервис интегрируется с 1С:MDM, SAP и другими системами через REST API;

- как мы обеспечиваем безопасность и соблюдение требований ФЗ‑152.

Знакомая ситуация: созвон закончился, все обсудили, о чём-то договорились и разошлись работать дальше. А через пару дней начинается: «Подождите, а кто вообще должен был этим заниматься?» В лучшем случае у кого-то сохранились хаотичные заметки, в худшем — всё держится на человеческой памяти. А ведь встречи бывают не только онлайн, но и очные, с десятком участников и часами обсуждений.

Мы в компании Софрос столкнулись с этой проблемой в полный рост. Внутренние планёрки, встречи с клиентами, технические синхронизации — контекст терялся постоянно. Кто-то записывал аудио на телефон, кто-то конспектировал в блокноте, а потом всё это нужно было как-то собрать в единый протокол. На расшифровку часовой встречи вручную уходит около трёх часов — непозволительная роскошь, когда встреч десятки.

Так родился SOFROS AI Секретарь — система, которая автоматически превращает любую встречу в структурированный протокол с задачами и ответственными. Расскажу, как мы это сделали и что из этого вышло.

Сегодня большинство компаний сталкиваются с серьезной проблемой: данные в их информационных системах постоянно деградируют, а традиционные подходы к очистке не дают необходимого эффекта. В результате организации вынуждены постоянно проводить дорогостоящие процессы дедупликации и нормализации, отвлекая ресурсы компании от основной деятельности.

Современный подход — применение технологий искусственного интеллекта и машинного обучения. Гибридные модели классификации, семантический поиск на основе языковых моделей, интеллектуальная экстракция характеристик — эти инструменты позволяют не просто автоматизировать процесс нормализации, но и обогащать данные, обучаясь на реальных примерах работы пользователей.

В этой статье мы разберем, какие задачи решают современные AI/ML-инструменты, почему они эффективнее традиционных методов и как их внедрение трансформирует управление данными в организации.

С вами снова Илья Вязников, инженер сопровождения СОФРОС. Продолжаю делится практическими приёмами и полезными настройками платформы.

В этой статье разберём, как настроить гибкую систему приоритезации очередей в DATAREON Platform на основе типа данных и дополнительных свойств сообщения.

Привет, Хабр!

С вами Кирилл Бибиков, технический архитектор СОФРОС. Буду делиться с вами полезной информацией, касаемо продукта компании СОФРОС - мониторинг сообщений OneView.

ВЕБИНАР | 13 августа 2026 года | 16:00

Отсутствие полноценного взаимодействия систем в компании мешает бизнесу работать эффективно. Мы предлагаем не просто настроить очередной инструмент, а выстроить единый управляемый интеграционный контур на базе DATAREON Platform с учётом отраслевой специфики и бизнес-процессов компании.

Дмитрий Горгошидзе, ведущий консультант-аналитик направления НСИ и интеграции SOFROS, один из ведущих экспертов компании по внедрению интеграционных решений приглашает на вебинар 13 августа 2026 года в 16:00.

Привет, Хабр!

С вами снова Илья Вязников, инженер сопровождения СОФРОС. Продолжаю делится практическими приёмами и полезными настройками платформы.

В этой статье покажем, как интегрировать Datareon Platform с Zabbix через API Центра мониторинга.

Привет, Хабр!

С вами снова Илья Вязников, инженер сопровождения СОФРОС. Продолжаю делится практическими приёмами и полезными настройками платформы.

При интеграции с REST API часто возникает ситуация, когда идентификатор объекта нужно передавать не в теле запроса и не в query-параметрах, а непосредственно в URL. 

Такой подход используется во многих CRM, ECM-системах, банковских и государственных API.

Сегодня, разберём, как реализовать подобную интеграцию в DATAREON Platform с помощью шаблона пути и параметров обработчика. 

Приглашаем на практический вебинар 15 июля 2026 года | 16:00, посвященный одному из самых важных этапов нормализации НСИ — формированию атрибутивного состава.

На вебинаре Дмитрий Николаев — эксперт по НСИ с опытом более 7 лет и 22 реализованными проектами разберет реальные кейсы из практики и покажет, как сформировать атрибутивный состав, который действительно работает на бизнес.

На вебинаре рассмотрим:
1. какие ошибки чаще всего допускаются при формировании атрибутивного состава НСИ и к каким последствиям они приводят;
2. как определить оптимальный набор характеристик, достаточный для решения задач бизнеса;
3. какие атрибуты должны быть обязательными, а какие — нет;
4. как найти баланс между требованиями бизнеса и возможностями проекта по нормализации данных.

Вебинар будет полезен: руководителям и специалистам по НСИ, бизнес‑аналитикам и архитекторам данных, руководителям цифровой трансформации, ИТ‑специалистам, участвующим в проектах управления данными.

Вы получите практические рекомендации, которые помогут повысить качество данных, сократить количество ошибок при ведении справочников и избежать дорогостоящих доработок после запуска проекта.

Участие бесплатное. Количество мест ограничено.

Регистрация по ссылке

С вами снова Илья Вязников, инженер сопровождения SOFROS. Продолжаю делиться практическими приёмами, которые упрощают жизнь при эксплуатации и доработке интеграций.

Не так давно я рассказывал, как вынести повторяющуюся логику в C# функции, но в любом серьёзном проекте со временем накапливаются не только функции, но и куча параметров: адреса сервисов, таймауты и т.д. Сначала их прописывают прямо в коде, но очень быстро это превращается в проблему.

Сегодня расскажу про глобальные константы — один из полезных инструментов платформы для централизованного хранения таких параметров.

Не так давно, я писал, о том как автоматизировать повторную обработку сообщений из архива в DATAREON Platform.

Было несколько вопросов и уточнений, поэтому хочу дополнительно разобрать код C# для повторной обработки.

Для ЛЛ: Полный алгоритм с комментариями в конце поста

В интеграционных проектах на DATAREON довольно быстро появляется одна и та же проблема: код бизнес-алгоритмов разрастается, а повторяющаяся логика начинает копироваться между процессами.

В DATAREON Platform эту проблему можно решить через программные модули — механизм для хранения и повторного использования собственных функций на C#.

В статье покажу как создавать такие функции и использовать в ваших процессах.

В интеграционных решениях сообщения неизбежно периодически попадают в архив: из-за сетевых ошибок, таймаутов, временной недоступности получателя или проблем валидации.

Разовый ручной возврат сообщений в обработку удобен для диагностики, но плохо масштабируется. Если проблема временная (например, недоступна внешняя система), инженеру приходится либо ждать восстановления и запускать возврат вручную, либо держать ситуацию под постоянным контролем.

В статье покажу, как реализовать механизм повторной отправки сообщений из архива в обработку с использованием DATAREON Platform.

Меня зовут Николай Лямин. В IT я уже 25 лет, в SOFROS -  с 2023 года. За это время успел поработать с системной интеграцией, электронным документооборотом, построением крупных команд поддержки и мониторинга для высоконагруженных продуктов ЭДО и электронного факторинга. Работал как с российским, так и с европейским рынком, а также участвовал в развитии решений для электронной коммерции в сегментах FMCG и DIY.

Придя в SOFROS,  мне поручили строить направление поддержки. На берегу казалось, что логика будет классической: у клиента есть закрытый проект в промышленной эксплуатации, пользователи, инциденты и проблемы. У нас же есть линии поддержки. Остается только построить процессы и научиться с ними жить.

Реальность оказалась другой – модель начала ломаться почти сразу.

Интеграционный проект - это не монолитный программный продукт, который можно поддерживать изолированно. После внедрения клиент получает не просто «интеграционную шину», а живой интеграционный контур, в котором десятки систем начинают зависеть друг от друга. У каждой системы свой владелец, свои доработки, свои регламенты обмена и особенности эксплуатации, а самое важное, что проблемы почти никогда не живут внутри одной системы.