Классификатор обращений пользователей (1C + python)

1. Описание задачи

В нашей компании очень много пользователей и каждый день они шлют массу обращений на самые разные темы. У нас есть два отдела: "Программные разработки" и "Системные администраторы", и что бы облегчить жизнь техподдержке, был написан классификатор, который стыкует обращение пользователя на тот или другой отдел. В основе классификатора лежит логистическая регрессия.

2. Общая логика

1. Собрать исходные данные

2. Подготовить данные (почистить, привести в нужный формат)

3. Обучить модель

4. Подать новое обращение в модель и получить ответ

   Все очень просто! Сам в шоке =)

3. Полезные ссылки

Тут оставлю некоторые ссылки

1. Лекция Coursera

2. Статья на Хабре

3. https://www.youtube.com/watch?v=1vklt6IHeJI

4. Подробнее про векторное представление документов

5. Разряженные матрицы

6. Трансформер

7. Подробнее про разреженные матрицы

4. Собираем данные

Мы работаем в системе 1С, поэтому, делаем запрос к базе и выбираем все отработанные обращения с начала времен. Будем использовать эти данные для обучения. Результатом запроса будет являться таблица, где в первой колонке будет текст обращений пользователей, а во второй "1" или "0", где "1" - это "Программные разработки", а "0" - "Системные администраторы".

Функция ПолучитьСырыеДанные()
	
	Запрос = Новый Запрос;
	Запрос.Текст = 
		"ВЫБРАТЬ
		|	ОбращениеВТехПоддержку.ТекстВопроса КАК Appeal,	
		|	ВЫБОР
		|		КОГДА ОбращениеВТехПоддержку.ОтделОбслуживания.Код = 50
		|		ТОГДА 1
		|		ИНАЧЕ 0
		|	КОНЕЦ КАК Prediction
		|ИЗ
		|	Документ.ОбращениеВТехПоддержку КАК ОбращениеВТехПоддержку
		|ГДЕ
		|	ОбращениеВТехПоддержку.ДатаОтработки <> ДАТАВРЕМЯ(1, 1, 1)";
	
	Возврат Запрос.Выполнить().Выгрузить();
	
КонецФункции

Далее я решил почистить данные и оставить только слова без цифр, спец символов и пр... Тут можно по экспериментировать!!!

Функция чистит текст обращения. Могут остаться двойные или тройные пробелы но, они будут отброшены при векторизации текста.

Функция ПочиститьПоле(ПреобразованноеПоле) Экспорт
	
	СимволыДляЗамены = "1234567890";
	СимволыДляЗамены = СимволыДляЗамены + "(){}[]:;""'\|<>.,/?";
	СимволыДляЗамены = СимволыДляЗамены + "*-+=_";
	СимволыДляЗамены = СимволыДляЗамены + "!@#$%^&№";
	
	Для НомерСимвола = 0 По СтрДлина(СимволыДляЗамены) Цикл
		Символ = Сред(СимволыДляЗамены, НомерСимвола, 1);
		ПреобразованноеПоле = СтрЗаменить(ПреобразованноеПоле, Символ, "");
	КонецЦикла;

	ПреобразованноеПоле = СтрЗаменить(ПреобразованноеПоле, """", " ");
	ПреобразованноеПоле = СтрЗаменить(ПреобразованноеПоле, Символы.ПС, " ");
	ПреобразованноеПоле = СтрЗаменить(ПреобразованноеПоле, Символы.ВК, " ");
	ПреобразованноеПоле = СтрЗаменить(ПреобразованноеПоле, Символы.НПП, " ");
	ПреобразованноеПоле = СтрЗаменить(ПреобразованноеПоле, Символы.ПФ, " ");
	
	Возврат ПреобразованноеПоле;
	
КонецФункции

Результатом данного этапа должен стать .СSV файл с которым будем дальше работать.

Тут мы как раз данный файл и собираем.

Функция ПреобразоватьТЗвТекстCSV(ТЗ, Разделитель = ",", флЭкспортироватьИменаКолонок = Истина)
		
	ТекстCSV = "";
	
	Если флЭкспортироватьИменаКолонок Тогда
		
		ПодготовленнаяСтрока = "";
		
		Для Каждого Колонка Из ТЗ.Колонки Цикл
			ПодготовленнаяСтрока = ПодготовленнаяСтрока + Колонка.Имя + Разделитель;
		КонецЦикла;
		
		ПодготовленнаяСтрока = Лев(ПодготовленнаяСтрока, СтрДлина(ПодготовленнаяСтрока) - 1);
		
		ТекстCSV = ТекстCSV + ПодготовленнаяСтрока + Символы.ПС;
		
	КонецЕсли;
	
	Счетчик = 0;
	
	Для Каждого Строка Из ТЗ Цикл
		
		//Если Счетчик = 10000 Тогда
		//	Прервать;
		//КонецЕсли;	
		
		ПодготовленнаяСтрока = "";
		
		Для Каждого Колонка Из ТЗ.Колонки Цикл
			
			ПреобразованноеПоле = Строка[Колонка.Имя];
			
			Если Колонка.Имя = "Appeal" Тогда
				ПочиститьПоле(ПреобразованноеПоле);	
			КонецЕсли;
			
			ПодготовленнаяСтрока = ПодготовленнаяСтрока + ПреобразованноеПоле + Разделитель;
			
		КонецЦикла;
		
		ПодготовленнаяСтрока = Лев(ПодготовленнаяСтрока, СтрДлина(ПодготовленнаяСтрока) - 1);
		
		ТекстCSV = ТекстCSV + ПодготовленнаяСтрока + Символы.ПС;
		
		Счетчик = Счетчик + 1;	
		
	КонецЦикла;

	Возврат ТекстCSV;
	
КонецФункции

Файл готов, начинается самое интересное.

5. Обучение модели

# -*- coding: utf-8 -*-

import pickle
import pandas as pd

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn import linear_model

#Путь к .csv файлу
DATA_PATH           = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\data\train.csv"

#Файл где хранятся данные о точности нашей модели (для информации)
MODEL_ACCURACY_PATH = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\model_accuracy.txt"

#Тут мы храним нашу модель
MODEL_PATH          = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\model.pickle"

#Тут мы храним наш векторизатор, что бы приводить входящие обращения к нужному виду
VECTORIZER_PATH     = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\vectorizer.pickle"


def train_model():

		# Вычитываем исходные данные
    
    train_df = pd.read_csv(DATA_PATH)

		# Выбираем отдельно данные по двум отделам
    
    train_df_0 = train_df[train_df['Prediction'] == 0]
    train_df_1 = train_df[train_df['Prediction'] == 1]
		
    # Смотрю на размер меньшего по колву данных массива, его и берем за основу.
    
    size_0 = train_df_0.shape[0]

		# Наша задача с балансировать две эти выборки, поэтому из большей я рандомно выбираю 
    # такое же кол во данных как есть в меньшей !!!!!!!!
    
    train_df_1 = train_df_1.sample(frac=1).reset_index(drop=True)
    train_df_1 = train_df_1[:size_0]

		# Собираем две одинаковые по размеру выборки вместе
    
    train_df = pd.concat([train_df_0, train_df_1], ignore_index=True)
    train_df.Prediction.value_counts(normalize=True)

		# Приводим содержимое в нижний регистр
    
    appeal = list(train_df.Appeal.values)
    appeal = [str(l).lower() for l in appeal]

		# Для решения задачи классификации необходимо преобразовать каждое обращение
    # в вектор. Размерность данного вектора будет равна количеству слов
    # используемых во всех обращениях вообще! Каждая координата соответствует
    # слову, значение в координате равно количеству раз, слово используется в
    # в обращении.
    
    vectorizer = TfidfVectorizer()
    tfidfed = vectorizer.fit_transform(appeal)
		
    # Делим выборку на тренировочную и тестовую
    
    X = tfidfed
    y = train_df.Prediction.values
    X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=0.7, random_state=42)
    
    # Создаем объект классификатора
    # С параметрами можно поиграться, может получится настроить еще точнее!!! 
    
    clf = linear_model.SGDClassifier(max_iter=10000, random_state=42, loss="log", penalty="l2", alpha=1e-5, eta0=1.0,
                                     learning_rate="optimal")
    
    # Обучаем модель
    
    clf.fit(X_train, y_train)

		# Пишем данные точности в файлик, в моем случаем 94%

    with open(MODEL_ACCURACY_PATH, 'w', encoding='utf-8') as f:
        f.write("Train accuracy = %.3f\n" % accuracy_score(y_train, clf.predict(X_train)))
        f.write("Test accuracy = %.3f" % accuracy_score(y_test, clf.predict(X_test)))

		# В питоне все объект, поэтому мы можем замариновать нашу модель и векторизатор
		# что бы потом их можно было легко использовать

    with open(MODEL_PATH, 'wb') as f:
        pickle.dump(clf, f)

    with open(VECTORIZER_PATH, 'wb') as f:
        pickle.dump(vectorizer, f)


if __name__ == "__main__":
    train_model()

Готово, спасибо инженерам, которые делают эти библиотеки !!!!

6. Как использовать?

Пишем скрипт, который будет принимать входящее обращение и выдавать ответ. Обращаю внимание, входящий запрос должен быть почищен той же функцией который мы готовили исходники!

Ответ будет писать во временный файл.

Код ниже рассчитан на обмен с 1С, а именно, дополнительно принимает имя файла через который будет происходить обмен.

# -*- coding: utf-8 -*-

import logging
import pickle
import sys

MAIN_DIR        = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests"
LOG_PATH        = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\log.txt"
VECTORIZER_PATH = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\vectorizer.pickle"
MODEL_PATH      = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\model.pickle"

# Логер пропускаем, ничего интересного!
def create_logger(name, log_level=logging.DEBUG, stdout=False, file=None):
    '''
    Создает логера, есть возможность создать логера с выводом в stdout или в файл или туда и туда.
    '''

    logger = logging.getLogger(name)
    logger.setLevel(log_level)
    formatter = logging.Formatter(fmt='[%(asctime)s] - %(name)s - %(levelname).1s - %(message)s',
                                  datefmt='%Y.%m.%d %H:%M:%S')

    if file is not None:
        fh = logging.FileHandler(file, encoding='utf-8-sig')
        fh.setLevel(log_level)
        fh.setFormatter(formatter)
        logger.addHandler(fh)

    if stdout:
        ch = logging.StreamHandler()
        ch.setLevel(log_level)
        ch.setFormatter(formatter)
        logger.addHandler(ch)

    return logger


def main():
  
  	# Принимаем почищеное обращение пользователя (текс)
    user_request = sys.argv[1].lower()

    # Имя файла обмена который создает 1С и в последствии удалит
    pred_path = sys.argv[2]
    logger.info(user_request)

    # Востанавливаем наш векторизатор	
    with open(VECTORIZER_PATH, 'rb') as f:
        vectorizer = pickle.load(f)

    # Востанавливаем нашу модель    
    with open(MODEL_PATH, 'rb') as f:
        model = pickle.load(f)

    # Приводим обрашение к вектору    
    transform_request = vectorizer.transform([user_request])

    # Пишем ответ в файл обмена
    with open(MAIN_DIR + '\\' + pred_path, 'w') as f:
        prediction = str(model.predict(transform_request)[0])
        f.write(prediction)

    logger.info(prediction)


if __name__ == '__main__':
    try:
        logger = create_logger("log", file=LOG_PATH)
        main()
    except Exception as e:
        logger.error(e)

На стороне 1С

Функция ПредсказатьОтдел(ТексОбращения) Экспорт
	
	Путьприложения = "\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\";
	
	ОчищеныйЗапрос = ПочиститьПоле(ТекстОбращения);	
	  	
	ИмяФайлаОбмена = СтрЗаменить(СтрЗаменить(СтрЗаменить(Строка(ТекущаяДата()), ".", ""), " ", ""), ":", "") + ".txt";
	
  //внимательно с кавычками !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
	КомандаИтог = """" + Путьприложения + "predict\predict.exe""" + " """ + ОчищеныйЗапрос + """" + " """ + ИмяФайлаОбмена + """";
	ЗапуститьПриложение(КомандаИтог,, Истина);
	
	Попытка
		ПутьКФайлуОбмена = Путьприложения + ИмяФайлаОбмена;
		Предсказание = Новый ЧтениеТекста;
		Предсказание.Открыть(ПутьКФайлуОбмена);              
		Ответ = Предсказание.ПрочитатьСтроку();
		Предсказание.Закрыть();;
		УдалитьФайлы(ПутьКФайлуОбмена);
	Исключение
		Сообщить(ОписаниеОшибки());
		Сообщить("Не удалось автоматически определить отдел обращения!");
	КонецПопытки;
	
	Если Ответ = "1" Тогда		
		ПредсказаниыйОтдел = Справочники.Отделы.НайтиПоНаименованию("Программные разработки");
	Иначе
		ПредсказаниыйОтдел = Справочники.Отделы.НайтиПоНаименованию("IT");
	КонецЕсли;
	
  Возврат ПредсказанныйОтдел;
			
КонецФункции

7. Ускоряемся

Что бы отрабатывало быстрее, рекомендую скомпилировать скрипт предсказатор.

Флаги компиляции

pyinstaller -F --hidden-import="sklearn" --hidden-import="sklearn.feature_extraction" --hidden-import="sklearn.utils._weight_vector"predict.pyw

так много, что бы библиотека "sklearn" удачно подтянулась.

.pyw - что бы не вылезало консольное окно.

7.1 Оказалось ...

В поисках лучшего решения по интеграции с 1С наткнулся на статью https://habr.com/ru/post/332082/, atnes - от души тебе !!!

Итого. Делаем COM объект

class PredictWrapper:

    # com spec
    _public_methods_ = ['predict', ] # методы объекта
    _public_attrs_ = ['version', ] # атрибуты объекта
    _readonly_attr_ = []
    _reg_clsid_ = '{9cb58c50-2d01-41e9-99d5-07e1fa4baf16}' # uuid объекта
    _reg_progid_= 'PredictWrapper' # id объекта
    _reg_desc_  = 'COM wrapper for LR_model' # описание объекта

    def __init__(self):
        self.VECTORIZER_PATH = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\vectorizer.pickle"
        self.MODEL_PATH = r"\\app1\1C\work\Вложения\Python_projects\ClassifierOfUserRequests\model.pickle"

    def predict(self, user_request):

        import sklearn
        import pickle

        with open(self.VECTORIZER_PATH, 'rb') as f:
            vectorizer = pickle.load(f)

        with open(self.MODEL_PATH, 'rb') as f:
            model = pickle.load(f)

        transform_request = vectorizer.transform([user_request])

        return str(model.predict(transform_request)[0])


def main():
    import win32com.server.register
    win32com.server.register.UseCommandLine(PredictWrapper)
    print('registred')


if __name__ == '__main__':
    main()

А на стороне 1С

обВыбратьОтдел = Новый COMОбъект("PredictWrapper");
Ответ = обВыбратьОтдел.predict(ТекстВопроса);

8. Готово

Схема работает очень хорошо! Проверено.

Как Вы понимаете, по аналогии можно придумать множество вариантов использования ... Можете прочекать стихи поэтов и потом выбирать, кому принадлежит авторство, разумеется в формате 1v1 =) Либо Пушкин либо Лермонтов.