В последнее продолжительное время занимаюсь разработкой ПО и алгоритмов по русистике. Иногда ищу обсуждение, задачки из комментариев и на Хабре. Попался на глаза занятный коммент:
На основе стилометрического анализа/кластеризации: авторство произведений "12 стульев" и "Золотой телёнок" не принадлежат М. Булгакову, однако кластеризация поставила тексты Булгакова и Ильфа/Петрова рядышком, что говорит о высокой близости, наверное отсюда и вытекает конспирология. На самом деле погрешность растёт ещё и из-за цензуры/издания (советы крутили тексты, как хотели, что фиксируют метрики лексического разнообразия).
Алгоритм кластеризации: считаю буквенные n-граммы текстов, как придумал Бёрроуз в 2002 году однако с учётом морфологии русского языка (простыми словами: на этом шаге игнорирую шум - сюжет и диалоги), добавляю признаки на основе пунктуации и доли эмоционального тона, а на пред финише стилистическое сходство между книгами вычисляю через косинусное расстояние (тогда как в классике метод Дельты Бёрроуза использует менее точное - манхэттенское расстояние, это не только моя оценка на основе разработки/улучшения алгоритма и анализа текстов, но в некоторых англоязычных рецензируемых статьях приложены пруфы, где "косинус даёт более релевантные результаты"). На финальном шаге алгоритм UPGMA из научной либы Scipy осуществляет группировку на основе матрицы расстояний -> получаю живой график в Plotly (работает прицел и всплывающая подсказка).
Возвращаемся к основному анализу, что там с Булгаковым...
АС между "Телёнком" и "Стульями" - 66% (тексты за одним(и) автором), Но для ажиотажа добавлю: 1) что максимально отмеченное сходство между Булгаковым и Ильфом/Петровым зафиксировано между "Золотой телёнок" и "Белая гвардия" - 36%, цифра довольно внушительная (возможно, к правке рукописей причастны те же люди, ответственные за цензуру в 1930-х гг.), но показатель не достаточный, чтобы поддерживать конспирологическую теорию на высокой ноте; 2) все эти авторы работали в одной газете ~в одно время, так что зерно сомнений посеяно не напрасно; 3) если добавить в анализ больше истинных рукописей писателей, то результат изменится...
P/S/: анализ локальный и доступен технарям на ладони (хоть и не всем, не вина пользователей, а техническая политика Гугла по OS Android): офлайн/смартфон, лонгрид не даст соврать: почти 300К просмотров и сотни закладок...
P/S2: Спойлер прототип, академическое ПО для анализа текстов, которое ждут в России, почти готово, спустя всего-то в целом какие-то пару лет...
💎 Опробовать поисковую систему, разработанную автором статьи.
