«Трое в лодке, нищета и собаки», или как Антиплагиат ищет парафраз

Верно подмечено. Данные выгружались как есть, чтобы отразить текущую ситуацию и выброс соответствует нашему роботу, который проверяет работоспособность сервиса.

«Трое в лодке, нищета и собаки», или как Антиплагиат ищет парафраз

Выше писала про модуль детектирования часто-употребимых фраз (в том числе законов, длинных терминов, названий организаций), призванный справится с этим. Также, не стоит забывать про правила корректного оформления цитат со ссылкой на источник (касается известных фактов и тех же законов), цитаты система помечает отдельно, на процент заимствований они не влияют.

«Трое в лодке, нищета и собаки», или как Антиплагиат ищет парафраз

Нет предела совершенству, существующие технологии уже позволяют сделать то, что до этого было невозможным. В любом случае, область сейчас активно развивается — это можно видеть, например, по ежегодному конкурсу SemEval, посвященному семантической оценке близости текстов и по огромному количеству публикаций по этой теме.

«Трое в лодке, нищета и собаки», или как Антиплагиат ищет парафраз

Сейчас в системе проходит аппробацию модуль часто-употребимых фраз и терминов, призванный справиться с этой проблемой. В любом случае, корректность и правомерность обнаруженного заимствования определяется не системой, а человеком.

«Туда и обратно» для нейронных сетей, или обзор применений автокодировщиков в анализе текстов

В статье про детектирование переводных заимствований про это упомянуто — архитектура encoder-decoder, где в качестве блоков кодирования и декодирования выступает GRU. Основная суть у нас в использовании чуть более хитрой функции ошибки (не просто ошибка реконструкции) и подборе правильных обучающих примеров. Тема, действительно, интересная — подробно про это будет рассказано в научной статье, ссылку на которую мы обязательно выложим сюда после публикации.

«Туда и обратно» для нейронных сетей, или обзор применений автокодировщиков в анализе текстов

Мне кажется, Ваше предложение не противоречит моему — усреднение подразумевает под собой потери. Можно тут смотреть как раз в сторону VAE — моделирование среднего и дисперсии позволяет учесть вариации выборки и улучшает механизм порождения объекта. Отличный пример — вот эта статья arxiv.org/pdf/1502.04623.pdf. И, как я и писала в обзоре, тут хорошо показывают себя Generative Adversarial Networks — добавление adversarial loss также позволяет минимизировать размытие.