Привет, Хабр! Сегодня будет продолжение темы Кластеризация и классификация больших Текстовых данных с помощью машинного обучения на Java. Данная статья является продолжением первой и второй статьи.

Привет, Хабр! Сегодня будет продолжение темы Кластеризация и классификация больших Текстовых данных с помощью машинного обучения на Java. Данная статья является продолжением первой статьи.

Статья будет содержать Теорию, и реализацию алгоритмов который я применял.

• Частичная или полная автоматизация задачи кластеризации и классификации больших данных, а именно текстовых данных.
• Применение алгоритмов машинного обучение “без учителя” (кластеризация) и “с учителем” (классификация).
• Анализ текущих решений задач.

1. Разработка и применение алгоритмов и методов обработки естественного языка.
2. Разработка и применение методов кластеризации для определения кластерных групп входных документов.
3. Применение методов классификации для определения предмета каждых кластерных групп.
4. Разработка веб-интерфейса на основе Java Vaadin

• Классификация кластерных групп определяет абстрактные и более ценные скрытые знания, игнорируя шумы, чем классификация отдельных объектов.
• Точность кластеризации прямо пропорциональна количеству кластерных групп и обратно пропорциональна количеству объектов в одной кластерной группе.

1. Обработка естественного языка.
   
   1. токенизация;
   2. лемматизация;
   3. стоп-листинг;
   4. частота слов;
   
   
2. Методы кластеризации.
   TF-IDF ;
   SVD;
   нахождение кластерных групп;
   
3. Методы классификации – Aylien API.