Привет, Хабр!
В этой статье я расскажу вам о том, как можно анализировать текстовые данные в R, используя библиотеки quanteda и tm.
Зачем вообще quanteda и tm, и почему не Python?
Справедливый вопрос: все вокруг любят spaCy, nltk, gensim в Python, а тут мы про R. R отлично подходит для быстрых статистических вычислений, имеет удобный синтаксис для манипуляций с данными, а самое главное — пакеты quanteda и tm дают обширный функционал для лингвистического анализа. Если вы уже знакомы с tidyverse, тогда работа с текстовыми данными покажется довольно «нативной». Кроме того, quanteda — это универсал для текстов: токенизация, стоп‑слова, stemming, лемматизация (через доп. инструменты), анализ частот, биграмм, триграмм, построение документно‑терминных матриц, расчеты статистических метрик, и многое другое.
А вот tm используется как классический инструмент для обработки текстовых корпусов, построения DTM, очистки и преобразования.
Начнем: установка и загрузка библиотек
Для начала устанавливаем пакеты:
install.packages("quanteda")
install.packages("tm")
install.packages("SnowballC") # Для стемминга
install.packages("wordcloud") # Почему бы и нет, для наглядности
install.packages("textstem") # Для лемматизации
install.packages("readtext") # Удобный импорт текстов
install.packages("dplyr") # Ну куда без негоПодтягиваем их в сессию:
library(quanteda)
library(tm)
library(SnowballC)
library(wordcloud)
library(textstem)
library(readtext)
library(dplyr)Загрузка данных
Предположим, есть папка с текстовыми файлами новостных статей на русском языке. Для полноты картины назовем ее ./data/articles/. Каждый файл — отдельная статья в формате .txt. Можно использовать readtext для удобного чтения сразу пачки файлов:
# Допустим, наши файлы в ./data/articles/*.txt
text_data <- readtext("./data/articles/*.txt", encoding = "UTF-8")
head(text_data)Это создаст фрейм данных, где будет колонка text. Если хочется максимально безопасный код, проверяем наличие файлов, кодировки и т. п. Но сейчас будем считать, что все данные корректны.
Создаем корпус и начинаем токенизировать
quanteda позволяет легко создать корпус — удобную структуру для дальнейшего анализа:
corpus_data <- corpus(text_data, text_field = "text")
summary(corpus_data)Сейчас у нас корпус текстов. Дальше — токенизация. Представим, что нужны только слова, все знаки препинания — прочь, цифры вычеркиваем, приведение к нижнему регистру — обязательно.
tokens_data <- tokens(corpus_data,
remove_punct = TRUE,
remove_numbers = TRUE)
tokens_data <- tokens_tolower(tokens_data)Теперь есть токены — самая базовая структурная единица. Их можно просмотреть:
head(tokens_data[[1]], 50) # первые 50 токенов первого документаСтоп-слова и стемминг/лемматизация
Русский язык богат, и иногда хочется выкинуть из анализа общеупотребительные слова. В quanteda есть список стоп‑слов для некоторых языков, но для русского он может быть неполон. Подгрузим собственный список стоп‑слов. Предположим, есть файл stopwords_ru.txt со стоп‑словами по одному на строку:
my_stopwords <- readLines("stopwords_ru.txt", encoding = "UTF-8")И удалим эти слова из токенов:
tokens_clean <- tokens_select(tokens_data, pattern = my_stopwords, selection = "remove")Далее — стемминг или лемматизация. Стемминг приводит слова к их «обрубленной» форме (корню), а лемматизация пытается найти «словарную» форму слова. Для русского языка лемматизация более осмысленна, но требует дополнительных библиотек. textstem в R может не идеально работать с русским, но можно попробовать:
lemma_fun <- function(x) lemmatize_words(x, language = "russian")
tokens_lemma <- tokens_apply(tokens_clean, lemma_fun)
Если лемматизация не устраивает, можно применить стемминг через SnowballC:
tokens_stemmed <- tokens_wordstem(tokens_clean, language = "russian")В итоге, есть более нормализованные токены.
Переход к количественным характеристикам: Document-Term Matrix
Для статистического анализа нужна матрица документ‑термин. В quanteda это проще пареной репы:
dtm <- dfm(tokens_stemmed)
dtmdfm (document‑feature matrix) — внутренний тип quanteda, очень удобен. Можем посмотреть самые частотные слова:
topfeatures(dtm, 20)А если хочется классический формат из tm, то можно преобразовать:
dtm_tm <- convert(dtm, to = "tm")
dtm_tmОчистка DTM: частотный фильтр, отсеивание редких слов
Далеко не всегда нужны все слова. Некоторые термины встречаются один раз на миллион документов и лишь засоряют модель. Отсеим редко встречающиеся слова:
dtm_trimmed <- dfm_trim(dtm, min_docfreq = 5, min_termfreq = 10)Теперь меньше редкого шума. Можно также отфильтровать слишком частые слова (которые встречаются в 90% документов):
dtm_filtered <- dfm_trim(dtm_trimmed, max_docfreq = 0.9, docfreq_type = "prop")Анализ: частоты, ассоциации, коллокации
Порой интересно посмотреть на коллокации — устойчивые словосочетания, биграммы, триграммы. В quanteda это очень просто:
collocations <- textstat_collocations(tokens_stemmed, size = 2:3, min_count = 5)
head(collocations, 20)Это выведет топ коллокаций. Если хотим их использовать как единые токены (т. е. «machine learning» превращаем в «machine_learning»):
tokens_coll <- tokens_compound(tokens_stemmed, collocations, join = TRUE)Визуализация частот
Можно сделать простой wordcloud, чтобы оценить популярные термины:
set.seed(123)
textplot_wordcloud(dtm_filtered, max_words = 100, color = RColorBrewer::brewer.pal(8, "Dark2"))Да, wordcloud — это уже классика, но иногда он помогает быстро ухватить суть.
TF-IDF и прочие метрики
Частоты — хорошо, но можно сделать хитрее. Частотный показатель TF‑IDF помогает выделить важные слова для конкретного документа. В quanteda делается элементарно:
dtm_tfidf <- dfm_tfidf(dtm_filtered, scheme_tf = "count", scheme_df = "inverse")
topfeatures(dtm_tfidf, 20)Это даст слова с максимальной уникальностью.
Топик-моделирование (LDA)
Стоит попробовать что‑то поглубже. Например, LDA — очень распространенный метод для выделения тем в текстах. В quanteda можно легко использовать встроенные функции или обратиться к пакету topicmodels. Допустим, есть dfm, и нужно сделать простенькую LDA:
library(topicmodels)
# Пусть у нас 5 тем (k=5)
lda_model <- LDA(convert(dtm_filtered, to = "topicmodels"), k = 5, control = list(seed = 123))
lda_topics <- topics(lda_model)
lda_terms <- terms(lda_model, 10)
lda_termsЭто даст топ‑термины для каждой из 5 тем. Конечно, настройка параметров LDA — отдельное искусство. Но для старта пойдет.
Сентимент-анализ
Если хочется немного оценить тональность текстов (хотя с русским языком посложнее, чем с английским), можно попробовать подключить заранее подготовленные словари тональности. Предположим, есть список позитивных и негативных слов. Можно подсчитать, сколько позитивных/негативных встречается:
pos_words <- c("отличный", "замечательный", "хороший", "прекрасный")
neg_words <- c("ужасный", "плохой", "отвратительный")
sentiment_scores <- dfm_select(dtm_filtered, pattern = c(pos_words, neg_words))Теперь можно подсчитать суммарную «тональность» каждого документа:
sentiment_df <- convert(sentiment_scores, to = "data.frame")
sentiment_df$sentiment_score <- rowSums(sentiment_df[, pos_words]) - rowSums(sentiment_df[, neg_words])
head(sentiment_df)Это примитивный подход, но для демонстрации сойдет.
Производительность
При работе с большими корпусами может оказаться, что R начинает тормозить. Quanteda оптимизирован под C++ и может работать довольно шустро. Но все равно, если есть десятки миллионов документов, стоит подумать о параллелизации или блочном анализе. Многие функции quanteda можно распараллелить с помощью quanteda.textmodels или других пакетов.
Например, при токенизации можно указать what = "word" или verbose = TRUE для профилирования, можно разбить большой корпус на батчи и их обрабатывать. В продакшене часто используют комбинацию R + Spark (через sparklyr) или Python для распределенных вычислений. Но quanteda хорош для интерактивного анализа или средних по размеру наборов.
Заключение
Итак, tm — более старый пакет, предлагает Corpus, DocumentTermMatrix, TermDocumentMatrix объекты. quanteda — быстрее, гибче, удобнее. Предлагает corpus, tokens, dfm объекты. quanteda имеет более современный API и часто обновляется.
Если вы только стартуете в текстовом анализе на R, я рекомендую перейти сразу к quanteda — он в большинстве случаев покрывает функционал tm.
Не стесняйтесь экспериментировать: меняйте параметры токенизации, добавляйте свои стоп‑слова, пытайтесь найти скрытые темы в своих данных. Смотрите, как меняется результат при разных метриках.
Больше актуальных навыков по аналитике вы можете получить в рамках практических онлайн-курсов от экспертов отрасли.
Также приходите на открытые уроки, которые совсем скоро пройдут в рамках набора учащихся: