«Яндекс» провел исследование, как изменилась лексика русского языка с первой половины XX века

22 ноября в день рождения создателя «Толкового словаря живого великорусского языка» Владимира Даля «Яндекс» опубликовал результаты исследования о том, как изменилась лексика русского языка с первой половины XX века, а также составил список 100 уходящих и ушедших слов из обращения старых слов.

Для первоначальной базы данных для сравнительного исследования специалисты «Яндекса» использовали текущие публикации и комментарии различных блогеров на «Яндекс.Дзене» и старинные дневниковые записи из собрания центра «Прожито» при Европейском Университете в Санкт-Петербурге, сделанные авторами с 1900 года по 1940 год.

В результате сравнительного анализа текстов «Яндекс» сформировал два списка из тысячи слов в каждом.

В первом списке собраны слова, частотность которых в употреблении снизилась по крайней мере в десять раз за последний век.

Во втором списке перечислены новые слова в лексиконе, которые ни разу не встретились в дневниковых записях первых сорока лет прошлого века или которые изменили контекст своего употребления позже.

Для поиска слов, у которых изменилось основное значение, «Яндекс» проверял, насколько изменился их контекст употребления с помощью машинного обучения и алгоритма word2vec, получив векторы связей слов с другими словами в каждом из двух корпусов, а потом находил слова, векторы которых в двух корпусах сильно отличаются.


Примеры слов, которые ни разу не встретились в дневниковых записях первых сорока лет XX века.

Для поиска слов, которые не ушли, но сильно поменяли свое основное значение «Яндекс» сравнивал лексические окружения каждого слова в двух корпусах и проверял, насколько изменились контексты их употребления.

Примеры слов, которые в дневниковых записях первых сорока лет XX века и в статьях и комментариях в современных блогах употребляются в основном разных смыслах.