achertok 10 авг 2018 в 11:03

КлассикAI жанра: ML ищет себя в поэзии

9 мин

Python*Алгоритмы*Искусственный интеллектМашинное обучение*

+20

Комментарии 12

mozgosteb 10 авг 2018 в 13:33

А можете порекомендовать что-нибудь простое для поиска ударения в произвольном слове?

metanol 10 авг 2018 в 19:59

В бейслайне, что они предлагают, используется заготовленный файл со словами и на какой слог ударение падает github.com/sberbank-ai/classic-ai/tree/master/examples/phonetic-baseline/data

mozgosteb 13 авг 2018 в 08:53

Большое спасибо! Это первый словарь ударений из всех что я видел, который СРАЗУ понятно как парсить.

Sadler 11 авг 2018 в 12:57

Попробуйте словарь + seq2seq.

mozgosteb 13 авг 2018 в 08:57

Вся проблема именно в словаре. Например, мне попадался машиночитаемый Зализняк. Большой, подробный, со словоформами, но совершенно не было понятно, как его парсить: что конкретно означало первое поле, что второе и т.д.

Sadler 13 авг 2018 в 09:41

Лично я распарсил викисловарь с этой целью.

mozgosteb 13 авг 2018 в 09:53

Парсили сами страницы или у вики есть более машиночитаемый вариант? Так-то это отличная идея, там помимо ударения есть ещё и разбивка на слоги.

У вас сохранился результат?

Sadler 13 авг 2018 в 10:22

Парсил сам, вообще в викисловаре есть не только разбивка на слоги, но и классификация по Зализняку, часть речи, семантика и многое другое. Результат, конечно, остался. По-хорошему это нужно куда-нибудь на github и поддерживать в виде текстовой БД для дальнейшего применения, у меня просто сейчас нет мотивации всё это привести к человеческому виду.

buriy 13 авг 2018 в 11:58

Возьмите github.com/buriy/russian-nlp-datasets/releases/download/r1/stress.tar.gz, там 2.7 млн словоформ.
Примеры слов оттуда:
а`встро-венге`рский (иногда размечены двойные ударения)
сберба`нка (разные падежи)
за`мок
замо`к
ё`ж