Pull to refresh
8K+
16
Eduard@Kubataba

User

4
Rating
2
Subscribers
Send message

Финальный босс лингвистики: как я собрал полный NLP-стек для кабардинского из старых словарей

Level of difficultyMedium
Reading time7 min
Reach and readers10K

Привет, Хабр! Меня зовут Эдуард. В прошлой статье я рассказывал про локальный переводчик и синтез голоса на кабардинском. С тех пор проект вырос: я делаю приложение на iOS для чтения с синтезом и распознаванием речи на кабардинском и ещё паре десятков «обделённых» языков. Чтобы приложение было умным (ранжировало важные предложения, искало по смыслу, вело чат по книге, читало с выразительной интонацией), ему нужен полный набор языковых сигналов: лемма, часть речи, именованные сущности, тональность и эмбеддинги.

Для английского, немецкого и испанского всё это Apple даёт из коробки. Для кабардинского - ноль по всем пяти пунктам.

Прежде чем лезть в дебри, я решил спросить у Gemini Pro, насколько это вообще реально. Ответ меня обескуражил.

Читать далее

Посимвольная нейросетевая модель для автоматической акцентуации русского языка

Reading time4 min
Reach and readers9.3K

Привет Хабр, решил поделиться небольшой моделью для расстановки ударений, которую обучил на открытом датасете из более чем 400 книг художественной прозы в открытом источнике.

Читать далее

Как создать переводчик для низкоресурсного языка: практическое руководство

Level of difficultyMedium
Reading time10 min
Reach and readers10K

Привет, Хабр! В продолжение моей предыдущей статьи о локальном переводчике на кабардинском языке хочу поделиться практическим опытом обучения моделей машинного перевода для низкоресурсных языков. Расскажу о том, с какими проблемами я столкнулся, как их решал, и покажу конкретный код, который помог улучшить качество перевода с BLEU 8 до 28 пунктов.

Читать далее

Токенизация, как ключ к языковым моделям для низкоресурсных языков

Level of difficultyMedium
Reading time9 min
Reach and readers7.4K

Привет Хабр, меня зовут Эдуард, и я хочу поделиться своими наблюдениями о том, как статистические алгоритмы извлекают грамматику из текстов.

Читать далее

Локальный переводчик и синтез голоса на Кабардинском языке

Level of difficultyMedium
Reading time4 min
Reach and readers6.3K

Привет, Хабр! Меня зовут Эдуард, и сегодня я хочу рассказать о своём проекте Kabardian Translator — локальном переводчике с озвучкой для кабардинского языка. Эта история началась с сотрудничества с командой Silero TTS и превратилась в инструмент, который, надеюсь, поможет соотечественникам за границей учить родной язык.

Читать далее

Information

Rating
1,443-rd
Registered
Activity

Specialization

Десктоп разработчик, Инженер по автоматизации тестирования
Средний
Python
Английский язык
Алгоритмы и структуры данных