Обновить
8K+
16
Eduard@Kubataba

Пользователь

4
Рейтинг
2
Подписчики
Отправить сообщение

Финальный босс лингвистики: как я собрал полный NLP-стек для кабардинского из старых словарей

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели9.8K

Привет, Хабр! Меня зовут Эдуард. В прошлой статье я рассказывал про локальный переводчик и синтез голоса на кабардинском. С тех пор проект вырос: я делаю приложение на iOS для чтения с синтезом и распознаванием речи на кабардинском и ещё паре десятков «обделённых» языков. Чтобы приложение было умным (ранжировало важные предложения, искало по смыслу, вело чат по книге, читало с выразительной интонацией), ему нужен полный набор языковых сигналов: лемма, часть речи, именованные сущности, тональность и эмбеддинги.

Для английского, немецкого и испанского всё это Apple даёт из коробки. Для кабардинского - ноль по всем пяти пунктам.

Прежде чем лезть в дебри, я решил спросить у Gemini Pro, насколько это вообще реально. Ответ меня обескуражил.

Читать далее

Посимвольная нейросетевая модель для автоматической акцентуации русского языка

Время на прочтение4 мин
Охват и читатели9.3K

Привет Хабр, решил поделиться небольшой моделью для расстановки ударений, которую обучил на открытом датасете из более чем 400 книг художественной прозы в открытом источнике.

Читать далее

Как создать переводчик для низкоресурсного языка: практическое руководство

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели10K

Привет, Хабр! В продолжение моей предыдущей статьи о локальном переводчике на кабардинском языке хочу поделиться практическим опытом обучения моделей машинного перевода для низкоресурсных языков. Расскажу о том, с какими проблемами я столкнулся, как их решал, и покажу конкретный код, который помог улучшить качество перевода с BLEU 8 до 28 пунктов.

Читать далее

Токенизация, как ключ к языковым моделям для низкоресурсных языков

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели7.4K

Привет Хабр, меня зовут Эдуард, и я хочу поделиться своими наблюдениями о том, как статистические алгоритмы извлекают грамматику из текстов.

Читать далее

Локальный переводчик и синтез голоса на Кабардинском языке

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели6.3K

Привет, Хабр! Меня зовут Эдуард, и сегодня я хочу рассказать о своём проекте Kabardian Translator — локальном переводчике с озвучкой для кабардинского языка. Эта история началась с сотрудничества с командой Silero TTS и превратилась в инструмент, который, надеюсь, поможет соотечественникам за границей учить родной язык.

Читать далее

Информация

В рейтинге
1 405-й
Зарегистрирован
Активность

Специализация

Десктоп разработчик, Инженер по автоматизации тестирования
Средний
Python
Английский язык
Алгоритмы и структуры данных