Как стать автором
Обновить

В МТИ нейросеть научилась расшифровывать забытые языки

Время на прочтение 2 мин
Количество просмотров 8.2K
image

В Массачусетском технологическом институте разработали нейросеть, которая поможет лингвистам расшифровать давно забытые языки.

В мире насчитываются десятки мертвых языков, о лексике, грамматике и синтаксисе которых нет информации. На таких языках сохранилось совсем немного текстов, и обычным алгоритмам машинного перевода, к примеру, тем, которые использует Google Translate, этой информации недостаточно. У некоторых из них даже отсутствуют привычные разделители, такие как пробелы и знаки препинания.

Однако исследователи из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) продемонстрировали систему, которая может автоматически расшифровывать утерянный язык, не требуя для этого глубоких знаний о нем самом и о его связи с другими языками. Более того, система может сама определять отношения между языками. Так, она подтвердила недавние исследования, предполагающие, что иберийский язык на самом деле не связан с баскским.

Работа системы строится на базовых принципах лингвистики. К примеру, специалисты, которые изучали древние языки, делали вывод, что буква «p» в словах со временем может поменяться на «b». Алгоритм дешифрования учится встраивать звуки языка в многомерное пространство, где различия в произношении отражены как расстояние между соответствующими векторами. Возникают шаблоны изменения языка. Модель может сегментировать слова на древнем языке и сопоставлять их с аналогами на современном, родственном ему.

image

Алгоритм позволяет оценить близость между двумя языками; фактически, при тестировании на известных языках он может даже точно определять языковые семьи. Команда применила свой алгоритм к иберийскому языку с учетом возможной родственности с баскским, а также с менее вероятными кандидатами из романских, германских, тюркских и уральских семей. Хотя баскский и латынь были ближе к иберийскому, чем другие языки, они оказались слишком разными, чтобы считаться родственными.

Подход с расшифровкой на основе родственных слов предполагается расширить. Он будет включать определение семантического значения слов. К примеру, в тексте можно идентифицировать все ссылки на людей или места, а затем изучить их в свете известных исторических свидетельств, чтобы распознать, какое значение имело то или иное отмеченное слово. Подход может применяться без каких-либо обучающих данных на исследуемом древнем языке.
См. также:

Теги:
Хабы:
+16
Комментарии 9
Комментарии Комментарии 9

Другие новости

Истории

Работа

Data Scientist
66 вакансий

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн