Что будет, если пригласить на свидание OCR и GPT?

[mixsture]

Я бы скорее думал в сторону учета контекста соседних символов. И это идеологически очень похоже на работу GPT, как угадывание на основе серии данных на входе. Но входным токеном будет не слово, а визуальный глиф.
Для обучения такой сети можно использовать дистилляцию с умных моделей - примерно также, как вы и OCR обучаете.