Создание первой модели глубокого обучения Visual Studio IntelliCode: исследовательский путь

[atepeq]

Можете ли описать входные данные более подробно? Из Fig.5 в https://dl.acm.org/doi/pdf/10.1145/3292500.3330699 я понял, что AST-дерево раскладывается линейно, но как и что здесь является токеном — непонятно. Если бы получилось на небольшом примере показать — было бы классно.