Comments 4
Без сравнения с конкурентами и без метрик - пустая реклама.
А насколько эта сетка знает конкретные API? Допустим, текстовое описание задачи - написать бота на Python для MediaWiki, который редактировал бы страницы викисайта по определенному шаблону. Насколько правильно эта сетка будет обращаться к API MediaWiki?
Настолько, насколько обращения к этому API представлены в датасете.
Более крутые системы должны уметь сами искать документацию и код, в сети и в проекте, подгружать релевантные данные в окно контекста, и использовать эти данные чтобы применять API чётко по правилам.
Но это далеко за пределами возможности "тупых" моделей, а "умные" делать тяжело. Не думаю, что МТС осилили. Поэтому у их системы будет типичное поведение. То есть на два нормальных вызова API будет один кривой.
MTS AI открыла общий доступ к демо-версии нейросети для генерации кода Kodify