Машинное обучение для поиска ошибок в коде: как я стажировался в JetBrains Research

Точность это количество реальных багов среди того, что нашлось, а не количество показанных предупреждений из всех ошибок, что есть. Про количество относительно всех ничего гарантировать пока не можем.

Машинное обучение для поиска ошибок в коде: как я стажировался в JetBrains Research

Результаты для джаваскрипта были в табличке в статье:


Для питона в итоге результаты получились похожими: для бинарных операторов такие же, для перестановки аргументов и бинарных операндов — хуже на 5-10% в зависимости от используемого размера словаря (какой процент редко встречающихся токенов выкидываем).

Но стоит отметить две вещи:

1. Результат получен вручную, посмотрев на предсказанные ошибки. Это не очень большая выборка, по-настоящему содержательные результаты появятся, когда плагин будет выложен и появятся логи использования.
2. Детектор работает в реальном времени, поэтому его предсказания важны не столько для уже запущенного и проверенного кода, сколько для получающегося в процессе написания. Работая с датасетом мы работаем с уже проверенным кодом, а вот по логам плагина мы сможем понять, помогает ли детектор исправлять ошибки еще во время их появления.