Машинное обучение для поиска ошибок в коде: как я стажировался в JetBrains Research

[excentro]

Спасибо, интересно. Когда ждать в репозитории плагинов PyCharm?

[hse_spb]

Если все пойдет по плану, то в феврале точно будет. Ссылка появится в репозитории на гитхабе.

[0x13]

Да, экспериментальная версия оптимистично будет к концу января. А ещё через некоторое время сделаем вариант и для JS.

Текущий вариант из гита собирается через gradle :runIde, правда, для этого придётся выкачать либов прилично. :)

[LBarghudaryan]

Thanks

[a_e_tsvetkov]

Интересно каков процент ложных срабатываний?

[egorbb]

Результаты для джаваскрипта были в табличке в статье:


Для питона в итоге результаты получились похожими: для бинарных операторов такие же, для перестановки аргументов и бинарных операндов — хуже на 5-10% в зависимости от используемого размера словаря (какой процент редко встречающихся токенов выкидываем).

Но стоит отметить две вещи:

1. Результат получен вручную, посмотрев на предсказанные ошибки. Это не очень большая выборка, по-настоящему содержательные результаты появятся, когда плагин будет выложен и появятся логи использования.
2. Детектор работает в реальном времени, поэтому его предсказания важны не столько для уже запущенного и проверенного кода, сколько для получающегося в процессе написания. Работая с датасетом мы работаем с уже проверенным кодом, а вот по логам плагина мы сможем понять, помогает ли детектор исправлять ошибки еще во время их появления.

[a_e_tsvetkov]

5%-10% это значит что каждый 10-20 вызов приводит к предупреждению. Вы думаете что от этого будет какая-то польза?

[egorbb]

Точность это количество реальных багов среди того, что нашлось, а не количество показанных предупреждений из всех ошибок, что есть. Про количество относительно всех ничего гарантировать пока не можем.