В середине мая этого года мы опубликовали обновлённую версию нашего квиза для C++ разработчиков. Спустя 2 месяца мы решили рассказать о результатах.
Возможно, кто-то уже слышал о нашем квизе и даже успел пройти его. В любом случае расскажу подробнее.
Мы выбрали несколько фрагментов кода из Open Source проектов, в которых анализатор PVS-Studio нашёл ошибки.
- Каждому участнику предлагается 10 случайно выбранных фрагментов, в которых нужно найти ошибку.
- На поиск одной ошибки даётся 60 секунд.
- За каждый правильный ответ начисляется 1 балл, максимально можно набрать 10 баллов.
- Если вы отвечаете неправильно или не успеваете ответить правильно за 60 секунд, то остаётесь без балла.
Механика очень простая, поэтому, если ещё не пробовали, попробуйте.
Итак, перейдём к самому интересному – результатам квиза.
На момент написания заметки в квизе приняли участие 1970 человек.
Я намеренно не стал обобщать и писать 1970 разработчиков, т.к. часть из этого числа — студенты либо люди, не занимающиеся разработкой, а проходящие квиз ради интереса. Но большая часть участников — всё же C++ разработчики, и тем удивительней, что средний балл правильных ответов – 3,53 из 10 :) Довольно неожиданно и слегка печально.
Да, можно уверенно сказать, что квиз — это игра, прохождением которой нельзя оценивать навыки разработчика. Но факт есть факт – статистика набранных баллов в некоторой степени удручает.
Для наглядности я сделал график, показывающий распределение участников по количеству набранных баллов. Как видно, самое сложное — дать 6 и более правильных ответов.
Возможно, кто-то скажет, что мы подобрали сложные примеры и дали мало времени на их решение. Но дело не в этом.
Результаты квиза ни в коем случае не значат, что проходившие его разработчики некомпетентные или невнимательные. На мой взгляд, причина в другом. Точнее, несколько причин:
- люди не в теме. Этот как раз та часть, которая не занимается разработкой и визуально не может определить, есть ошибка в коде или нет.
- не хотят вчитываться код. Увидел ошибку и отметил. Сразу не нашёл? Тыкну наугад или пропущу, это всё-таки не работа.
- интересно, что там в конце. Просто интересно, какой будет результат если отмечать ошибки наугад (лично я таким образом набрал 3 правильных ответа, не являясь разработчиком).
- отвлёкся от прохождения.
Положа руку на сердце, честно скажу, что даже не все наши разработчики из C++ отдела смогли найти каждую ошибку (их результаты я не включил в сводные данные).
Каждый разработчик это, в первую очередь, человек. И часть из описанных причин вполне могут проявляться в работе:
- начинающие разработчики не всегда в теме и могут допустить "простые" ошибки;
- нет желания выискивать баги в коде, особенно если это не твой код;
- интересней придумать новую фичу, чем несколько раз просматривать уже написанный код;
- всегда можно отвлечься и упустить ошибку, от этого никто не застрахован.
Для решения в том числе и этих проблем стоит внедрять в процесс разработки инструменты статического анализа.
Поэтому не бойтесь пользоваться статическими анализаторами кода и дайте разработчикам возможность исправлять найденные баги, а не тратить время на их поиск. Начать предлагаю с бесплатной версии PVS-Studio. Кстати, прошедшим квиз доступен промокод на 30-дневную лицензию, вместо 7.
А мы постараемся придумывать новые развлекательные активности, чтобы вы смогли испытать себя. Кстати, в скором времени мы планируем запустить подобный квиз, но уже по C#. После этого мы обязательно сравним, кто из разработчиков лучше находит ошибки.
Если хотите поделиться этой статьей с англоязычной аудиторией, то прошу использовать ссылку на перевод: Alexey Sarkisov. Static code analyzer vs developers. Here we go again..
