Что такое фаззинг и зачем он нужен?

[estet]

 Стоит отметить, что Go — это первый из распространённых языков, в котором есть встроенный фаззер. 

LibFuzzer (C/C++) был раньше

Конечно, фаззеры появились задолго до языка Go. Это, например, CrashMe, ClusterFuzz, AFL, libFuzzer и другие.

ClusterFuzz это инфраструктура для фаззинга

[cartonworld]

И Go использует LibFuzzer (C/C++)

[lolopat2]

Спасибо, поправил формулировку и убрал ClusterFuzz из списка.

[quasilyte]

Как в эту картину вписываются генераторы программ, типа csmith, gosmith, phpsmith? Они генерируют вход для компилятора/интерпретатора, а потом проверяют output и крашнулся ли он или нет.

[estet]

Да, это тоже фаззинг, но фаззинг без обратной связи. Если вам тоже интересно тестирование компиляторов с помощью фаззинга, то возможно заинтересует доклад на эту тему:

[estet]

Насколько успешен был ваш фаззер для PHP?

[quasilyte]

Доклад посмотрю, спасибо!

Фаззер для PHP/KPHP не вполне доделан, так что рановато пока говорить о результатах. Там сейчас очень плохой раннер, которые запускает генератор и проверяет результаты, а генератор более-менее нормальный. Какие-то проблемы нашлись, но хотелось бы большего.

В нашем конкретном случае есть ещё проверка того, что output у программ, запущенных на двух реализациях (компилируемый KPHP и интерпретатор PHP), одинаковый.