Comments 2
Автор проделал большую работу, но с некоторыми выводами я бы поспорил. Оценивать качество кода по результатам нескольких синтетических бенчмарков - такое себе. Это примерно как оценивать программиста по скорости печати. А где поддерживаемость, архитектура, количество багов и сложность дальнейших изменений? Да и корреляция между распространением ИИ и изменением производительности ещё не доказывает, что первое стало причиной второго.
Но сама работа заслуживает уважения. Статистика, бисекция коммитов, пересборка библиотек, поиск причин регрессий - видно, что автор действительно глубоко копнул тему, а не просто построил пару графиков.
Спасибо, замечание про заголовок справедливое. Я измерял производительность 46 операций на синтетике, а «качество кода» шире: баги, архитектуру и стоимость изменений я не оценивал. Размер кода и цикломатическая сложность в статье приведены как косвенные признаки, и выводов о поддерживаемости по ним делать нельзя.
По корреляции: я старался не делать вывод «ИИ → регрессия». Участие агента определялось по авторству PR в Git, а не по датам. Итог в статье такой: признаков ухудшения из-за ИИ не нашёл, но и обратного не доказал.
Метрики багов и поддерживаемости измерять сложнее, но это правильное направление для следующих итераций.
Стал ли код Microsoft хуже с приходом ИИ: замеры .NET-библиотек от 6.0 до 11 RC