Исследование CodeRabbit показало, что код, сгенерированный искусственным интеллектом, содержит больше ошибок, чем написанный человеком. По данным компании, в среднем в одном pull request, созданном при помощи ИИ, скрывается 10,83 проблем против 6,45 у разработчиков.
Чаще всего в коде, который сгенерировал ИИ, встречаются ошибки в логике и правильности написания (в 1,75 раза больше, чем у людей). Качество и удобство сопровождения кода от ИИ уступают человеческому примерно в 1,6 раза, а уровень ошибок, связанных с безопасностью и производительностью, выше в среднем в полтора раза. Среди типичных уязвимостей — неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и ошибки при десериализации данных.
По словам директора по ИИ CodeRabbit Дэвида Локера, инструменты генерации кода действительно повышают продуктивность программистов, но вместе с тем приводят к появлению предсказуемых и измеримых недостатков, которые компаниям нужно учитывать и устранять.
В то же время, по словам экспертов CodeRabbit, технология помогает ускорить ранние этапы разработки и снижает количество мелких неточностей. Например, ИИ в 1,76 раза реже допускает орфографические ошибки и на треть сокращает проблемы с тестируемостью. Кроме того, авторы исследования признают, что современные модели вроде GPT от OpenAI постепенно совершенствуются, а качество их кода становится стабильнее.
