Сгенерированный искусственным интеллектом компьютерный код изобилует ссылками на несуществующие сторонние библиотеки, что создаёт прекрасную возможность для кибератак. К такому выводу пришли исследователи из Техасского университета в Сан-Антонио.
Они изучили код от 16 ИИ-моделей, которые широко используются для генерации кода, включая GPT-4, Claude, DeepSeek и другие. Результаты показали, что в среднем половина созданного ими кода содержит ссылки на фиктивные пакеты. В одном из экспериментов исследователи проанализировали свыше 576 тысяч фрагментов кода и обнаружили 440 тысяч вымышленных зависимостей.
Причина заключается в том, что модели, обученные на огромных массивах текста, изобретают названия библиотек, основываясь на паттернах, а не на реальных данных из репозиториев. И эту ошибку легко использовать для проведения атак типа типа dependency confusion или slopsquatting.
Как поясняют исследователи, для этого достаточно зарегистрировать содержащий вредоносный код пакет с названием, которое выдумал искусственный интеллект. И если разработчик установит такой пакет, вредоносный код проникнет в его систему. Для проверки исследователи создали тестовые пакеты, которые были скачаны десятки тысяч раз.
Отмечается, что уязвимость демонстрируют Python и JavaScript, где использование централизованных репозиториев и сторонних зависимостей является стандартной практикой. Разработчики часто доверяют рекомендациям инструментов на базе ИИ, не проверяя существование предлагаемых библиотек вручную.
Исследователи рекомендуют внедрять инструменты для мониторинга и анализа безопасности цепочки поставок и меньше доверять сгенерированному коду.
