Компания JetBrains, стоящая за рядом популярных инструментов разработки приложений, выпустила свою первую открытую модель AI для программирования. В среду JetBrains сделала Mellum, модель генерации кода, которую компания выпустила для своих различных пакетов разработки ПО в прошлом году, общедоступной на платформе разработки AI Hugging Face. Mellum, обученный на более чем 4 триллионах токенов, весит 4 миллиарда параметров и разработан специально для автодополнения кода (т. е. завершения фрагментов кода на основе окружающего контекста).
Параметры примерно соответствуют навыкам решения проблем модели, тогда как токены — это сырые биты данных, которые обрабатывает модель. Миллион токенов эквивалентен ~30 000 строк кода.
«Mellum разработан для интеграции в профессиональные инструменты разработчика (например, интеллектуальные предложения кода в интегрированных средах разработки), помощников по кодированию на базе искусственного интеллекта и исследований в области понимания и генерации кода. Он также хорошо подходит для образовательных приложений и экспериментов по тонкой настройке», — поясняет JetBrains в техническом отчете.
JetBrains сообщает, что обучала Mellum, лицензированный Apache 2.0, на наборе наборов данных, включая разрешенный лицензированный код из GitHub и статьи Wikipedia на английском языке. Обучение заняло около 20 дней на кластере из 256 графических процессоров H200 Nvidia.
Mellum требует некоторой работы, чтобы запуститься. Базовую модель нельзя использовать из коробки; сначала ее нужно настроить. Хотя JetBrians предоставила несколько моделей Mellum, настроенных для Python, компания предупреждает, что они предназначены для «оценки потенциальных возможностей», а не для развертывания в производственной среде.
Код, сгенерированный AI, несомненно, меняет способ создания программного обеспечения, но он также вносит новые проблемы безопасности. Более 50% организаций иногда или часто сталкиваются с проблемами безопасности из-за кода, сгенерированного AI, согласно опросу, проведенному в конце 2023 года платформой безопасности разработчиков Synk.
Действительно, JetBrains отмечает, что Mellum может «отражать предвзятость, присутствующую в общедоступных кодовых базах» (например, генерировать код, похожий по стилю на код из репозиториев с открытым исходным кодом), и что его предложения по коду не обязательно будут «безопасными или свободными от уязвимостей».
«Это только начало», — написала JetBrains в своем блоге. «Мы не гонимся за общностью — мы строим фокус. Если Меллум спровоцирует хотя бы один значимый эксперимент, вклад или сотрудничество, мы будем считать это победой».