Разработчик из команды torchtune (входит в Meta* — компания признана экстремистской и запрещена в России) Салман Мохаммади выложил nanocode — open-source библиотеку, которая позволяет обучить собственного кодинг-агента с нуля, пройдя весь путь от токенизатора до выравнивания по принципам Claude Code. Самая большая модель (1,3 млрд параметров) обучается за 9 часов и обходится в $200 за все.
Проект вдохновлен nanochat Андрея Карпати и продолжает философию nano-серии: минимальный воспроизводимый код, который показывает, как устроена технология изнутри. Только если nanochat учил модель разговаривать, nanocode учит ее пользоваться инструментами — читать файлы, писать код, запускать команды в терминале. Библиотека написана на чистом JAX и заточена под вычислительные мощности TPU, которые можно получить бесплатно через программу Google TRC.
Пайплайн воспроизводит подход Constitutional AI, который используют для обучения коммерческих моделей вроде Claude. Он включает пять этапов: обучение токенизатора, претрейн базовой модели на FineWeb-edu и The Stack v2, генерацию синтетических данных (около 120 тысяч коротких и 2 тысячи длинных мультитурновых примеров агентного поведения), дообучение с использованием инструментов (agentic SFT) и выравнивание через DPO с конституционной критикой.
Помимо основной модели на 1,3 млрд параметров есть конфигурации поменьше: 477 млн параметров обучаются за полтора часа ($34), а крошечная версия на 4 млн параметров предназначена для отладки на обычном процессоре. Все варианты запускаются одним bash-скриптом. Проект также работает на NVIDIA GPU, хотя мультичиповые конфигурации пока не тестировались.
Понятно, что модель на 1,3 млрд параметров не конкурент настоящему Claude Code — коммерческие модели в сотни раз крупнее. Ценность nanocode в другом: это первый полный открытый рецепт обучения кодинг-агента методом Constitutional AI, от чистого листа до работающего инструмента.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
