Обновить
8K+
2

Пользователь

5
Рейтинг
1
Подписчики
Отправить сообщение

Senior на бумаге, Junior в рантайме: как я тестировал локальные LLM на 120B параметров в Greenfield-проекте

Уровень сложностиСложный
Время на прочтение6 мин
Охват и читатели9.9K

Недавно я задался вопросом: можно ли организовать полноценный agent dev loop (то есть, цикл разработки агентов), используя только локальные модели? Идея заманчивая — гонять агента по задачам бесконечно, не оглядываясь на счета от OpenAI или Anthropic и не переживая за утечку кода.

Чтобы проверить это, я выделил кластер и столкнул лбами три тяжеловеса из мира open source. Спойлер: архитектурно они все — Senior-разработчики, но когда дело доходит до docker-compose up, начинаются проблемы.

Читать далее

Информация

В рейтинге
1 023-й
Зарегистрирован
Активность