Comments 4
Запилил похожее на работе месяц назад, с GitLab CI и o1-mini через API. В контекст отдается список правил и задача проверить файл по ним. Результат как бы не впечатлил. При выкрученной в 0 температуре попадание процентов на 50-70. Иногда полная чушь. С Claude sonnet тот же промт выдает более адекватный результат, по ощущениям процентов до 90, и более повторяемый. Но может просто не умею в промт инжиниринг.
Мне кажется, просто LLM постепенно движется ко "дну разочарования", перед тем как оказаться на "плато продуктивности".
Вау эффекта не случилось, но и разочарования нет и близко. Мы используем checkstyle и sonarqube совместно, набираем опыт. Например, проверка на отсутствие бизнес логики в контроллере или соответствие названия метода описанию этими инструментами не делается. Даже если ложно позитивных будет половина, робот сокращает когнитивную нагрузку вдвое. Главное чтобы он не пропускал косяки.
Внедряем AI Code Review на GIthub: сомнительно, но окэй…