Внедряем AI Code Review на GIthub: сомнительно, но окэй…

[olku]

Запилил похожее на работе месяц назад, с GitLab CI и o1-mini через API. В контекст отдается список правил и задача проверить файл по ним. Результат как бы не впечатлил. При выкрученной в 0 температуре попадание процентов на 50-70. Иногда полная чушь. С Claude sonnet тот же промт выдает более адекватный результат, по ощущениям процентов до 90, и более повторяемый. Но может просто не умею в промт инжиниринг.

[1755]

Мне кажется, просто LLM постепенно движется ко "дну разочарования", перед тем как оказаться на "плато продуктивности".

[olku]

Вау эффекта не случилось, но и разочарования нет и близко. Мы используем checkstyle и sonarqube совместно, набираем опыт. Например, проверка на отсутствие бизнес логики в контроллере или соответствие названия метода описанию этими инструментами не делается. Даже если ложно позитивных будет половина, робот сокращает когнитивную нагрузку вдвое. Главное чтобы он не пропускал косяки.

[1755]

Да, это хорошее использование. Но не могу согласиться с тем что сейчас нет "вау эффекта", когда на том же хабре чуть ли не ежедневно/еженедельно стати на тему что мы вот вот умрем с голоду, потому что ИИ всех заменит