Можно ли поймать вайб-кодера без нейросети? Сделал расширение для GitHub — рассказываю

[Void-Cowboy]

мда

просто мда

я вот лично нарадоваться не могу нейросетям как раз за то, что они быстро и адекватно (!!) напишут тебе документацию по проекту. Буквально 2-3 итерации что бы обсудить черновик и получить удабриваемый результат. А до этого вечно проблема была потому как реадмишку писать это тоже труд, особенно если в процессе меняется и добавляется.

да и коммиты - давно уже привык "не мусорить" в репозитории и изменения ветками что при мерже сплушатся в один коммит, удаляя первоисточник. Из за чего сама репа может иметь 2-3 коммита всего до релиза с огромным количеством изменений и это не вайбкодинг.

Было бы интересно почитать как реально можно отличать слоп (потому как я лично не знаю как можно), статья к сожалению не отвечает на этот вопрос никак. Проверка по верхам, но сейчас даже "дефолтные" кодовые агенты так не делают, если только не попросить специально, а значит детектор погоду покажет

[SerafimArts]

Поставил. Мой полностью написанный руками код получил 10/100 (похоже на human). А соседний проект, который пишется (не мной) в основном через ИИ получил 20/100 (похоже на human).

Проверил ещё на нескольких разных репозиториях и везде цифра прыгает от 10 до 20 (похоже на human), причём не взирая на то, пишется ли код через ИИ или руками.

Кажется даже подобная эвристика тоже не очень хорошо работает, если надо вычленять не очевидный ИИ-слоп, а просто детектить использование инструментов.

P.S. Ну и непонятен критерий “Преждевременный devops/tooling-обвес у молодого репо”, который детектит исключительно .editorconfig (который обычно копипастится ctrl+c -> ctrl+v) полностью игнорируя все остальные инструменты.

[ShyDamn]

Можете пожалуйста репо прислать? Я проанализирую. В ЛС или сюда, если не секрет

[DamirMur]

Копал экскаватором, а потом написал что лопатой.

[ilya_chch]

https://github.com/ilyachch/django-rest-framework-rusdoc. 19/100 похоже на human (хотя 98-99% вручную)

• “Преждевременный devops/tooling-обвес у молодого репо”. а что тогда не молодой репозиторий, если это сообщение для 9 летнего репозитория?

• “AI-коммиттеры: github-actions[bot]” - тоже под вопросом. у меня автоматика создает PR-ы, которые я разруливаю руками.

https://github.com/ilyachch/github-actions-version-check. 21/100 похоже на human (около 80% через AI)

поинт про Отсутствует: topics, homepage мне не очень понятен.

в целом, затея интересная, метрики имеют смысл, но надо тюнить

[ShyDamn]

Спасибо, учту это при релизе v 0.4

[ilya_chch]

Я думаю, конкретно github-actions[bot] стоит убрать из признаков AI. Все-таки AI это Copilot.

По поводу Отсутствует: topics, homepage - кажется, homepage, если мы говорим об одном и том же, у маленького репозитория - это скорее очко в пользу AI.

topics я вообще очень редко вижу, независимо от того, что это за репа (у того же cpython, например)

Про структуру README - сомнительно. Ведь есть шаблоны. А вот emoji и тире - это прям да.

[ShyDamn]

Спасибо :)

[danilovmy]

Ещё до запуска понял. Я ai:

1. Микро Readmi с оглавлением и переходами. Потому, как шаблон репозитория.

2. Полный Набор организационных файлов, потому, как шаблон.

3. Объем реадми больше кода, потому как это демо... С шаблоном разумеется.

4. Обьемный initial commit. Пачкой прям.

5. Несколько правочных коммитов сразу после initial.

6. Иногда сиротское репо... Потому, как шаблон забыл.

Я не попал в человеки по 70% замечаний.

И только даты создания в 2017-2021 подсказали бы, что, скорее всего, это был человек. Но нет...

P. S. Я это к тому, что в статье много субъективной оценки. Как сказали выше - надо "тюнить"

[ShyDamn]

Спасибо, учту это

[ale007xd]

Забавно, репо топикстартера даёт 39/100, мой репо написанный практически полностью АИ: 14/100. Я не понимаю цель таких исследований, кроме самоутверждения. Вроде как доказано, что АИ умеет писать код и даже недавно был отчёт антропик вроде про это. В общем, снёс расширение. Но за опыт спасибо

[kochetkov-ma]

Программные правила не будут работать потому что они собраны по принципу : мне кажется, что это признак АИ репы. Единственный вариант - это собирать реально размеченный корпус данных по написанному руками коду и через АИ и обучить нейронку. А если меня будут зват Claude C и я буду соавтором, то мой репозиторий автоматом превратится в сгенерированный? Я в рабочей почте неделю думал, что мне приходит спам он Атропик, пока не выяснил что Claude C это просто один из коллег.