Обновить

AI и токсичная документация

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели9.5K
Всего голосов 8: ↑8 и ↓0+11
Комментарии23

Комментарии 23

Непонятно что поменялось с появлением ии

цена составления правдоподобного документа ушла практически в 0, а его верификация остается такой же по стоимости дорогой

Но в программировании сертификация обычно быстрее и дешевле. А в остальных областях вообще не стоит на LLM рассчитывать

Да ну.. Когда созданный ИИ код покрывается созданным ИИ тестами на основе этого же исходного кода, это...
Это выглядит красиво (100% пройденные "тесты").
Но по факту это дрять, которую в прод не стоит пускать.
Ну конечно, если это ПО не для "ой мы сейчас покажем демонстрашку", а для прода где цена сбоя ошибки весьма болезненна.

Но в программировании сертификация обычно быстрее и дешевле.

Смешно..
Тестирование занимает обычно больше времени и ресурсов, чем написание кода (ну как минимум в области финансового ПО).

Вы так удивляетесь, как будто бы никогда не видели тестов написанных людьми на свой же код. И все это в продакшене.

Я об ИИ говорил. И что значит "удивляюсь".
Впрочем, тому что люди придумывают в чужих словах того что не было - я давно не удивляюсь.

А код написанный и протестированный только тем кто этот код и писал в продакшен без тестов другими людьми - ну наверное кто то так и работает. До первый проблем в эксплуатации.

О сколько нам открытий чудных)

Один ии написал, другой проверил, в чём разница? Ну кроме того что ии...

То есть стало лучше в плане затрат? Верификация осталась такой же дорогой зато создание стало бесплатное.

Или вас беспокоит то, что объём неверифицированного контента вырастет?

Лучше стало в плане затрат для тех, кто решит генерировать "правдоподобный" документ. Но правдоподобный документ только выглядит как экспертный, фактически являясь токсичным.

Современная система документооборота получая токсичный документ засчитывает в рамках метрик его как экспертизу. И поощряет ресурсами элемент, породивший токсичный документ. (Т.е. элемент системы имеет возможность локально получать ресурсы от системы за минимальные затраты, отравляя внутренний контур связи системы.)

Токсичные документы порождают риски. А вот понять - токсичный документ или нет намного дороже его создания. И цепочка влияния токсичных документов сквозная.

Как итог - система тратит ресурсы на те элементы, которые отравляют её систему обратной связи (документооборот). При этом "лечение" такого заражения очень дорогое.

это так если документ попадает в систему без ревью, которое бы его не пропустило

То есть мы сейчас создаём токсичные документы, чтобы получить бонусы, а потом увольняемся до того, как компания развалится? Гениально =).

мы сейчас создаём токсичные документы, чтобы получить бонусы, а потом увольняемся до того, как компания развалится?

А то!

Корпоративный мир построен на системе метрик и поощрений. Последние тридцать лет повсеместно стал внедряться подход, где сотрудников оценивают по динамичным измеримым показателям: количество строк кода, число закрытых задач, объем подготовленной документации, скорость реакции на запросы.

Гораздо раньше, челодой моловек, гораздо раньше...

Мб сейчас наконец то новые инструменты позволяют с одной стороны подорвать это снизу, а с другой - дать реальную альтернативу?

Мб сейчас наконец то новые инструменты позволяют с одной стороны подорвать это снизу, а с другой - дать реальную альтернативу?

Первое правило чтения громких заголовков: если в заголовке имеется слово «… может...», в конце следует мысленно подставить: «… а может и не...»

В статье я объяснил про подрыв снизу, а тут раскрою про варианты сверху.

Сейчас очень интересно, как с этим справляются и развивают программисты.
Ну, главное, они признали что без ИИшек у них уже никуда. И после этого уже начали перестраивать flow разработки(не всегда удачно, далеко не всегда удачно, пример с амазон показателен.)

Практически все знакомые перестали плотно писать руками код(кроме тех, кто пишет высокоточные низкоуровневые штуки). И это стало нормой. Приоритет сейчас начал выстраиваться вокруг согласованности и безопасности черных ящиков модулей с признанием за ИИшкой права быть ответственный за этот черный ящик. Не за всю систему, а именно за чёрный ящик. Т.е. инкапсуляция той самой энтропии в рамках жестко описанного api.

Так же приоритет качества разработчика съехал с кода на структурное виденье, способность удержать согласованность таких ящиков. + тестирование сквозное, DDD, планирование, мультиагентность и прочее. Тут уже показательно, что IBM недавно увеличило набор джунов именно под такие скилы.

И вот тут главный тейк, почему решил вообще написать статью - а готовы ли не-it сектора (особенно институализированные) к тому, что существует решение? Насколько их роль далека от черного ящика с жестким API?

они признали что без ИИшек у них уже никуда.

А «они» сейчас с Вами в одной комнате?

буквально, подписка на курсор у меня присутствует)
(Да и под "никуда" это больше про "некуда деваться и слева и справа, крутани нейробарабан и обезьянка обязательно выдаст тебе хороший код, только подкидывай токены")

Так что сейчас я честно говоря удивлен, что для Вас это не является стандартным контекстом, но готов скинуть статьи и аналитику по этому поводу(верховую, с которой уже можно будет копать глубже, если интересно).

Аналитики куча, от клодовской до гитхабовской, критики и восторгов тоже куча, в общем, тема хайповая, поэтому туда и не полез особо в статье, оставив только ссылку в сноске.

Опыт 2008 года показывает, что механизм фильтрации токсичных активов появился после кризиса. 

Однако объём производных финансовых инструментов(деривиативы) не снизился.

Другими словами - то, что описано в статье это описание симптомов , не причин.

сотрудник оказывается перед простым выбором. Он может потратить три дня на глубокую проработку вопроса, а может сгенерировать правдоподобный текст за три минуты, причесать — и получить те же бонусы за "высокую производительность". 

Да это всё именно так. Выбор - очевиден.

И AI тут в общем то ни при чём, ситуация была точно такой же и до массового выхода AI на сцену.

Ну то есть в целом KPI должен требовать не документацию, а с механизмами контроля, что документация валидная - добавим второй KPI за поиск ошибок в доках :)) Надо больше хаоса!

я поэтому и вкинул про реинжиниринг процессов в конце, у нас же не только инструмент для генерации доки появился, но так же и инструмент для сбора данных больших, мониторинга и аналитики их в реальном времени. Да еще и с датчиками и сенсорами всякими. Да еще и с возможностью почти моментальной синхронизации с другими сервисами и прочим.

Т.е. мб явно поставить надо ИИ с палкой над человеком, настроить нормальный конвеер обработки информации в рамках процесса с учетом того, что это ИИ шки. И понять где реально нужна экспертиза. Все это обмазать сенсорами, биг датой, AoI все дела.
Это конечно в начале не заработает, но потом поедет, думаю.

Типо вот в китайских портах сейчас автоматические тележки катаются без операторов - создают ли они документацию токсичную? Не думаю)

До ИИ вспомнился аналитик легким словом "работает так то" и побежавшим домой, а мне потом 2 часа доказывал что он неправ. Представляются полезными людьми для снятие нагрузки с эспертов, если пользоателю этой экспертизы и не требуется,а нужен любой правдоподобный ответ. Если тебя такие ответы не устраивают, в голове маркируешь человека что он не эксперт.

С ИИ же, один раз обожошься об некомпетенцию и дискредитируешь ресурс. По моей тематике 1с, сайт кодерлайна выложил не рабочую статью, в голове устанавливаем пометку "не доверяем", установлен kpi для сотрудниклв на написание статей.

На инфостарт(аля хабр про 1с) мы не можем пометить весь ресурс как неблагонадежный, и там запоминаем автора и его признаки по которому будем производить отсев. Пользователь публикует две работы в день с отключением комментирования других пользователей, в мусорку такого автора.

Т.е. мы как и раньше доверяем экспертам, авторам и лишаем доверия в момент когда они решают схалтурить. Как быть с сотрудниками которых нагружают ИИ и kpi я пока не осмыслил.

мне кажется главный лаг у сотрудников и KPI возник там, где KPI перестал быть бумажным датчиком состояния и превратился в самоцель. В 26 году 21 века есть возможность настроить другие варианты метрик и состояний с другой скоростью обработки и обратной связи.

Тут та и нужен реинжиниринг.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации