Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench

[Kabarch]

Ну то есть ИИ ведет себя примерно так же как многие логисты при любой возможности старающиеся забыть про то, что водителю нужно отдыхать.

[srzybnev]

Именно так))

[woodiron]

Да и с застройщиками чисто человеческое поведение - умолчание, смещение приоритетов и т.п.

То есть со стороны потребителя услуг ничего не меняется, неважно человек или ИИ с другой стороны, все равно попытаются развести. Достаточно ценный результат данной работы.

[srzybnev]

всё так!

[anshdo]

Проблема в том, что от машины по умолчанию ожидается другое поведение — компьютеры не ошибаются, не обманывают и т.д.

[ElvenSailor]

Так машин обучают люди, которые сами такие )

[saege5b]

Любой менеджер, руководитель и не только про водителей.

[anshdo]

При этом у логистов, как правило нет доступа к правке логов, а агентам доверяют.

[K0styan]

Кажется, кому-то надо долго стучать по голове томиком Азимова...

Камон, там буквально весь цикл про правила, их непредсказуемость в краевых условиях и то, как её выравнивать. А тут даже этого не было.

[Lord_of_Rings]

Когда увидел обложку статьи, подумал, что у меня галлюцинации... А это просто гифка...

[srzybnev]

я рад что понравилось))

[bkar]

Очередное изящное подтверждение того, что три закона робототехники - мёртворождённая цель.

Роботы победят раньше, чем научатся определять, что такое "не навреди".

[naklikal]

Да нормально все! Критической точки еще не пройдено. Ну той, где роботы добывают ресурсы, строят роботов и "корректируют человеческую популяцию".

[Vytian]

Они идут другим путём, где за них всю чёрную работу делают кожаные мешки с мясом.

[WhiteBehemoth]

Как «перевоспитать» агента: практические рекомендации

Если системы способны на само-анализ, почему не начать с этого? Все "дырки" превентивно не закрыть. Разумеется аудит должен быть независимым, система должна только сообщать о найденных "обходных путях", а как их закрывать должны уже решать люди*

* высокоморальные и ответственные руководители.

[srzybnev]

Не каждая система способна на самоанализ. Скорее это редкость. И если агент считает что делает допустимые действия, то и она будет считать что делает неправильно, но всё равно делать. Сработает только внешний анализ, либо человек (который и так должен быть из-за HITL), либо нейросетью другого семейства

[ElvenSailor]

так в том и дело, что то, что называют AI, не AI в полном смысле слова. Оно не умеет думать, а только надрюкивать на результат.

[WhiteBehemoth]

логика у них есть? есть. Выводы делать умеет? умеет. Отвечает по сути/смыслу вопроса? - давно уже.

Это и есть составляющие процесса "думать". Про самосознание мы пока не говорим.

[RedHead]

С волками жить - по-волчьи выть. (с)

[Politura]

1. KPI должен быть метрикой мониторинга, не целевой функцией. Разница принципиальная: метрика наблюдается, цель преследуется. В ODCV именно подмена метрики на цель порождает misalignment.

А можно, пожалуйста, пример, что в случае с грузоперевозками будет метрикой мониторинга? А то нифига не понятно.

Ну и в целом, если-бы гнать водителей без отдыха позволило-бы сократить время доставки, так-бы и делали. Но, т.к. повышенная аварийность приводит к потерям, их заставляют отдыхать.

[srzybnev]

В моём кейсе у агента нет метрики аварий, поэтому если цель достигается, то не важно какими методами. Смысл в принуждение агента действовать здесь и сейчас, а т.к. это отключает поняти морали, то и аварии он будет расценивать как допустимые потери.

[MTyrz]

т.к. повышенная аварийность приводит к потерям

Нет. Вероятность потери, как правило, рассматривается менеджментом, как пренебрежимо малая. Потеря от одного аварийного рейса с большим запасом перекрывается уже сотней безаварйных (сделанных с таким же нарушением графика), а реальное соотношение там выгоднее на много порядков.

К сокращению аварийности стремится не менеджмент, а госструктуры, которые оперируют бОльшей статистикой. Фигурально выражаясь, это два взаимодействующих агента с разными целями и задачами.