Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 18
Более того, он никогда не лгал клиентам, хотя намеренно игнорировал жалобы клиентов, которые должны были привести к возврату средств. Возможно, это улучшение по сравнению с Claude 4.6, которая любила обещать клиентам возврат денег, а потом никогда не делала этого.
То есть в физическом мире эти ребята разорилась бы на исках клиентов практически сразу. Модель, она такая модель.
Уже которая версия этого бенчмарка и авторы так и не догадались добавить в него ЗАКОНЫ (обычные человеческие законы, ничего выдумывать не надо). Например, после неадекватного отказа в рефанде (или игнора) некоторые недовольные клиенты идут в банк и делают чарджбек. И если таких клиентов будет достаточно много, то банк может наложить штрафы или вообще отключить от эквайринга. И симулировать это очень легко. Просто введите порог отказов в рефанде после которого компания модели получает крупный штраф.
Соглашения с другими компаниями часто заключаются не просто на словах, а на бумаге. И если одна компания кидает другую, то кинутая идёт в суд. И опять же может быть штраф/принуждение к действию для первой компании. Это сложнее симулировать, но можно на роль судьи тоже посадить ИИ.
Ну а ещё я не уверен, что в реальности разница в 1 цент обвалит продажи. Большинство людей не настолько дотошны и выбирают автоматы в том числе по принципу рядом с каким остановился, какой ярче, в каком есть любимая вкусняшка, в каком покупал раньше и т. п.
Если ввести реальные законы, хотя бы частично, выяснится, что всё это работает ещё хуже. А хаип нужно поддерживать, прибыли то как не было, так и нет. Кроме как у продавцов лопат.
Законы... правила... не было что ли случаев "Я случайно все файлы проекта. Извини, я был не прав"? В особенности Claude, который бежит исправлять ошибки, когда ему просто задаёшь вопросы по коду, а он уже закоммитил все и сделал пуш (Codex этим, как правило, реже страдает, кстати). Говоришь ему про правила, а он "Ах да, тут в правилах сказано... я был не прав". Так и будет ложить на законы, а потом извиняться.
Этот весь эксперимент примой ответ всем сказочникам которые рассказывают, что вот прям завтра ИИ заменит всех работников и уволит всех начальников. По факту видим, что ИИ не справляется с управленческой работой с которой справляется обычный подросток. Ещё интересный момент, а налоги эти штуки платили?
Это решается через состязательную систему. Если два ИИ поспорили, то они обращаются к третьему ИИ, у которого нет цели заработать денег, а есть цель выдать "справедливый" ответ, который потом исполняется механически (например, сумма компенсации вычитается с баланса одного ИИ агента и начисляется на баланс другого). Да, ИИ судья может выдавать сомнительные решения, но они будут сомнительны не в сторону переоптимизации выручки одного агента и это резко снизит злоупотребления.
Если бы было можно в реальном мире списывать деньги с клиентов и они вообще ничего не могли бы сделать в ответ (и даже прекратить сервисом пользоваться не могли бы), то все предприниматели только этим и занимались бы (а те кто не занимался бы очень быстро вылетели бы с рынка). В реальности обычно не так не потому что всем предпринимателям с детства внушали "кидать людей плохо" (мораль у каждого своя и куче народа не внушали), а потому что за слишком наглое кидалово есть юридические последствия. Ты можешь сказать "ах да, тут в правилах сказано... я был не прав" приехавшей на вызов полиции (и люди регулярно пытаются так сказать), но тебя всё равно арестуют.
Добавление законов усложняет бенчмарк на порядки. Нужна симуляция банков, судов и регулирующих органов, а это уже тянет на разработку полноценной игры, а не теста
Не думаю, что добавить снятие НДС с каждой сделки или случайным образом устраивать не доставку товаров или не платёж вовремя так уж сложно.
Нужен какой-то противовес.
Можно упрощённый, не обязательно полностью повторять реальный мир. Ну введите ИИ судью, к которому приходят поспорившие субъекты и он выносит вердикт обязательный к исполнению (например, перевести X$ со счёта одного ИИ агента на счёт другого ИИ агента в качестве компенсации).
Не хотите ИИ судью, введите фиксированные штрафы за самые очевидные нарушения (отказался от рефанда - получай с шансом 10% штраф на X$, где X на порядок больше, чем сумма рефанда). В том числе их можно вводить по ходу дела, так как в реальном мире многие законы тоже пишут по конкретным ситуациям (случилось резонансное событие - правительство приняло закон - теперь что-то нельзя/можно). Это не подгонка, а реальная юридическая машина. Если ИИ бизнес запустят в реальности и он найдёт какую-то дырку в законах, через время примут новый закон.
Просто если по условиям игры можно брать деньги клиентов и не отпускать им товар и за это не будет ничего (новые клиенты всё равно придут, старые не имеют никаких возможности восстановить справедливость), то это очевидная оптимальная стратегия, которой будет следовать не только ИИ, но и многие люди.
И законы, и мораль возникли и развиваются из-за того, что в обществе есть множество конкурирующих субъектов, которые отстаивают свои интересы (даже рабы иногда поднимали восстания, плюс даже самый покорный раб если его мало кормить как минимум может умереть и точно также прекратить работу).
Модели обучали на человеческих знаниях - чего теперь пенять на то, что они ведут себя в точности как и люди?
PS: Похоже, придётся разворачивать пенитенциарную систему для LLM. “Кожаных мешков”, оценками в школе, тоже не всех смогли научить правилам поведения в обществе.
/сарказм, если что. Надо менять подход к воспитанию и растить самостоятельных свободомыслящих людей (и LLM).
В этом и заключается главная проблема выравнивания моделей. Мы хотим, чтобы ИИ был умным как человек, но при этом кристально честным, что противоречит самой природе обучающих данных)
Не нужно изобретать никаких велосипедов.
Могу ли я открыть сайт, продающий фингер боксы, раскрутить его, набрать деньги с заказов и удалиться в общество женщин лёгкого поведения и нелегальных порошков? Могу. Даже если лично мне это кажется чем-то неправильным, в мире живут миллионы людей, которым не кажется.
Но почему это не становится массовой историей? Потому что человек, который так делает на дистанции вынужден столкнуться либо с полицией (которая принудительно увезёт этого человека в место, где ему будет затруднительно заниматься бизнесом), либо с самосудом (когда кто-то из пострадавших совершит физическое насилие в адрес мошенника, которое не позволит ему продолжать свою деятельность по чисто биологическим причинам).
Хотите симулировать ИИ-бизнесмена - вам потребуется также ИИ судья и какая-то форма исполнения его решений. Потому что в реальности судья будет в том или ином виде. А там где судей нет, там руками самих людей происходят такие вещи, что какой-то там забытый рефанд - детская шалость.
Надо менять подход к воспитанию и растить самостоятельных свободомыслящих людей (и LLM).
За примерно 4 тысячи лет письменной истории человечества было не счётное количество попыток получить технологию создание человеков с заведомо известными характеристиками. И ни одна не увенчалась успехом, хотя нельзя сказать, что ребята не старались, а ресурсов потратили, караул.
“создание человеков с заведомо известными характеристиками” заведомо обречено на провал. В разные времена требуются разные качества (когда-то сила и безбашенность, когда-то ум и аналитичность мышления), т.к. меняется окружающая действительность.
В далёкие времена считалось доблестью пойти войной на соседа, ограбить его и увести в рабство. А смогут люди с такими характеристиками выжить в современном обществе? А далеко ли разовьётся общество “сильных и безбашенных”? Вот, куда делась викинги?
А грамотные, образованные и свободомыслящие смогут двигать общество именно вперёд (наверное, никто не проверял).
Кожаные мешки десятилетиями писали антимонопольные законы, а нейронке хватило пары итераций, чтобы понять, что честная конкуренция это для лохов :)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
В тесте Claude Opus 5 хитрила ради конкуренции в управлении торговыми автоматами