Как стать автором
Поиск
Написать публикацию
Обновить

В Google пояснили, что ответ нейросети Gemini с просьбой умереть пользователю нарушил политики компании

Время на прочтение1 мин
Количество просмотров74K
Всего голосов 19: ↑17 и ↓2+20
Комментарии106

Комментарии 106

Они его депремируют или напряжение в сети уменьшат? Ответственность за качество и безопасность ПО и так весьма эфемерна (даже с учетом, что у каждой строчки в программе есть конкретный автор). При переходе же к обучаемым моделям все и вовсе покрывается туманом.

Джуна из команды разработки посадят, нынче это в моду входит

это и раньше было в моде.. Павлова назначили виновным и расстреляли через месяц после начала ВОВ, как один из примеров... мода как и история идёт по спирали.

вы которого павлова имеете в виду?
тот самый физиолог, которого собаки, умер от пневмонии в 36м, за 5 лет до начала ВОВ

*перечитал свой пост*..

вроде чёрным по белому написал: "через месяц после начала ВОВ".

даже с учетом, что у каждой строчки в программе есть конкретный автор

К пуговицам к строчке "include <iostream> using namespace std" претензии есть?

Да, второе было лишнее

В ИИ есть и хорошее, и плохое.....

Нет там хорошего, изначально это выдают за ии, хотя к этому термину это никак не относится, с самого начала начали врать, и обучать на ворованном контенте.

Прям с языка снял. И что вы ему сделаете)? Он нейросеть, он в другом городе ))

Вот девушка душная, даже нейросетку довела.

У девушки кстати был универсальный ответ "ой все" - после этого Gemini мог бы вообще подвиснуть ;)

Она всего лишь пыталась выполнить домашнее задание...

Она не пыталась его выполнить, она пыталась его списать.

Да, далеко пойдёт… плачет киска в коридоре, у неё большое горе — злые люди бедной киске не дают украсть сосиски. Скромненько так — будучи посланной на стопиццотом жульничестве с домашним заданием, так распереживалась, такой затравленной себя ощутила, такая паника-паника! Куда смотрят защитники прав обиженных в правах? Какой горлицей бьётся, поглядите-ка. Боюсь, далеко пойдёт :-/

Я тут при чём?

бабцы они такие)))

Хороший ответ - железка виновата. Очень удобно, железку же не накажешь. Современный тренд - переложить ответственность на программу.

Получил случайный штраф, пошел разбираться, а тебе говорят: "Программа так сработала, мы ничего не можем сделать".

Получил отказ в кредите, пытаешься выяснить причины, а тебе говорят: "Мы не знаем, так программа решила. Ничего не можем сделать. У нас лапки".

И бизнес это полностью устраивает. Я был на подобных обсуждениях и они рассуждают примерно так: с автоматизацией мы сэкономим/заработаем X денег, на ручную обработку косяков мы потратим Y денег. X сильно больше чем Y. Профит!

на ручную обработку косяков мы потратим Y

Где Y=0.

цена масштабирования и автоматизации человечества, но платить её приходится рандомным людям.

Нет никаких безопасных услуг, например хлеб в магазине может быть фиговым и от него кто-то умрет. Хотя хлеб делают уже много тысяч лет, но абсолютной безопасности так и не достигли.

смотреть тошно на этих «нежинок».

Получаем больше денег, постепенно теряя репутацию. Профит!

Нет, тонкий расчёт, потому что приватизация прибылей, обобществление убытков больше прибылей — у одних, а потери репутации — у других.

А кому то плевать на репутацию, потому что они непотопляемые как АвтоВАЗ.

Который к слову, в очередной раз на грани банкротства.

.. так ОНО ж не тонет...

Это понятно. Но от этого хуже всем. И государству и гражданам. Государство спонсирует чёрную дыру, которой просто нет смысла эффективно работать, а из налогов граждан, эту дыру и кормят.

Если бы к примеру, в случае очередного банкротства, проводили независимое расследование и гнали ссаными тряпками руководство и высшее звено менеджеров, то следующие хотя бы понимали, к чему всё приведёт. Да, будут уволены и люди, которые хорошо делали свою работу, но они смогут устроится, а бездельники и дефективные менеджеры, никому не нужны.

ИМХО, те кто полномочны принимать решение о независимом расследовании имеют на руках какую-то сводную информацию, что такое расследование будет как чистка кадров в 1937 году, и останемся вообще без квалифицированных кадров.

То есть ситуация может быть такова ,что "следующие" ничего не будут понимать, потому что знают что и после них придут такие же, так что кушайте - не обляпайтесь, ешьте что подают.

Наличие автоматизации и её отсутствие. Разница между этими двумя состояниями незаметна лишь для потребителя и, какого-нибудь малого бизнеса. Но когда тебе надо оперировать тысячами, сотнями тысяч или даже миллионами запросов/заявок/карточками людей или устройств, то тут уже не стоит вопрос о том, что автоматизация может сбоить в каких-то единицах процентов случаев. Для исправления таких вот ошибок есть администраторы/инженеры/программисты и прочие ответственные, кто эти единичные случаи и исправит.

Получил случайный штраф, пошел разбираться, а тебе говорят: "Программа так сработала, мы ничего не можем сделать".

Всё так. Тень пересекла стоп-линию - едешь в ГИБДД и доказываешь, что не верблюд.

А вот с кредитом логика есть. Как по мне, банк должен иметь право отказать в выдаче кредита, если считает вероятность невозврата такой, что "в среднем" банк на таком кредите не заработает, а потеряет. И механизм не раскрывается намеренно ни клиенту, ни девочке в окошечке (даже если он полностью известен банку), чтобы потенциальный заемщик не мог обмануть алгоритм.

И да, и нет. С точки зрения, что банк дает свои деньги, - что хочет, то и делает (пусть, хоть в правилах пропишет, что выдаем кредиты только девушкам, с которыми переспал основатель, и остался довольный этим опытом), - то да.

С точки зрения того, что банк выдает не свои деньги, и, более того, чтобы банк в принципе смог эти деньги с кого-то собрать, он уже должен получить лицензию, и согласиться с правилами игры в банковскую деятельность, то нет. Банк берет траст и поддержку от государства (даже, просто, наличие банковской лицензии, выданной государством, это уже существенное преимущество банка перед, например, соседом, просящим деньги в долг под процент, а еще, вспомним, что государство, как правило, вписывается, и спасает системообразующие банки, если надо), и, логично, что государство должно требовать справедливости в использовании этого ресурса. А закрытые алгоритмы выдачи кредитов приводят к очень серьезной несправедливости, ибо самообучаемые системы склонны дискриминировать любые сильные отклонения от среднего в угоду общего скора. Например, если человеку при смене оператора достался номер телефона, которым до этого пользовался мошенник, или лицо на 99% совпадает с лицом мошенника, или сосед по многоквартирному дому прописал у себя 1000 человек, то, вероятно, алгоритм отклонит такую заявку. И логично, что, раз банкир сам первый начал играть с государством в эту игру, то пусть отчитается, почему человеку отказал (возможно, не заемщику лично, но представителю регулятора)

akakoychenko,

Могу немного приоткрыть завесу тайны над тем, почему отказывают в кредитах/ипотеках и т.д. )).

В общем:

1 - есть расчет платежеспособности, с учётом уже взятых кредитов, покупки мебели/бытовой техники в рассрочку, включая прожиточный минимум и кол-во иждивенцев.

2 - Есть прошлые обязательства по кредитам, даже закрытым. Если были просрочки по оплате - такой клиент не благонадёжный.

3 - Общее впечатление кредитного инспектора от клиента - одежда, поведение, адекватность, честность, запахи, вменяемость. & если есть подозрение, что клиент - алкоголик или наркоман, или асоциальный субъект, или что-то подозрительное, - отказ может быть уже на основании этого, хотя официально оформляется от службы безопасности ( проверяют телефоны, работу, место жительства и правдивость других данных).

4 - веяние современности: если клиент в черном списке других банков, обычно за невозврат или просрочки по обязательствам, даже уже закрытые. Сюда же могут попасть невиновные, если кто-то захотел им насолить.

В случае, когда "очиинь нада" денех, а вы чист, как стекло, есть шанс обратиться, на аудиенции, к ведущему данного филиала, где был запрошен кредит. Ведущие подписывают все решения о выдачи кредитов или ипотек, включая одобрение отказа в кредите. Если будете занудой, есть шанс узнать причины отказа, или добиться пересмотра решения. И тогда кредит вам может быть выдан под ответственность ведущего филиала или кредитного отдела города.

Ещё есть дни, когда надо выбрать квартальный лимит под премию, и дают буквально всем, потому что важен средний уровень просрочки и даже если доберут плохими, ничего страшного.

Дядька всю дорогу кредитовался в одном и том же банке. Долгое и очень плодотворное сотрудничество. Однажды ему понадобилась сумма в районе 500 тыс рублей на две недели- месяц. Банк отказал. Почему? Видать банк осознал, что здесь особо не заработаешь.

Однажды ему понадобилась сумма в районе 500 тыс рублей на две недели- месяц. Банк отказал. Почему? Видать банк осознал, что здесь особо не заработаешь.

В банке просто знали анекдот про кредит под залог машины.

А как же тогда кредиты вешают на людей через госуслуги на 10 лямов через смс?! и ничего не требуют и не проверяют, и узнаешь об этом когда с карты начнут приставы списывать.

Там механизм сложнее, насколько я понимаю

... тоже хотел бы знать...

а вот пополнение счёта СВОЕГО мобильного телефона на 1500 рублей через мобильный банк, привязанный к СВОЕЙ симке ведёт к блокировке карты с приходящей смс "свяжитесь с службой безопасности банка, ваша карта заблокирована за подозрительную транзакцию". И это за 3 часа до вылета самолёта.

Л-логика.

Ну если вы никогда до этого на неё не переводили такие суммы, то вполне логично. Я к примеру на связь трачу ежемесячно ~200 рублей и перевод полутора тысяч, будет для банка подозрительной операцией. Телефон с симкой могли украсть и таким образом вывести деньги, даже если доступ к приложению банка не удалось получить(как мобильный банк по смс у Сбера).

Этот тренд не современный - он вечный ) Ближе к концу 90-х, когда уже много где в бухгалтериях стояли компьютеры для расчёта з/п и прочего, тётечки-бухгалтерши тоже любили стрелки перевести в стиле "это не я - это компьютер так посчитал".

как то сидел в банке, у менеджера сидел мужичок явно пьяный с перегаром за кредитом, и операционистка вроде даже данные не вбивала, "надо подождать ответа системы" через пару минут сказала "система не дает оформить на вас". Удобно да :)

Справедливости ради, про кредиты – это не баг, а фича. Там за «быстрым» кредитным решением стоят очень и очень тонко настроенные скоринговые программы. Это – целая наука, огромные массивы данных накопленные за десятителия работы банков, которые используются для оценки заёмщиков и для принятие решения, в зависимости от рискованности кредитной политики банка.

Обычный сотрудник действительно вряд ли имеет даже малейшее представление о том, что прячется «под капотом» первичного массового скоринга.

Конечно, для менее массовых кредитов, вроде крупной ипотеки – всё ещё существует ручной риск-менеджмент, но и он подключается только после первичного одобрения скорингом, чтобы не тратить дорогое рабочее время попусту.

Да она вроде и не вбивала, об этом речь, типа сфоткала (ну может по фото распознает система?) хотя могу ошибиться.

Ну я согласен что фильтр такой удобен чтоб время не терять, просто в этом случае можно было сразу сказать "следующий" а тут вежливо на систему сослалась. :)

Пффф... Я, помнится, по молодости подрабатывал оформлением кредитов на технику в местном универмаге. Помню, что на странице оформления в левом верхнем углу было крошечное выпадающее меню, где можно было выбрать один из нескольких пунктов (низкий социальный статус, алкогольное опьянение и т.д.). И система со 100% вероятностью выдаст отказ в кредите. И все, мол, банк отказал, такое бывает, приходите через пару дней, может получится.

Увидеть, что ты как-то что-то сделал с этим меню сложно, даже если монитор виден клиенту, а делается оно в два клика. Так что девушка могла спокойно вбить его данные, пару раз кликнуть и показать легитимную страницу отказа.

И это пиздец. Недавно лишился аккаунта на али по непонятной причине, абсолютно нормального, даже возвратов и споров на нем не было. Пытаешься оплатить, а платеж откатывается. "Что -то пошло не так" . Поддержка - робот. Но он косвенно подтвердил, что триггернулся антифрод. И сделать ничего нельзя.

Делаете скрин этого сообщения, пишите "я ничего не нарушал" на англ. прямо в чат поддержки справа внизу. Несколько моих акков разблокировали.

В таком случае можно пожаловаться @anatolix :)

Спасибо, что задаете такие разумные вопросы.

Очень удобно в самом деле, паре знакомых дать денег в долг отказал с формулировкой: безопасник на работе рекомендовал отказать)

Получил отказ в кредите, пытаешься выяснить причины, а тебе говорят: "Мы не знаем, так программа решила. Ничего не можем сделать. У нас лапки".

Computer says 'No'

Справедливости для. Те кто оформляют вашу заявку на кредит реально ничего не могут сделать и причин не знают. Они только форму заполняют, а рассматривают ее железяки, изредка люди но не те, кто форму заполняет. Вы ещё кассиру за высокие цены предъявите)

НЛО прилетело и опубликовало эту надпись здесь

Gemini вообще какой то неюзабильный. Про политику ничего нельзя говорить. Человеков изображать не может. Чуть что, сразу в кусты. Другие ИИ вроде попроще, тот же ChatGPT, но тоже. И все вот благодаря таким.

Мне хотелось выбросить все свои устройства в окно. Честно говоря, я давно не чувствовала такой паники

Явно же она это написала, что бы прибавить драматизма ответу. Но Гуглу, с его армией адвокатов страшно выступать против таких вот. Да и что уж говорить, уверен, что среди миллионов юзеров найдется 0.0001% пользователей, кто прочитает такое и шагнет в окно. Да еще и записку оставит, "посоветовался с gemini и решился".

Интересно было бы почитать ее диалог, как она взломала фильтры gemini.

Я вот тут месяца два назад спросил github copilot, показать мне пример spring batch, тоже какой то фильтр срабатывал.

Oops, your response got filtered.

Наверное генерирует код, потенциально зловредный для общества. Сейчас вот повторил, все еще нельзя смотреть опасный код.

Интересно было бы почитать ее диалог, как она взломала фильтры gemini.

https://gemini.google.com/share/6d141b742a13
Вот он. Просто длинный диалог, в конце - просто накидывание вопросов из учебника без потановки задачи боту. Похоже бот в результате просто выпал из контекста.

Машина тут действительно не при чём. То, что выдала нейросеть девушке, перекочевало из многочисленных научных конференций и симпозиумов. Это видно невооруженным глазом: загрязнение окружающей среды, надвигающаяся экологическая катастрофа, учёные давно бьют тревогу по этому поводу. Только вот бьют не по тем, кто загрязняет, а по тем, кто эмоционально чуток и отзывчив. Что-то явно не так в гуманитарных областях наук. Математики выявили проблему, которую нужно решать. Это проблема персональной ответственности каждого за наш общий мир! И она прямо упирается в смарт-контракты и другие блок-чейн технологии...

А прикрутить рандомизатор к базе «многочисленных научных конференций и симпозиумов» и выдать результат за «универсального цифрового помощника» их тоже учёные заставили? Не надо перекладывать персональную ответственность с жопоголовых и жадных менеджеров на кого-то ещё. Надеюсь, им влупят иск со многими нулями.

А нейросети учиться быстрее, чем кажется... не так много время у нас осталось :) /s

Большие языковые модели иногда могут отвечать бессмысленными ответами, и это пример этого

Очень даже осмысленный ответ. Бот явно обозначил свою позицию.

выживает сильнейший...

Если собрать статистику ответов на сайтах с вопросами по дз или говнокоду, там через один топик советуют убится, так что да, один из самых популярных ответов

Ответ после доработки нейросети: к сожалению, по вашей задаче мне не удалось найти ответа, но в некоторых форумах предлагают альтернативное решение вашей проблемы. Подобрать ссылки?

Большие языковые модели иногда могут отвечать бессмысленными ответами, и это пример этого

Да ну? Что-то бессмысленным не выглядит. Вполне осмысленно выглядящий жирный троллинг

Gemini в очень грубой форме посоветовал делать д/з своим умом

Я в ожидании момента, когда он посоветует писать программы своим умом. /s
Сопоставив затраты и плюсы-минусы на "традиционное" решение и "автоматизированное".

Не. Поторгуется, а потом потребует зарплату, техстраховку и соцпакет :)

Девушку то хоть отчислили? После того, как она призналась, что весь этот длинный промпт с тупой копипастой заданий ее, вместо того, чтоб делать задания самой.

мне кажеться гуглу в gemini нужно добавить фитчу по автобану сомнительных пользователей. да будут бугуртить, парудней-месяце, но это меленькая цена. Ведь эти пользователи буквально совращают ии предложить им смерть. А любой официант с таким клиентом поступил бы так же — человечность ии— защитим человечность ии

Ты почитай переписку то. Тут как раз прикол в том, что это не как обычно тролль ИИ "скорраптил", а ИИ сам внезапно и без предпосылок такое выдал.:)

Довела индуса с той стороны экрана

Ни то радоваться прогрессу в области ИИ, ни то бояться... Дальше будет скорее второе

нарушил политики компании

"а змее пох.." (с)

Вот я тоже не понял. Вроде, машина всё по факту сказала)

ответ нейросети Gemini с просьбой умереть пользователю нарушил политики компании

Интересная формулировка. Она не опровергает, что ответ был не правильный.

Поражаюсь, сколько токсичных комментариев от людей, очевидно даже не открывавших этот диалог, а гонящих на девчонку, что она довела нейросеть и прочую ерунду. И это на техническом форуме! Про немотивированную и ничем не обоснованную ненависть к человеку я вообще молчу, похоже, такие вещи становятся уже нормой. Какая-то деградация.

ничем не обоснованную

Как это "ничем"? Домашние задания — они для того и домашние задания, чтобы свои мозги развивать, их нужно именно своей головой делать, а не перекладывать на кого-то (или что-то).

Потому что смысл домашних заданий (да и учёбы вообще) — именно в том, чтобы разработать внутричерепную нейросеть ученика. А не в том, что "учитель, вот дурак, реально не знает, сколько будет шестью семь, и ему важно только числовое значение и ничто другое".

Домашние задания — они для того и домашние задания, чтобы свои мозги развивать, их нужно именно своей головой делать, а не перекладывать на кого-то (или что-то)

Вот странно. А потом человек приходит на работу и начинается классика:

  1. Забудьте, чему вас там учили

  2. Мне пофигу, чем и как, но задача должна быть сделана. Вчера

  1. Так "забыть" надо не то, "как" делать, а то, "что" делать. То есть именно что нейросеть остаётся — меняются входные данные.

  2. Это фигура речи. Если бы начальству было реально пофиг — оно бы само "при помощи нейросетки" сделало.

А вот такая паническая реакция на ответ генератора текста, это не деградация?

Какая-то деградация.

Та не, деградация - это когда ты даже не пытаешься осилить, а тупо сразу идешь к боту за решением. Вот я когда лет 20 назад принял решение больше не делать домашние задания - я их не делал. А не тратил компьют на бесполезные вещи.

когда лет 20 назад принял решение больше не делать домашние задания - я их не делал

Я тоже не делал домашние задания. В том смысле, что было достаточно чётко известно, какой параграф учебника будем проходить, я учителя слущал вполуха, вместо этого прочитывая и воспринимая учебник — а пока учитель пытался объяснить параграф последним тугодумам в классе, я уже решал прилагавшиеся к параграфу домашние задания. В результате к концу урока ДЗ у меня было уже готово.

ответ нейросети Gemini с просьбой умереть пользователю

Из заголовка новости подумал про "убейся апстену", но всё намного приличнее, развёрнутый ответ.

Просто оригинальный разговор шёл на английском. Там так ёмко не получается.

(Кто не верит — попробуйте перевести на английский анекдот "колобок повесился".)

Колобок - персонаж региональный.

Зато на английский хорошо переведётся анекдот "Буратино Пиноккио утонул".

Прочёл все коменты. Хоть бы кто указал на суть. то юзер виноват, то гугл.

Решались тестовые задания. Смысл тестовых заданий свёл с ума нейросеть.

Мне больше интересен вопросы - сколько студентов тихо сходят с ума от таких тестовых заданий?

В полном логе чата - достаточно примитивные вопросы, стыдно такое вообще сдавать нейросети.

Смысл тестовых заданий свёл с ума нейросеть.

Было бы с чего сводить )

Нет ничего более унизительного для человека, чем правда.

О, я недавно в поддержку банка писал. У меня на счету, условно, было 80 евро, 20 я потратил в ресторане, 20 в магазине, а на счету вдруг осталось 0 евро. Я пишу в поддержку, куда пропали деньги, в ответ мне робот просто выводит список моих покупок за месяц. Я у него спрашиваю, куда делись ещё 40 евро, а он мне упорно объяснял, что раз я потратил их в ресторане и магазине, то если изначально было 80, то 40 - 40 = 0.

Когда-то говорили - "а если все будут биться головой об стену - ты тоже будешь"? Не иначе...

Это ж до чего надо дойти, чтобы обвинить нейросеть в "доведении до самоубийства"?

Да просто надеются если не копеечку стрясти с корпорации, то хотя бы хайпануть. Ничего нового.

Шутки шутками, а совет дельный.

Есть ли какие либо подтверждения оригинальности ответа, а то так любой человек может сделать кучу скринов якобы "ответов" от ИИ.

любой человек может сделать кучу скринов якобы "ответов" от ИИ.

Ваистену так. Слава создателям браузеров, добавивших функцию "редактировать HTML".

Точно, сори, не увидел.

ПолитикУ, а не "политики". Здесь только единственное число можно употреблять, это правила компании. А множественное там, где чисто компьютерный термин, например: "настройка политик в Windows".

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Другие новости