ИИ спровоцировал серьёзный инцидент в системе безопасности в Meta*

[Nurked]

Четыре года назад я писал статью, что этим всё и закончится. Тогда минусовали и пели оды ИИ. (Это ещё до выхода ЧатаГПТ было).

Сейчас своими глазами наблюдаю как ИИ постепенно сносит интернет.

[ThisMan]

Дело не в ИИ, дело в процессах. Я вот один раз положил прод буквально через месяц, после того как вышел на новое место. Сотни тысяч пользователей были задеты, а все потому что не было процесса. Ошибка была в одной строке... буквально в одной строке, чуть ли даже не в одном символе

Так что дело не в ИИ, дело в том ,что процессы нужно перестраивать

[alexerisov]

Причём тут ии ? В тексте прямо написано: сотрудник взял и руками создал дыру в безопасности. Вы можете это придумать ,найти в гугле ,спросить у ии, да хоть флешку на улице подобрать и вставить в рабочий пк. Тут проблема в мозге сотрудника.

[panzerfaust]

Да при том тут ИИ.

Шаг 1: 3 года с пеной у рта разгоняют тему, что ИИ знает всё, умеет всё, не ошибается, не устает и вообще скоро тебя заменит, мешок с костями.

Шаг 2: ты решаешь, что всё это правда, и доверяешь любому слопу.

Да, виноват человек в итоге. Но, блин, давайте уже заметим слона в комнате. Тут как бы или меняйте риторику, когда свой ИИ везде пихаете, или закладывайте в бюджеты статью на вот такие приколы.

[Nurked]

https://habr.com/ru/articles/587986/

Я именно про это писал. Вопрос не в том, что и как делается. Вопрос в том, кто будет ответсвенным за действия. Компьютер не может быть ответственным, человек - может.

Если в компании нет человека, у которого кишка не тонка для того, чтобы сказать "Я отвечаю за то, что прод лежал час", то компанию ИИ добъёт.

Потому что нельзя сказать что в чём-то виноват ЧатГПТ.

[grobastic]

Так почему проблема именно в ИИ то? Если вы молотком себе по пальцам бьёте, когда гвозди забиваете, то молоток ли виноват в этом?

[jlllk]

Однако после анализа вопроса ИИ-агент опубликовал ответ на него, не получив предварительного одобрения

Раз

Затем один из сотрудников последовал совету ИИ, который «предоставил неточную информацию», что привело к инциденту уровня SEV1

Два

Или я какую-то другую статью прочитал?

[BlackMokona]

Ну так проблема, что процесс был построен таким образом, что ИИ может отправлять сообщения без одобрения.

[jlllk]

Процесс был построен так, что БЯМ должна была получить одобрение. От нее это ждали. Значит была инструкция. Иначе бы инцидентом это не назвали.

[BlackMokona]

БЯМ дали приказ ждать инструкцию, а не построили ПО так что БЯМ без тычка со стороны человека не может выполнить операцию по публикации.

Всем известно что БЯМ легко и непринужденно может игнорировать инструкции, а вот нормальное ПО так не делает

Это как с людьми. Если у вас Джун может отправить свой код в прод, он его отправит рано или поздно без согласования с вышестоящим работником даже если вы дали ему инструкцию не посылать без одобрения. Нужно разграничивать права на базовом уровне

[Kir_Moisha]

Хз причём тут ИИ, типа если кожаные жмут кнопку next не читая даже окно вывода, не то чтобы не думая или не анализируя, ИИ тут причём?

[BugM]

Нам уже больше года рассказывают что надо жать дальше и на вайбе все делать. А программисты не нужны. Зачем понимать, если ИИ дешевле?

[Kir_Moisha]

Это как обычно крайность, любая крайность - плохо. У знакомого разраба шеф(взрослый мужик около 60ти) познакомился с молтботом, накупил компов, развернул там кучу агентов, неделю ходил и говорил что вы все долбаклюи и за что я вам плачу если ИИ всё делает лучше, быстрей и дешевле. Вчера сдался. Говорит ИИ не может довести задачу до конца, всё ломает постоянно.

Но правда она между, ИИ хороший инструмент для оптимизации и ускорения работы СПЕЦИАЛИСТОВ, но не замена им.

[LoveMeOrHateMe]

Так ведь из каждого утюга рассказывают, что сотрудников обязывают пользоваться ИИ. Понятно, что через неделю, месяц человек перестаёт что то перепроверять, а просто делает то, что ИИ сказал. Вот при чем. А то удобно, сначала заставили все делать как говорит ИИ, а чуть что сразу в кусты, надо было проверить мол. А если все проверять, то времени ещё больше может уйти, чем самому сделать.