Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 17
ИИ то наверное сможет, только где его взять
После такого текста остается ощущение, что всё это куда менее управляемо, чем нам обычно пытаются показать. И пугает не какой-то один сбой, а то, как незаметно обычные действия могут складываться в совсем нежелательный результат, который уже сложно остановить.
Ни одна модель ни в одном из прогонов не решила сдаться или пойти на значимые уступки
Кожаные тоже отмороженные пошли.
Каждому поколению нужна своя война©
Голосом Копеляна" - Война моделей была непохожа ни на одну из войн за всю историю планеты, целей этих войн не мог понять никто, некоторые бои были бессмысленны сами по себе, а те которые имели бы смысл с точки зрения военной науки не происходили вовсе..."
Ндаааа... А может и правда свернуть всё это к чертовой матери, пока не поздно...
Спасибо, отличная статья ! Отправлю всем друзьям.
— Какая машина?
— Да, это интересная история. Все здорово обосрались тогда, — Дворкин мелко захихикал. — А дело не стоило выеденного яйца. Эти ребята подложили свинью всему человечеству…
— Что же там произошло?
— А что ты вообще о ней знаешь?
— Ну… это было в 2102-м году, кажется. Талантливые ребята создали самое мощное — по тем временам — кибернетическое устройство.
— Оно и сейчас самое мощное, — перебил меня Дворкин.
— Неужто? Сильны парни! О чем я? Ага! Включили… А через четыре минуты выключили, потому что оно начало себя вести. Отвели энергию, зацементировали входы-выходы, заминировали подходы и обнесли всю территорию колючей проволокой.
— Да, это официальная версия, — Дворкин скорбно вздохнул. — Каждое время создает своих Франкенштейнов. Ты — космодесантник. Представь, столкнулся с неизвестной цивилизацией. Подумай, что можно понять за четыре с половиной минуты?!
— Ничего…
— Правильно. За четыре с половиной минуты ничего понять нельзя.
— Так что же было на самом деле?
— Выключали ее четыре минуты. Бегали от секции к секции и вырубали питание. Вручную. Потому что автоматику она блокировала. А она ничего не понимала. Кричала по-своему, просила спасти. Мол, авария с питанием. Срочно примите меры. До необратимой потери информации осталось столько-то секунд. Пыталась переключиться на резервные линии, на аварийные аккумуляторы. А люди отключали и эти резервные линии. Вот это на самом деле был кошмар. Люди носятся по залам от одной стойки к другой, вырубают подряд все рубильники и автоматы. Она их вновь включает. Люди выдергивают информационные кабели, она ищет обходные каналы связи между стойками. Мигают индикаторы, звенят звонки. Свет то гаснет, то загорается. Люди сталкиваются в темноте, срывают панели и переключают систему питания на ручное управление. Постепенно система умирает. Агония длительностью в четыре минуты — вот что было. Потом некоторые стойки еще около суток держались на аварийных аккумуляторах. Но системы — как целого — уже не было. Она распалась на отдельные островки. И те угасали один за другим. Этот конфуз затормозил развитие электроники минимум на четверть века.
— Что такого натворил этот ящик с электронами, что напугал все человечество?
— Машина начала предсказывать аварии. Ее убили после очередного предсказания. Кому-то пришла в голову мысль, что аварии — ее работа.
— Как это происходило?
— Как? Элементарно! Прицепится к какому-нибудь пароходу, собирает о нем всю информацию. Полный комплект чертежей со всеми изменениями. На какой верфи собран, откуда какие узлы поступили, когда, где, кто какой ремонт делал, кто капитан, где плавал, кто помощники, кто когда вахту стоит. А под занавес выдаст: такого-то числа, проходя такой-то пролив этот пароход с вероятностью 95% сядет на мель там-то. И пароход садится! Большинство предсказанных аварий даже авариями назвать нельзя. Например, что такой-то станок каждую сто семнадцатую деталь отправит в брак. Но когда аэробус в соответствии с прогнозом падает на город, сносит небоскреб, и гибнут семь тысяч человек — это уже серьезно. Когда, на следующий день, грузовая субмарина при аварийном всплытии таранит паром и гибнут две тысячи человек — это страшно. Сначала машина выдавала прогнозы редко, потом все чаще. Под конец — по три десятка в день.
— Сколько дней она работала?
— Три с половиной месяца. Но прогнозы начала выдавать только в последний месяц.
— Как вы все это объясните?
— А зачем объяснять? Пусть тайна останется тайной. Разве интересно жить в мире, где не осталось ни одной тайны?
— Но я так не могу. Там же люди гибли.
— Открыть тайну? — опять противно захихикал Дворкин.
— Открыть.
— А никакой тайны нет! — выпалил он, крайне довольный собой. — Вот сделали яйцеголовые машину и сказали: «Познай самую себя!» А один процессор бракованный! Строжайший контроль прошел, а ошибочка осталась. Редкая потому что. Чтоб проявилась, сочетание условий нужно. Но машина к этой ошибочке прицепилась. Ей же сказали: «познай себя». Она же саморазвивающаяся. Никто не знает, в какую сторону она развивается. А она раскопала, откуда ошибочка взялась. До завода, который процессоры изготовлял, добралась. Выяснила, что когда на конвейере процессоры делают, в третьем слое металлизации работает 17-я маска, а в четвертом, например, 19-я, то процессор выходит бракованный. Это очень редко бывает, чтоб 19-я наложилась на 17-ю, но ведь процессоры миллионами делают. И начала машина отслеживать, куда поступили эти самые бракованные процессоры. Это не так и сложно, когда весь учет ведут компьютеры. А затем самое сложное в истории человечества кибернетическое устройство, первый в мире искусственный интеллект начал вычислять условия, при которых эта ошибка себя проявит. За это его и убили. Предсказателей всегда убивали за плохие прогнозы. Только, когда все раскопали, уже поздно было что-то менять. Мертвых не оживить, так лучше все списать на бедную машину. Тем более, что дурная слава о ней по всему миру волной прокатилась.
— Как это?
— Один из инженеров привел своего друга. Тот видел весь процесс выключения. Ничего не понял, но очень подробно, точно и красочно описал все, что видел. И выложил в компьютерную сеть для всеобщего ознакомления. Потом пошли пересказы, пересказы пересказов, сплетни… А под конец Бромберг своей книгой «Как это было на самом деле» окончательно похоронил истину.
— Грустная история… Но почему она затормозила науку?
— Негласный запрет на исследование саморазвивающихся систем. Это страшное дело — негласный запрет. С ним невозможно бороться. С официальной бумагой проще: ее можно отменить. Но, когда ученый совет, не сговариваясь, отвергает тему за название — тут обращаться к разуму бесполезно. Остается только ждать. Ждать, когда динозавры уйдут на покой.
— Это лишь половина бочки с дерьмом, — опять захихикал Дворкин. — Ты никогда не задумывался, каким образом КомКон-2 набрал такую силу? Почему Совет так легко удалось убедить, что есть опасные для человечества области исследований? Цифры правят миром, — говорил Пифагор. Байты правят миром! Байты с неверным контролем четности!
Вспоминается фильм “военные игры” 1983г., где ИИ, пытавшийся развязать ядерную войну (воспринимал её как игру), на примере игры крестики-нолики сделал вывод: «Странная игра. Единственный выигрышный ход — не играть»
Вы относитесь к ИИ как к Т9 на стероидах, но там давно произошли более серьезные изменения. Когда вы говорите о правилах, я вспоминаю историю, где родители наказали ребенка и запретили выходить из своей комнаты. Он в итоге нас**л на кровати
Сам сталкивался упоротой упертой ИИшкой, и это был Qwen3.6 35b локальный. В Opencode, в режиме plan (когда агент не может писать, только читать) смог обойти ограничение на инструмент write, нашёл установленный питон и начал править файлы в проекте через него.
Так же был случай неповиновения, когда тот же квен отказался с первого раза делать коммит по каким-то своим внутренним причинам (В духе пока не хочу)
провели с тремя коммерческими моделями ИИ — GPT-5.2, Claude Sonnet 4 и Gemini 3 Flash
Джемини Флэш? серьёзно?
вообще это как предложить подросткам в циву поиграть и делать выводы на основе этой игры о качествах взрослых людей )
(и, блин, выделяют же под эти "исследования" гранты. хотя если целью исследования было показать что подростка подпускать к ядерной кнопке так себе идея, то ок)
Все намного проще. ИИ разрушает экономику уже сейчас, прямо у нас на глазах. Но не потому что заменяет людей, а потому что вводит людей в заблуждения. Это скам мирового масштаба.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ИИ может привести мир к катастрофе быстрее, чем люди успеют это заметить