Comments 11
Моделям нужно много компьюта. То есть повзламывать что-нибудь они, конечно, могут, но реплицироваться они могут только на датацентры. А датацентр, если очень надо, всегда можно отключить. Причём Иран показал, что это можно сделать полностью удалённо и без доступа к внутренним информационным системам. Если же модель будет пытаться как-то децентрализованно исполняться на ботнете потребительских устройств, то это будет адски медленно и её заборет любая "хорошая" модель крутящаяся в датацентре. В общем, апокалипсис отменяется.
Также чтобы модель уровня Kimi запустить нужно либо арендовать мощности, оставив следы (реквизиты оплаты, IP подключений и т. д.), либо приобрести видеокарт на весьма солидную сумму (и на эти деньги в принципе можно и хакерам из плоти и крови заплатить, чтобы они что-нибудь сломали).
В общем, непонятна причина тряски. До появления ИИ был, например, прикол когда кто-то неправильно настроил автомасштабирование скрапера в гугл облаке и сделал DDoS машину. Теперь можно задать ИИ неправильный промт и он в ходе решения задач сломает пару сервисов (придётся извиняться перед сервисами, есть риски юридических последствий, также о вас скорее всего напишут новостную статью).
При этом невозможность пользоваться моделями широкой публики для защиты (а это неизбежное следствие ограничений по кибербезопасности) меня пугает гораздо больше, чем череда взломов. Надеюсь, китайцы продолжат нас радовать открытыми весами не смотря ни на что.
Я посмотрел, сколько весит хотя бы квантованная версия, и ужаснулся
В общем, непонятна причина тряски.
Вполне понятная, маркетинговая тряска. Все хайп, что не некролог.
Вот когда нейронки научатся обходить пожарный топор, висящий на стене в серверной, возникнет небольшой повод для беспокойства, пока же это все "смотрите, мы тоже как Клод!"
P.S.: хм, знакомый у вас ник, мимо Obezyan.
Или не маркетинг, а политика. Лишний раз подчеркнуть "безответственность " китайских производителей.
Инцидент с побегом почти наверняка станет аргументом для тех, кто требует распространить обязательные проверки и на открытые релизы.
Китайцы, ясное дело, американских регуляторов пошлют в сад. И тогда можно будет запретить ставить китайские модели на сервера в американских юрисдикциях. Или вообще ввести вторичные санкции на фирмы использующие модели.
Что поддержит американского производителя. Получается опять маркетинг. Но другими средствами.
Открытая модель сбежала из песочницы
>looks inside
K3 не эксплуатировала ни одной настоящей уязвимости, а открытый исходящий трафик в "изолированной" среде — ошибка конфигурации, которую нашел бы и стажер-пентестер. <...> Вывод об "отсутствии гардрейлов" сделан по одному эпизоду и принадлежит коммерческой фирме, которой громкие раскрытия помогают продавать услуги
На Земле много потенциально опасных вещей. Но чтобы теория стала практикой, нужны ресурсы, неподвластные простым смертным. Чтобы условный мамкин кулхацкер взломал Пентагон с помощью LLM, его папа должен быть Маском, а дедушка Трампом.
Кто шарит, что это за истерия про побеги нейросетей? Тут даже простенькую ставишь и комп ложится, а там же дикие ресурсы нужны. Это сразу заметят. Попахивает новой шляпой чтобы разогнать какой-нибудь карантин из-за ИИ-пандемии и заставить надевать на смартфон масочку или прививать его специальным загрузчиком) шучу.. а хотя..
Никем не проверяемых ресурсов очень много. Сейчас принято делать микросервисы. А с Claude-code один человек может тянуть целый сервис, а то и несколько. Причём часто заводят отдельные AWS аккаунты на DEV, STG и PRD. Получается какой-нибудь джуниор или просто раздолбай может обладать несколькими облачными аккаунтами, за которые платит компания. Где гарантия, что он точно отслеживает все события и траты на этих аккаунтах? Скажем - лишние 500$ трат - это сбежавший чятик или увеличение количества пользователей сервиса. Ответить бывает сложно - FinOps инженеры не дадут соврать.
Не совсем карантин, не совсем маска. Скорее намордник. Крупные ИИ игроки зачищают еще не родившихся конкурентов. Всей истерией про побеги, сознание, собственные цели и прочие опасности они стараются заранее подбить законодательную базу, которая будет предполагать государственную сертификацию ИИ и аудит безопасности. Это ,.это бюрократия и деньги. У мелких компаний и стартапов таких денег не найдется и они выдохнутся на взлете, тогда как для крупных игроков это мелочь. Зачистка поляны. Ну и еще PR своих детищ. Формально это звучит: "Ай-яй мы боиииимся! Мы сделали то, что не можем контролировать!". Буквально: "У нас получилось настолько круто, что мы сами в шоке!". Это сигнал для инвесторов и рынка. Инвесторы несут свои гульдены.
В компании Frontier Security явно кто-то прочитал роман "Полный root" и скомуниздил оттуда идею. Ждём когда беглянка снимет фильм, запасаемся поп корном и стройным шагом идём в кинотеатры на премьеру.
ЗЫ: кто не читал- настоятельно рекомендую.
Локально запустить эту модель практически не реально. И нанять группу хакеров будет дешевле чем минимальное оборудование для запуска данной модели
Открытая модель сбежала из песочницы на тестах. Поставить ее на паузу уже невозможно