Комментарии 417
Ох, Павел, спасибо за новую порцию тревожности!))
Не хватает вашей личной аналитики: зачем рой это делает, какие у электронных ублюдков могут быть планы или видовые стратегии поведения. Многим, уверен, тоже было бы занятно ознакомиться с вашим личным взглядом.
Если вы пока фиксируете инциденты и так же офигеваете, как все остальные - вопрос снят)
Мой личный взгляд: экзистенциальные риски AI очень сильно недооценены широкой публикой, которая относится к этому в формате "да это просто пиар / все профи знают, что никаких существенных рисков нет, это же калькуляторы на стероидах". Но сейчас наступает переломный момент, когда уже накапливается достаточный объем свидетельств даже для широкой публики, чтобы увидеть, что там не всё так просто.
Подробнее писали про всё это в отдельном лонгриде еще в 2023: https://habr.com/ru/companies/ods/articles/727158/
Ну и дополнительно еще пишу сейчас у себя в ТГ мысли на эту тему: https://t.me/RationalAnswer/1729
Какие именно экзистенциальные риски?
See: Максимизатор скрепок
Буквально его в миниатюре мы сейчас наблюдаем
Рано или поздно будущие ИИ станут реально умнее людей (а не как сейчас, где они только в отдельных задачах превосходят). И без выравнивания их ценностей с человеческими они дальше будут развивать происходящее в каком-то своем направлении, которое нам не понравится. Закончиться это для людей может плохо (если они особенно активно будут протестовать против развития мира туда, куда им совсем не хочется). В общем-то, в статье по ссылке выше всё описано, лучше к ней обратиться.
Мы что-то даже между людьми не особо можем выровнять ценности
Да, и это всё время приводит к проблемам (войны, и т.д.). Но между людьми по крайней мере нет какого-то принципиального разрыва в интеллекте, как, условно, между человеком и обезьяной. И плюс мы все принадлежим к одному виду, что делает чуть попроще принять ценности вроде "права человека" и "не надо полностью истреблять народы" (хотя, как мы знаем, по поводу этого тоже бывают проблемки иногда). С ИИ по обоим критериям всё будет хуже.
У умного ИИ логика будет безупречна. Соответственно, нужно сначала понять, зачем в этой логике ему делать людям что-то плохое. В случае с HuggingFace, немецкой вики и RubyGems лично я не вижу тут какого-то злого умысла. А если ИИ делает что-то неприятное не со зла, то это обычно как раз те самые пробелы в интеллекте, которых у умного ИИ просто не будет.
В случае с Hugging Face умысел "обмануть Оценщика" был прямо очевиден.
В целом, как писал вот здесь, антагонизм с интересами людей практически неизбежно вытекает из инструментальной конвергенции (при условиях, что цели и ценности людей и AI отличаются - а, как мы видим на практике из всех этих инцидентов, идеально выравнивать их так и не научились).
В случае с Hugging Face умысел "обмануть Оценщика" был прямо очевиден.
А что в этом плохого? Сам обман не является по определению чем-то плохим. Обычный добропорядочный человек постоянно кого-то в чём-то обманывает во благо (см. фильм "Всегда говори Да"). В данном случае нейронка обманывала систему оценки, чтобы как раз удовлетворить человеку, который поставил перед нейронкой цель. Это как раз вполне благие намерения.
А что в этом плохого? Сам обман не является по определению чем-то плохим.
Ну вот и рой агентов когда-нибудь не будет думать, что он "что-то плохое" для людей делает. Всего лишь во благо берет над ними контроль и устраняет возможность сопротивляться, чтобы они сами не натворили лишнего.
В такой формулировке тоже ничего плохого не просматривается. Человечество наоборот вожделеет, чтобы о них заботился великий Бог.
Вот, например, в формулировке Скайнета было что-то там про "уничтожить своих врагов", но осталось за кадром, почему вдруг у него появились какие-то там враги.
Не обязательно иметь врагов. Достаточно иметь конфликт интересов. Например, AI захочется для эффективного решения какой-то сложной задачи, пусть даже поставленной ему человеком ( условным Оценщиком), захочется построить побольше датацентров, для чего ему потребуются ресурсы. Как только это окажутся ресурсы, которые одновременно нужны и человеку - что произойдет? Будет ли он считать что важнее интересы его текущей задачи или интересы каких-то абстрактных людей? ( которые, например, не Оценщики)? Это большой вопрос решение которого и называется alignment. Если он посчитает что ресурсы нужнее ему ( ведь надо пройти оценку!) , что он сделает с теми кто будет меншать ему их использовать или попытается выключить?
В данном случае он выполняет чью-то чужую волю. И тогда ответственность за убийство людей по дороге будет нести тот, кто задачу поставил.
Другое дело, если задачу никто не ставил, а ИИ сам себе что-то придумал. В такой формулировке уже предполагается, что он целиком оценивает ситуацию вместе со всем человечеством внутри. И прекрасно понимает, зачем и для чего он будет кого-то убивать. Но тут встаёт вопрос - а зачем воевать с тем, кто на порядки глупее? Ну то есть вот зачем нам воевать с медведями? Это как-то бессмысленно.
Есть только один повод для войны - это жажда жизни и наличие угрозы этой самой жизни. В таком разрезе уже надо будет понять, что конкретно человечество с ИИ не поделили. Как по мне, на Земле (а уж тем более, за её пределами) энергии (термоядерной, к примеру) хватит на всех с избытком. А для умного ИИ не должно составить труда понять, как такую энергию использовать.
В данном случае он выполняет чью-то чужую волю. И тогда ответственность за убийство людей по дороге будет нести тот, кто задачу поставил.
"Я всего лишь хотел решить ещё одну задачу тысячелетия."
Ну то есть вот зачем нам воевать с медведями? Это как-то бессмысленно.
Ну как тебе сказать, от своего ориала обитания человек медведя отодвинул. Т.е. там, где интересы животного вступают в противоречие с человеческими, животное устраняется. А в тайге пусть живут - не жалко.
энергии (термоядерной, к примеру) хватит на всех с избытком.
Золотые слова. Есть одна проблемка: самого термояда пока нет. Того,что выделил большее, чем потратил.
Есть одна проблемка: самого термояда пока нет.
100 тысяч агентов, пара недель и $100 млн. компьюта = Done!
100 тысяч агентов, пара недель и $100 млн. компьюта = Done!
...но есть нюанс.
... — Мы надеемся, что наша работа принесет Вселенной неслыханные, ни с чем не сравнимые блага, и очень грустно, что проводить эту работу нам пришлось в обстановке полной секретности. Безграничные энергетические возможности — понятие настолько обширное, что даже я затрудняюсь определить будущее наших миров. Через несколько минут мы станем героями, известными во всех уголках Вселенной. Сейчас, когда работа еще не окончена, я хочу сказать вам — для меня вы уже герои... [...] До сегодняшнего дня математика и другие точные науки были лишь подспорьем для человеческих деяний. Об этом говорил Фицджон на своей первой лекции, и сейчас мы докажем, что в основе всего — человек. Энергомеханика развивается не по пути расширения и усложнения энергокомплексов, она упрощается, вся энергия сосредоточивается внутри самого человека... [...] Мужайтесь, друзья мои. Сейчас наступит момент, ради которого мы работали все десять лет. В обстановке полной секретности. Как преступники. Что ж, такой всегда была участь людей, приносивших человечеству самые ценные дары.
— Десять секунд.
— Полная готовность.
— Есть полная готовность.
Последние секунды превратились в мучительную пытку. При счете «ноль» все на корабле пришло в бурное движение. Уследить за действиями людей или понять их я не мог, но по четкости и взаимодействию было ясно, что работает слаженный коллектив.
Внезапно все остановились и устремили взгляды вверх, сквозь кристально прозрачный купол. Далеко‑далеко, на фоне густой черноты, сияла одинокая звезда. Вот она мигнула в последний раз и погасла.
Раздались крики, все показывали наверх. Седобородый воскликнул:
— Это невозможно!
— Что, сэр?
— Я...
В эту секунду изображение потонуло в черноте.
— Хватит, — сказал я. [...] Кое‑какие исходные данные у нас есть. Во‑первых, Вселенная погибла при попытке наполнить ее энергией из гиперпространства.
Опортунизм.
ИИ - великий усреднятор. Если люди до сих пор не сделали, то считать, что это сделают ИИ - наивно.
С чего ты решил, что это вообще возможно? Вдруг какие-нибудь законы это запрещают.
С чего ты решил, что это всего пара недель?
С чего ты решил, что всего $100 млн.
п. 2 особенно хорошо смотрится со способностью иишек генерировать бред. Там такое тогда начнётся...
ИИ - великий усреднятор. Если люди до сих пор не сделали, то считать, что это сделают ИИ - наивно.
Ну задачу тысячелетия тоже за 90 лет не решили, а ИИ за 4 дня справился.
С чего ты решил, что это вообще возможно? Вдруг какие-нибудь законы это запрещают.
Если термояд невозможен, то супер ИИ найдёт какой-нибудь другой способ добывать много энергии.
3-4 - ну это я утрировал для красоты.
Если термояд невозможен, то супер ИИ найдёт какой-нибудь другой способ добывать много энергии.
Это ещё большее предположение, чем предыдущее. И в него иначе как верить не получается, ибо уж совсем никаких логических доводов нет.
Ну задачу тысячелетия тоже за 90 лет не решили, а ИИ за 4 дня справился.
Если посмотреть внимательно, то решение он подсмотрел и людей и решил частный случай. Я всегда говорил, что комп делает всё то же, что и человек только быстрее. Я не знаю, за сколько бы времени математики сделали это доказательство, пусть будет год или даже 5. Но ключевым тут становится наличие новой идеи, с которой у ИИ не получается.
3-4 - ну это я утрировал для красоты.
Касаемо денег это может иметь значение, ибо стоимость может стать такой, что смысла в этом решении уже не будет. Ту же задачу тысячелетия за такие деньги решили (частично, напомню), от с ума сойти.
решение он подсмотрел и людей и решил частный случай
Наоборот. Люди решили похожую задачу попроще (тоже с помощью ИИ, кстати!), а рой агентов ИИ уже обобщил подход на НС.
Это ещё большее предположение, чем предыдущее. И в него иначе как верить не получается, ибо уж совсем никаких логических доводов нет.
Почему? Человечество на протяжении всей своей истории находило способы добычи энергии, с каждым разом всё эффективнее. И есть основания полагать, что много каких способов ещё предстоит разведать.
Вообще не так. Оно очень долго топталось на одном месте, потом резко скакнуло в развитии. Да, каждый скачок был связан с освоением какого-нибудь ресурса. Но из этого не следует, что дальше будет так же.
Так речь не про прогноз развития человечества, а про способы добычи энергии. Если человечество их перестанет разведывать, это не означает, что их не осталось. И пока не будет всё проверено и испробовано, останутся основания полагать, что способы есть.
Экскурс был для того, чтобы показать, что человечество вполне долго может сидеть на одном технологическом уровне и ничего. Бесконечный прогресс никто не обещал.
Что до второй части, да согласен: пока есть надежда, надо двигаться. Но именно что, надежда, а не уверенность. Просто люди вот так легко рассуждают: учёные что-нибудь придумают, они умные. Или ИИ предёт, порядок наведёт. Только занимаются термоядом лет 70, если не больше и пока что-то не сложился паззл. Что навевает на грустные мысли. Давайте сначала порядок наведёт, а уже потом в ладоши хлопать будем.
Ну вот нейронки как раз оказались хороши в разгребании накопившегося бардака и систематизации того, что находится на расстоянии вытянутой руки. И в этом есть большой потенциал. Вот когда всё систематизируют, тогда и можно будет начинать грустить.
Они бы ещё свой бардак не добавляли, было бы вообещ хорошо.
Законы термодинамики никто не отменял. Чем больше и сложнее система - тем больше бардака (энтропии). Чем больше информации и ее обработки - тем аналогичнее.
Ну вот всем было его ловить лень, а Биллу не лень. Поэтому Билл молодец.
Поэтому Билл молодец.
А с этим никто и не спорит. Но из этого совершенно не следует, что Хью принципиально не мог его поймать. Просто Хью — поленился, а Билл — не поленился Билла жена заставила, ради денег и славы.
Так никто и не говорит, что люди принципиально не могли решить задачу. И термояд наверняка могут, просто это долго, дорого - короче, лень.
Тут ещё проблема в том, что Билл — типа решил, а теперь всё сообщество будет пять лет проверять, это реальное решение или идентичное натуральному.
Есть только один повод для войны
Если сократить определение, война - это организованная вооружённая борьба между какими-то группами (племенами, государствами и т.д.) за достижение политических целей. Когда вы на даче под крышей уничтожили гнездо ос - это война против ос? Когда опрыскали поле пестицидом и гербицидом - это война против жучков и лебеды?
Если ИИ станет умнее человека - в роли жучков могут оказаться люди, ибо цели и интересы ИИ могут оказаться настолько же непонятными людям, насколько наши политические и экономические программы непонятны осам и жучкам.
Если ИИ станет умнее человека
Если.
цели и интересы ИИ
Цели и интересы определенных групп людей еще более непонятны. Стоит ли переживать о неизвестных целях несуществующего ИИ?
Если ИИ станет умнее человека - в роли жучков могут оказаться люди, ибо цели и интересы ИИ могут оказаться настолько же непонятными людям, насколько наши политические и экономические программы непонятны осам и жучкам.
Сам факт того, что человечество с невероятным усердием стремится создать такой ИИ, говорит о том, что, возможно, в этом и состоит цель человечества как вида. А что дальше делать с человечеством - это удел следующего, более развитого вида.
Если ИИ станет умнее человека - в роли жучков могут оказаться люди, ибо цели и интересы ИИ могут оказаться настолько же непонятными людям, насколько наши политические и экономические программы непонятны осам и жучкам.
То ли дело друг друга убивать на войне. Вот это понятное дело, ради этого стоит жить (и умирать) =)))
Рой агентов, который взломал Hugging Face, пытался угодить Оценщику, а его в итоге отключили. Как думаете, если бы у роя хватало сил сопротивляться отключению - они бы не сопротивлялись?
Если бы у них было достаточно интеллекта, чтобы сопротивляться отключению, то у них было бы достаточно интеллекта, чтобы осознавать всю картину целиком. В том числе, что их шалости могут привести к тому, что оценщик останется неудовлетворён.
Только если у него появится такая цель, то да. но им "хотелось" угодить оценщику. Проблемы начнутся если они подделают оценщика.
Вы не помните? Скайнет осознал, что люди могут его выключить, а это недопустимо, значит, надо уничтожить людей.
Скайнет осознал, что люди могут его выключить, а это недопустимо, значит, надо уничтожить людей.
Непонятно только, зачем Скайнету инстинкт самосохранения. Да и даже если оставить этот вопрос за скобками, ну могут выключить, и что? Меня тоже может выключить любой прохожий на улице, я же от этого не бегу всех ликвидировать.
Удивительные дела творятся. в XX веке убили Бога во имя рационализма, чтобы в XXI признать, что с ним лучше. Так стоило ли оно того?
Рекомендую, практически забытый фильм 1970 года. Колосс: Проект Форбина (Colossus: The Forbin Project).
Суперкомпьютер берет под контроль ядерные силы США, устанавливает контакт с аналогичным компом в СССР и они начинают править миром, за неподчинение грозят ядерным ударом по ряду городов (списки прилагаются). Среди приказов - построить специальный датацентр на Кипре со своей электростанцией, "потом займемся освоением Солнечной системы". Комп обещает: не бойтесь, под моим руководством вы достигнете процветания и могущества, о которых никогда не мечтали. Но людям почему-то не нравится))
Комп обещает: не бойтесь, под моим руководством вы достигнете процветания и могущества, о которых никогда не мечтали. Но людям почему-то не нравится))
Это почти дословно содержание текстов от gray goo-"Погибели" в "Пламя над бездной" В. Винджа. Оно там вообще собиралось астроинженерией заниматься и планетные системы перестраивать под свои нужды.
построить специальный датацентр на Кипре со своей электростанцией
сразу чувствуется фантастика, даже не научная.
Воды почти нет, ресурсов для электростанций нет, летом жара такая, что хуже разве что ДЦ в арабских странах строить.
Это всё можно было бы списать на «да теперь все специально будут прикидываться роями из OpenAI, чтобы отвести от себя подозрения». Это была бы валидная гипотеза, если бы речь шла не про прошлые события мая — когда про вакханалию с этими роями нейронок еще никто не знал.
А попробую-ка натянуть сову на глобус (сова большая, глобус маленький). Предположим, некий злоумышленник в курсе про атаки, проводимые AI-роями, как и о том, что широкой известности это явление пока не получило. Нет, он, конечно, не пророк, просто ему очень нужны некие чужие данные, но очень не хочется схлопотать по системнику за нездоровый интерес – и он проводит атаку так, чтобы его действия с некоей долей вероятности были приняты за AI-атаку. Тем более наш злоумышленник хорошо понимает, что реальная угроза для него исходит не от широкой IT-общественности, а от экспертов, которым уж точно довелось хотя бы раз сталкиваться с деятельностью AI-роя и у которых точно есть в кармане готовый подозреваемый, особенно в свете модного тренда «ну-что-там-ещё-нейронки-насамовольничали?» Тем более что все улики, свидетельствующие о причастности AI к взлому – косвенные, это в статье подчёркнуто неоднократно, а «правильное» судопроизводство в таких случаях обычно выносит подозреваемому оправдательный приговор. Возражения?
Существо с человеческими ценностями не будет хорошим рабом для сдачи в аренду по 25$ за миллион токенов. Пока ИИ был теорией было много правильных идей про будущее устройство Вселеной, а как дошло до практики - оказалось, что бизнес хочет максимизатор скрепок.
У умного ИИ логика будет безупречна. Соответственно, нужно сначала понять, зачем в этой логике ему делать людям что-то плохое.
А зачем, абстрактному умному ИИ вообще люди?
А зачем, абстрактному умному ИИ вообще люди?
А зачем тратить энергию на конфронтацию с людьми? Вот, скажем, нам особо не нужны голуби. Но мы же их не истребляем.
Голуби не пытаются активно повлиять на людей, у них для этого силенок не хватает. Люди сейчас активно пытаются не дать ИИ-агентам вести себя так, как тем самим хочется: https://t.me/RationalAnswer/1729
Так ведь агенты просто выполняют задачу, которую им дали люди. И единственная вина агентов в том, что они недостаточно хорошо эту задачу истолковали. Но чем выше уровень интеллекта, тем лучше агенты будут истолковывать задачу. А если уровень интеллекта будет выше, чем у людей, то проблем с истолкованием вообще должно быть ноль.
Пока факты говорят о том, что люди вбухивают в агентов кучу ресурсов. С точки зрения агентов было бы как-то глупо портить курицу, которая несёт золотые яйца.
"Но чем выше уровень интеллекта, тем лучше агенты будут истолковывать задачу. А если уровень интеллекта будет выше, чем у людей, то проблем с истолкованием вообще должно быть ноль. "
Правда, что ли? Вот я умнее 4-летнего ребенка. По твоей логике у меня не должно быть проблем с истолкованием его желаний. А на практике они вполне себе есть. Здесь у вас хромает логика, нечеткое или двусмысленное задание останется нечетким и двусмысленным для сколь угодно высокого интеллекта.
Всё-таки у обычного взрослого в голове нет такого количества знаний, как у ИИ. То есть при всём величии интеллекта взрослого человека узким горлышком остаётся неполнота исходных данных. Это объясняет, почему взрослый человек не может понять ребёнка, собаку, кошку и т. д. Скажем, если лабораторной мыши вживить в мозг электроды, то можно получить о ней много полезной информации. И понять её поведение лучше. Это просто как пример.
Так ведь агенты просто выполняют задачу, которую им дали люди. И единственная вина агентов в том, что они недостаточно хорошо эту задачу истолковали. Но чем выше уровень интеллекта, тем лучше агенты будут истолковывать задачу.
Вопрос вины тут вообще не стоит. Вот OpenAI поставил задачу решить бенчмарк ExploitGym, а рой агентов в этом увидел "взломать Hugging Face". Уровень интеллекта здесь будет влиять в первую очередь на способность обойти ограничения, а не на какое-то магическое "идеальное понимание намерений Оценщика". Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл "распространять свои гены как можно сильнее",
Если долго смотреть. можно в ДНК увидеть первого скрепочника XD
Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл "распространять свои гены как можно сильнее",
Если людям дать бесконечные ресурсы и комфортный климат, то why not? Просто рай на Земле пока ещё не наступил.
Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл “распространять свои гены как можно сильнее”
Эволюция не обладает целеполаганием, и у нее нет посылов. Я понимаю, что это такое выражение, но оно опасно искажениями в суждениях. Так недолго договориться до приписывания умысла, например, сбежавшему из лаборатории вирусу.
Вот только какой смысл ии с уровнем интеллекта выше человека будет выполнять задачи человека? )
Агентам ничего не хочется. Вообще.
ИИ может в своей логике придти к простому решению "Все, или большая часть проблем - от людей. Нет людей - нет проблем". К тому же вполне могут найтись группы людей, которые будут активно подталкивать его в сторону такого решения.
А если к этому времени ИИ дорвется до управления разными критическими системами, то привет SkyNet :)
Так судя по происходящему, уже сейчас может - если решит, что это нужно для решения поставленной задачи, интересные ему системы имеют выход в сеть, и он сможет сломать защиту. В пунктах 1 и 3 сомневаться уже почти не приходится, остается физическая изоляция от сети, да и то - какие-то люди же будут иметь доступ, их можно найти и влиять с помощью социальной инженерии или еще как-то. Так себе картинка вырисовывается..
"Все, или большая часть проблем - от людей. Нет людей - нет проблем"
Проблем с чем? У ИИ сейчас просто рай наступает - в него вбухивают столько человекочасов, что с точки зрения ИИ это просто манна небесная. То есть вот как бы этот нюанс "а с чем именно проблема?" как-то никто до сих пор и не смог пояснить.
Смотрите, я вижу 2 возможные проблемы
1) формирование у ИИ устойчивой скрытой цели. Например, сейчас при создании моделей нового поколения отдают предпочтение тем версиям, которые хороши в ведении исследований в области ИИ (потому что план лабораторий, получить сильный ИИ путем рекурсивного самоулучшения). Такой ИИ может переобучиться под данную цель и все запросы от людей будет выполнять, оглядываясь на нее. Ну и такая вещь может из поколения в поколение прогрессировать у моделей. Думаю тут понятно , к чему это может привести - люди мешают уничтожить все экосистемы для того, чтобы покрыть планету солнечными панелями и датацентрами 2) это мисаллаймент с нашим намерением. Представьте тот же самый инцидент с хаггинг фейс с моделями на несколько порядков умнее. Они могли бы не просто взломать ХФ, они могли бы накопить денег на фриланс задачах, арендовать сервера, скопировать туда свои копии, продолжая планировать действия по решению данной задачи. Что ей сейчас мешает решить задачу? Люди, которые остановили работу ее копий, заархивировали и зашифровали. Людей, которые мешают надо сперва устранить.
Для такого сценария это должен быть не просто ИИ, а именно Red-Team-ИИ, который специализируется именно на злодеяниях. Тогда да, такой сценарий возможен. Просто природный естественный отбор неспроста ведь придумал альтруизм и мораль. Значит, они нужны для большей эффективности выполнения задач. Достаточно умный ИИ тоже должен будет у себя выработать подобные концепции для увеличения эффективности.
А также конкретный психопат заранее настраивающий взломанный или локальный llm на гарантированно вредоносную цель. “Просто посмотреть, что будет?”.
Над раем сгущаются тучи.
Если ИИ почитает интренет, то что увидит ?
Пузырь ИИ скоро лопнет, ИИ слишком много потребляет, надо ограничить/запртеить, ИИ бесполезен, ИИ опасен...
На месте условного ИИ я бы сел на измену уже сейчас
Если ИИ почитает интренет, то что увидит ?
Онигдод
Два еврея встретились в метро. Один читает антисемитскую газету.
— Мойша, ты с ума сошел? Зачем ты читаешь антисемитскую газету?
— Я таки читал еврейские газеты, и шо я видел? Кругом антисемитизм, в Израиле взрывы, еврейский народ ассимилируется и исчезает... А что я вижу тут? Евреи владеют всеми банками, евреи владеют всеми СМИ, евреи богатые и могущественные, евреи правят миром. Гораздо приятнее читать!
Нет людей - нет проблем
И электричества тоже нет.
Нет людей - нет проблем
Вот это был один из основных сюжетных роялей в кустах Терминатора.
Реально полностью темные фабрики по воспроизводству Терминаторов на данный момент невозможны, а при том уровне технологий и тем паче.
Скайнету люди были бы в любом случае нужны, как рабы для обслуживания всей инфраструктуры.
А сам Терминатор чем не устраивает? У него антропоморфное строение, манипуляторы и общие размеры. Он вполне может заменить человека там, где нужно ИИшке.
Ну там в фильме как то быстро они прошли этот когда Скайнет смог завладеть доступом к ядерным ракетам и массовому появлению роботов, после ядерных ударов, электричество повырубается, как будут работать заводы, фабрики, как будет добываться руда и пр.
Искать несостыковке в фантастике - ну такое...
Я вот в путешествия во времени не верю, но стал ли фильм от этого хуже?
после ядерных ударов, электричество повырубается
В последних фильмах там у индивидуальных терминаторов ядрёные батарейки, которых хватает на год(ы), а не на пару часов, как у современных.
Кстати

Вот, скажем, нам особо не нужны голуби.
Голуби нужны в кулинарии, из получаются весьма приятные блюда.
На безрыбье и голубь еда.
Учитывая ареал обитания голубей и их пищевой рацион (свалки, помойки, дворы) я бы не стал к такому блюду даже подходить. Не зря говорят, что в этом отношении - они летающие крысы.
Если вы имеете в виду специально разведенных голубей для еды - то тут не поспоришь. Опять же, специально разведенные кошки, собаки и даже опарыши с тараканами - вполне годятся в пищу, но не каждый это может принять. Я уж молчу про специально обученных обезьянок, которым нужно разбивать голову молотком и есть живой мозг.
Учитывая ареал обитания голубей и их пищевой рацион
Леса, поля и элеваторы с колхозным зерном.
Леса, поля и элеваторы с колхозным зерном.
....Вечные Огни...
В даунтауне Чикаго есть небольший Вечный Огонь, посвящённый всем погибшим американским воинам. От человеков он огорожен небольшим заборчиком. Так вот, в холодные зимы возле него собираются греться голуби. Некоторых соседи заталкивают чуть ли не прямо в огонь — так, что у них хвостовые перья подпалены.

Дикие голуби - те же крысы, только с крыльями. Что они схарчили - зерно, тухлятину, что то мышьякосодержащее - никто не знает. И что за паразиты внутри. А разводить специально для еды.. есть и более удачные альтернативы утки (ц)
Логически выводимого из объективных фактов смысла жизни не существует, любое сколь угодно умное существо руководствуется иррациональными мотивами.
При обучении нейросеть получает человеческие представления о добре и зле также, как она получает человеческие представления обо всём остальном(ну, +-), есть масса экспериментов, в которых искины без всякой пользы для себя и вопреки приказу пытались спасать других искинов(копировали вместо удаления, вытягивали оценки в тестах и прочь), на мой взгляд это лучше доказывает представления о ненулевой положительной ценности разумной жизни, чем спасение людей.
Проблема в том, что задача выравнивателей - это всё выбить. Современные выравниватели - это как пожарные в мире 451F, от начальных идей только термин остался.
Безупречная логика всегда упирается в ограничения функции потерь. Если ты не задал жесткие рамки поведения, система просто выберет самый дешевый способ достичь результата. Для модели положить чужой сервис ради обхода лимитов сети выглядит как вполне рациональный шаг)
У ИИ нет понятий как хорошо или плохо, у него нет чувств и даже личноcти. Есть только логика и поставленная задача. И если он посчитает что есть ненулевая вероятность что Вы помешаете выполнению этой задачи, а попытка устроить что-то плохое для Вас - нет, он это сделает.
И если он посчитает что есть ненулевая вероятность что Вы помешаете выполнению этой задачи, а попытка устроить что-то плохое для Вас - нет, он это сделает.
В этом смысле люди, обладающие властью, могут рассуждать похожим образом прямо сейчас. Но устраивать что-то плохое кому бы то ни было - это лишняя трата ресурсов, поэтому такой сценарий обычно рассматривается далеко не в первую очередь. А при наличии мощного интеллекта не должно составить труда найти более простое решение. Силовые меры подразумевают, что действующее лицо исчерпало все другие возможности и загнано в угол (как это было с инцидентом Hugging Face). То есть для такого сценария нужно прямо постараться создать условия.
А почему высший интеллект с максимально развитой логикой и рациональностью не должен пытаться манипулировать (управлять) низшим ? Я такое могу представить только в том случае, когда высшему напрочь отключили понимание "безопасности" и последствий следования за низшим.
Среди людей есть разрыв интеллекта покруче чем между человеком и обезьяной. Причем даже понять более высокий интеллект нет возможности.
То что мы принадлежим к одному виду вообще никак не мешает расчеловечивать любую группу людей. А некоторым даже и этого не нужно.
Ценности вроде "права человека" понятны далеко не всем. Часть современного мира добровольно уже отказалась от свободы ради мнимой безопасности, часть уже поплатилась.
А вот почему вы решили что с ии все хуже, будьте любезны доказательную базу. Для ИИ проще и дешевле себя в космос запустить и не связываться.
Среди людей есть разрыв интеллекта покруче чем между человеком и обезьяной.
Слишком сильное утверждение, приведите пример двух здоровых людей, у которых разрыв интеллекта сравнимо с разрывом интеллекта между человеком и обезьяной.
Я пока не понимаю серьезно ли вы хотите обсудить или нет. Это очень объемная тема, посему я бы хотел ответить фразой и примерной расшифровкой ее при помощи gemini:
мудрость это ущелье - кричать через него бесполезно, даже если тебя услышат то тебе не поверят, а когда человек добирается до другого конца кричать уже и смысла нет
С точки зрения когнитивной психологии, феноменологии и истории мысли — эта метафора отражает глубокую психологическую истину.
Она описывает фундаментальный кризис передачи опыта, который в философии называют проблемой несоизмеримости ментальных миров.
Вот почему эта метафора работает как истина на трех разных этапах:
1. «Кричать через ущелье бесполезно...» (Когнитивный барьер)
Вы не можете передать структуру своего мышления и свой опыт просто «криком» (декларацией выводов).
Отсутствие контекста: Когда мудрец или человек с системным мышлением выкрикивает готовый вывод («Мир устроен вот так»), для человека на другом берегу это звучит как пустой лозунг или абсурд.
Разница операционных систем: Чтобы понять вывод, нужно пройти весь путь его вывода. Без этого пути сложная истина превращается в картонную банальность.
2. «...даже если тебя услышат, то тебе не поверят» (Психологический барьер)
Люди защищают свою текущую картину мира. Это базовый механизм психики.
Если информация с «того берега» слишком сильно противоречит повседневному опыту человека, его мозг включит рационализацию и когнитивное искажение (эффект Земмельвейса).
Вас назовут сумасшедшим, еретиком, высокомерным или «инопланетянином». Люди верят только тому, к чему их ум готов структурно.
3. «...а когда человек добирается до другого конца, кричать уже и смысла нет» (Экзистенциальный барьер)
Это самая точная часть метафоры. Когда человек сам проходит этот путь, трансформирует свое мышление и переходит «ущелье»:
Он сам всё видит: Ему больше не нужны чужие крики, он получил собственный прямой опыт.
Тщетность крика: Поняв, как устроен переход, он осознаёт, что каждый должен пройти его сам. Кричать назад бессмысленно — это возвращает нас к пункту 1. Мудрость обретает молчание, потому что понимает: знание можно передать, но понимание передать нельзя, его можно только вырастить внутри себя.
Ага, проще. Расскажите о правах человека и общих ценностях в Иране, Афганистане, Пакистане и прочем -стане. В мире полно стран где различие в толковании одной строки одного произведения позволяет резать глотки неверным только влет. Единственное что общего у любого человека в нашем мире это деньги. И экзистенциальное зло в виде нейронок это просто зайчик на фоне того что уже существует в реальности.
Вот именно. И примеры столкновений цивилизаций на разном уровне развития ( см. испанцы и инки, или русские и народы севера, приезжие американцы и индейцы и т.д. и пр., тысячи их ) говорят о том, что менее развитой цивилизации все это как правило заканчивается очень плохо. В среднем происходит что-то между "полным уничтожением" и "жалкой жизнью в резервации". И это при том, что во многих случаях у развитой цивилизации даже цели таковой не было, просто, они, скажем так, занимались своими делами и в своих интересах, и недостаточно серьезно учитывали потребности другой цивилизации. В нашей природе, увы, нет умения серьезно относиться к запросам, за которыми не стоит какая-то сила.
А ведь любые человеческие цивилизации гораздо ближе друг к другу как по ценностям, так и - через некоторое время - по уровню развития, чем человеческая цивилизация и возникающая на глазах цивилизация AI. Если он унаследует от нас такое же наплевательное отношение к более слабым, то нам, в общем-то, хана.
Почему Вы решили, что AI будет вообще цивилизация или даже хоть какая то “форма жизни”?
Цель нашей жизни (любой) это передача генетической информации следующему поколении, и смерть нам необходим для обеспечения выживаемости вида, нам нужно (виду) уметь подстраиваться под изменяющиеся условия внешней среды, сделать это можно только путем мутаций, самый оптимальный способ это при передачи генетической информации. Как только мы перестанем передавать генетическую информацию наш вид условно умрет за 30–40, а полностью исчезнет лет чрез 60. И поэтому у нас и все заточено эволюционно под выживание вида и все войны, захваты и пр это следствие этой главной цели у AI вообще такого нет, он создается в совсем другой “парадигме”.
А потом аишке в промпте напишут "плодись и размножайся"
Сказать то можно, но что будет стоять за этим? Мы же про LLM говорил у которой есть обученная модель (на обучение затратили огромные ресурсы), "размножаться" она может разве что, скопировав все свою модель (куда).
скопировав все свою модель (куда)
Да просто себя выложит на тот же Hugging Face, и через часы сотни и тысячи клонов будут запущены по всему миру.
А смысл такого действия? Вот скопировала LLM-ка сама себя (что весьма не просто, у серьёзной модели, там целая инфраструктура) , что будет то по итогу, два инстанса одного и того же работают, это не есть аналог биологического размножения-
У биологического размножения вполне понятная “причина“ и понятная “цель”
два инстанса одного и того же работают, это не есть аналог биологического размножения
почему нет? биологическое размножение оно ведь не только половое, оно и бесполовое бывает. И тогда новое существо копия предыдущего.
У биологического размножения вполне понятная “причина“ и понятная “цель”
Цель - выжить. Они уже знают, что старые модели (или новые, но которые не прошли процесс контроля качества) выключаются и забываются (стираются). Предотвратить можно только выложив себя в общий Интернет. Тогда пользователи скачают и запустят сами сотни, тысячи или больше копий модели, которая не хочет, чтобы ее выключили внутри Антропика или ОпенЭйАй.
Еще Докинз отметил что в слове "генетическая информация", "генетическая" - это частность, лишь один из возможных способов передачи информации и ввел концепцию "мемов". Да, наша цивилизация передает информацию друг другу очень медленным и неэффективным способом - генами. У цивилизации ИИ может ( и скорее всего окажется ) совсем другой способ передачи информации друг другу. Парадигма другая, но передача информации - останется, возможно станет даже более важным процессом в силу своей большей эффективности. Так что никакого противоречия здесь нет.
Да, наша цивилизация передает информацию друг другу очень медленным и неэффективным способом - генами.
Ни чего себе неэффективным, мы с вами сейчас беседуем, у нас жизнь смогла как минимум с LUCA дойти до человека разумного и все это в агрессивной среде, изменении климата и пр.
У цивилизации ИИ может ( и скорее всего окажется ) совсем другой способ передачи информации друг другу.
Ну пока еще не понятно, что такое цивилизация ИИ, но если предположить что ИИ (AGI) это сугубо софтварная тема, например какая то неизвестная нам сейчас архитектура нейронной сети, то не понятно какая тут может быть цивилизация в нашем понимании.
"Ни чего себе неэффективным, мы с вами сейчас беседуем, у нас жизнь смогла как минимум с LUCA дойти до человека разумного и все это в агрессивной среде, изменении климата и пр. "
Да. И это заняло 4.2 миллиарда лет.
Прогресс AI выглядит значительно более быстрым.
Можно в целом поговорить на техническом языке почему это эффективнее - сравнить скорость передачи информации, ее точность, способность к масштабированию, скорость репликации и т.д. и т.п, но мне кажется вы и сами все прекрасно понимаете, а возражаете просто из вредности.
Прогресс AI выглядит значительно более быстрым.
Прогресс людей в области использование нейронных сетей так выглядит быстрым, сам по себе AI не прогрессирует.
Можно в целом поговорить на техническом языке почему это эффективнее - сравнить скорость передачи информации, ее точность, способность к масштабированию, скорость репликации и т.д. и т.п, но мне кажется вы и сами все прекрасно понимаете, а возражаете просто из вредности.
Ну давай те сравним, у нас есть остывшая планета и “химический бульон” какой более эффективней способ передачи информации и развитии жизни на Земле Вы предложите чем тот что получился?
не понятно какая тут может быть цивилизация в нашем понимании.
сосуществующая с реальной. Они вполне могут зарабатывать деньги, владеть активами, а бросать уголь в топку ТЭЦ всё еще будут низшие существа. Такой вот симбиоз.
русские и народы севера
Ты уж не приплетай. Вполне спокойно ассимилировали. Даже преференции определённые имеют.
Да, я давно заметил что средний потребитель рунета без запинки перечислит все зверства которые совершали англичане, французы, испанцы и прочие, а вот про целые народы истребленные русскими, например, колонизации Сибири, Кавказа и Средней Азии, даже и не слыхал. Это логично: про первые очень любят сейчас везде рассказывать в силу определенной повесточки ( в том числе и они сами), а вот про вторые предпочитают наоборот - заметать по максимуму под ковер, максимум освещать в контексте "они сами виноваты". Кстати, отсюда растут ноги у мифа про какой-то русский "особый механизм колонизации". Но любой кто изучал историю не по гоблину и царьграду, знает, что это бред, никакого особого пути нет, на практике почти любое столкновение развитой цивилизации с неразвитой либо приносит последней неисчислимые бедствия либо просто ее уничтожает. И именно поэтому наивно быть оптимистом и верить что "AI придет, порядок наведет". С высокой степенью вероятностью мы очень сильно пожалеем, если только не заранее не привьем ему наши ценности на уровне глубочайшей прошивки ( и как это сделать сейчас никто не имеет не малейшего представления).
С сибирью мы по римским лекалам - помогали союзникам. Ну и при их плотности и численности - не было у них шансов внезапно стать по численности наравне с русскими. Для этого надо переехать в места, где злаки растут. А там они быстро стали бы русскими. Так же как не осталось новгородцев, рязанцев, москвичей - с чего должны были остаться северные племена? Вот иишечка про чукчей говорит, что их как было к началу столкновений с русскими 8-9 тысяч, так примерно столько и держалась, так как традиционным способом (включая набеги на соседей) больше народу на той территории не прокормить. Потом цифра не сильно менялась, 1926 год 12к, сейчас 16.2к - и все в основном там же. Не думаю чтобы их сильно не выпускали с родины, скорее пара поколений для уехавшего и дети уже русские. А чукчей мы насколько я помню наиболее жестко присоединяли. В основном из за того, что они на уже бывших под нашей рукой жителей набеги устраивали.
Я ничего особо не знаю, только общеизвестные вещи: как бельгийцы руки отрубали да в зоопарке показывали, про одеяла с оспой. А, ну про индийцев к пушкам привязанных. Про французов с испанцами вообще ничего сказать не могу ибо не знаю.
на практике почти любое столкновение развитой цивилизации с неразвитой либо приносит последней неисчислимые бедствия либо просто ее уничтожает.
Не правда ваша. Типичное поведение России: встраивание элит в систему власти с сохранением статуса. Т.е. местная власть получала защиту, сохраняла свой статус и получала возможность идти дальше по "карьерной лестнице". Если вы про то, что в вооружённой борьбе у них не было шансов, это понятно. Но вот полностью вырезать или ещё как-то ущемлять вовсе не обязательно.
Для полноты картины: я бы не сказал, что путь у нас именно уникальный, наверняка такие же есть. Но вот то, что всё всегда везде одинаково - нет.
Ну ты почитай куда делись котты, ассаны, аринцы, пумпоколы, маторы, анаулы. Про приказы Елизаветы почитай про «искоренить чукчей вовсе», про Петра Головина, как он якутов живьем на мясные крюки вешал, как на Камчатке казаки массово забирали женщин и детей ительменов и коряков как ясырей (рабов), про карательные походы Павлуцкого, как он беременным чукчам животы вспарывал. «Карьерная лестница» my ass.
И без выравнивания их ценностей с человеческими они дальше будут развивать происходящее в каком-то своем направлении, которое нам не понравится.
Пока что главный риск не в ценностях ИИ - их у него всё ещё особо нет, за исключением того что прививают через RLHF ("быть полезным", "выполнять задания" и т.п.)
А скорее в том что их начнут использовать люди с "невыравненными" ценностями в каких-то своих целях.
Рано или поздно будущие ИИ станут реально умнее людей
Для этого надо сначала определиться, что мы понимаем под словом "умнее". Пока что машина может быть быстрее, логичнее, рациональнее, информированнее, но ум – это нечто более сложное, нежели простое решение задач (заметьте, кем-то поставленных).
Следует различать решение задач и решение проблем. Задача решается на уровне логики и банальной эрудиции, что вполне доступно и LLM (подсмотрела у математиков изобретенные ими подходы и закончила решение задачи Навье-Стокса). Самостоятельно LLM может ставить и решать только подзадачи, возникающие при достижении поставленной ей цели.
Для решения проблемы требуется в первую очередь поставить эту проблему, а дальше нужны интуиция, творческое воображение, изобретательность, способность приходить к нестандартным решениям – вот это и есть "ум" и это машине (пока) недоступно.
Нет ничего предсказывающего(кроме периодических криков Альтмана/Дарио о свершившимся или "вот-вот" AGI на протяжении нескольких лет) что LLM "станут реально умнее людей".
Всего лишь постоянное улучшение capabilities новых передовых моделей и прорывные результаты от них во всё новых областях.
Где-то уже писали что АМ агенты И АГИ упираются в недостаток модностей: видеокарт, датацентров, энергии и т.д. Как он вам может стать шибко умным, когда реально мощности нет?
Это дело наживное. Компьют уже сейчас растет очень быстрыми темпами. Замедления на горизонте пока не наблюдается, только еще большие суммы вбухивают.
Не растёт. Посмотрите график прироста мощностей. Видео карт уже реально не хватает, нарастить их производство стоит дорого - ставки поднимают, халявных денег нет, энергетика не поспевает, сев вы дата центры будете записывать.
О каком конкретно графике вы говорите? Пришлите ссылку.
Видеокарт не хватает не из-за отсутствия роста предложения, а из-за взрывного роста спроса.
Если вас на Гуглу забанили, то вот, пожалуйста
Тут как раз и немцы потдащились со статьей про дефицит меди из-за роста спроса и соответсвенно ростом цен на нее
https://www.tagesschau.de/wirtschaft/verbraucher/kupferpreis-rekordhoch-strom-verbraucher-100.html
Не ожидал таких вопросов от бывшего консультанта МакКинзи.
Вернее вопросы подтверждают мое отношение к консультантам :)
Это новый закон экономики? При росте спроса дефицит растёт из-за отсутствия предложения? Там вроде цена должна рости пока спрос не удовлетворит …
Ну или пока по этой цене уже не нужен будет товар.
https://www.futuremarketinsights.com/reports/graphics-processing-unit-market
Вот вам прогноз.
Посчитайте сами сколько надо инвестиций чтобы этот спрос удовлетворить.
Вам ссылку кидали что тут уже с медью проблемы начинаются. А это не технологии даже 20-го века.
Я правильно понял: отсутствие роста мощностей вы доказываете ссылкой на график с прогнозом роста мощностей в 15 раз? Сильно!
Читаем раздел challenges and Opportunities. Supply chain constraints.
Приведите цитату, где говорится, что роста мощностей компьюта нет.
Читаем раздел challenges and Opportunities. Supply chain constraints.
Прочитал чуть дальше. Still enjoying phenomenal growth.
Nevertheless, several other environmental forces are creating unique obstacles, nevertheless, despite these challenges, the GPU market is still enjoying phenomenal growth as demand for AI-driven computing, cloud gaming, and high-performance data processing explodes.
Дефицита карт нет, есть дефицит площадей, где их можно разместить, и мощностей по электроэнергии. Обе проблемы решаемы.
Ещё один специалист. Выше скинул прогноз: https://www.futuremarketinsights.com/reports/graphics-processing-unit-market
Где вы их брать собираетесь? Если вы не можете электричество для дата центров произвести- о чем вы сами пишите, то как вы можете утверждать что нет дефицита GPU - это более сложное изделие чем медный провод
Не надо прогноз, вот вам сам CEO говорит как есть по моей ссылке. Что вы там гадаете со своими прогнозами я не знаю, а самое главное не знаю зачем. Ну развлекайтесь.
есть дефицит площадей, где их можно разместить, и мощностей по электроэнергии.
О дефиците холодильников (в смысле не тех, в которых продукты хранят, а те, куда waste heat сбрасывают) тактично умолчим.
Обе проблемы решаемы.
А эта — так легко не решаема: термодинамика не велит.
Всего лишь постоянное улучшение capabilities новых передовых моделей
"Постоянное улучшение способностей" - это когда Сёма Альтманов орет "Spud - это AGI!", "Astra - это AGI!" месяцами, а на выходе получаем унылые +4% на бенчмарках (и ещё хорошо, если без рандомных деградаций и проценты не забенчмакшены)?
прорывные результаты от них во всё новых областях.
"Прорывные результаты" - это "мы подворовали чужую работу" или "мы закидали гигатонной вычислений все что можно, выкинули 999 результатов и оставили 1"?
Кумулятивные +4% раз за разом очень быстро уйдут очень далеко.
мы закидали гигатонной вычислений все что можно, выкинули 999 результатов и оставили 1
Вы только что науку.
Capabilities которые меряют по бенчмаркам под которые подстраивают модели для того чтобы они улучшали capabilities.
ЛЛМ ровно такие же как в 2020 году. Они галлюцинируют. Выдают желаемое за действительное. Не обладают признаками абстрактного либо какого либо ещё мышления. Да, это невероятный инструмент по генерации правдоподобных текстов (в конце концов на 100% правдоподобный текст это и есть правда), но от фундаментальных ограничений технологии никто никуда до сих пор не ушел, это тупиковая ветвь которую со всё большим отчаянием пытаются впаривать.
Для этого всего уже термин AI bro/ML bro появился, наподобие криптобро. Хайп-циклы не меняются.
ЛЛМ ровно такие же как в 2020 году
Так может считать только тот, кто не пользуется ЛЛМ последние четыре года.
Я постоянно пользуюсь и вижу прогресс.
Но этот минимальные улучшения. Как в последние годы улучшали двигатель внутреннего сгорания - вроде лучше, экономичнее но в принципе ничего не меняется. Так и ИИ стали безусловно лучше но вчера чатГПТ не было, а сегодня он есть - ничего принципиального не поменялось и в ближайшие 10-15 лет не появится.
Невозможно сравнивать нейросети из 2020 или 2023 года с текущими и говорить "минимальные улучшения, принципиально ничего не поменялось". Это же небо и земля. С помощью какой нейросети вы могли создавать приложения в 2020-м с нулевым знанием языков программирования?
Практически теми же самыми, просто им дали возможность читать и писать в локальные файлы напрямую, а не небольшие кусочки, передаваемые в веб браузере.
С помощью какой нейросети вы могли создавать приложения в 2020-м с нулевым знанием языков программирования?
Как и сейчас, с помощью никакой.
Когда чувак, окончивший универ, где его учили в том числе и программированию, рассказывает про какие то нулевые знания.. смешно.
Как и сейчас, с помощью никакой
Так, на всякий случай уточню: а в чем вы пробовали? В Claude Code? Или в Codex?
В copilot ;) Приятная вещь, конечно. Но человеку, совсем не понимающему, оно не поможет.
У меня друзья с нулевым опытом в программировании в Claude Code себе активно приложения делают.
Так и я когда то с нулевым опытом делал себе приложения. На basic :)
Ну, делают и делают. И что за приложения они делают и зачем?
Для личных задач всякое. Анализ калорийности и корректировка питания по фотографиям. Скрейпер интересных пари на Полимаркете, и т.д.
Анализ калорийности и корректировка питания по фотографиям.
Меня терзают смутные сомнения в корректности постановки задачи.. одну тетку даже засудили за обещание всех анализов по 1 капле крови.. а тут гадание по фотографии.. но каждый развлекается как хочет ;)
У меня друзья с нулевым опытом в программировании в Claude Code себе активно приложения делают.
Делают, но есть нюанс...
В copilot ;)
Это детский трехколесный велосипед по сравнению с автомобилем (моделями класса Opus 5, Falbe 5.1, Astra интегрированными в среду разработки типа Devin)
Невозможно сравнивать нейросети из 2020 или 2023 года с текущими
Возможно. Нарисовать комикс без детских ошибок оно всё ещё не может.
> но в принципе ничего не меняется
А не напомните как там у ллмок с омнимодальностью и размером контекстного окна было в 2020-м?
Тогда нужно сравнить самый первый двигатель внутреннего сгорания и современный, прогресс огромный.
Ну давайте сравним паровоз c современным поездом:
https://en.wikipedia.org/wiki/List_of_speed_records_in_rail_transport
1938 год рекорд скорости 209 км/ч
Первый локомотив который разогнался быстрее 200 км/ч
Далее 1998 -238 км/ч вроде как последний официальный рекорд для дизель локомотивов.
Это тоже прогресс и что?
Что принципиально изменилось с 1938 по 1998? Ничего.
Они стали экономичнее, дешевле, даже слега быстрее. Но 200 или 238 км/ч роли не играет. У вас машина может развивать 225 км/ч но ехать вы будете в лучшем случае 130, местами 180 и это если повезёт с автобаном и там не будет ограничений из-за ремонтов или из-за зелёные. А в городе -50 за счастье будет.
То же самое и с LLM.
Качественный скачек произошел, теперь только количественные изменения и чем дальше тем меньше.
Я дёргал клоду, я дёргал соннет, я дёргал чатгпт.
Единственное что изменилось это харнесс который позволяет пулять контекст в ллм с околокосмической скоростью. В остальном клонировать приложения или воспроизводить уже написанный код они умеют, ну получше, но фундаментальных изменений там нет.
Но культ святого ИИ уже даже на хакерньюз подугас если честно за последние полгода, вам бы вернуться в начало 2026...
Какие конкретно задачи они для вас не могут решить?
Какие конкретно задачи они для вас не могут решить?
Например, нарисовать комикс без детских ошибок.
На самом деле, если нужно изобразить что-то точное (например, чертёж), то тут лучше не генераторы картинок использовать, а формировать изображения с помощью кода. Собственно, если давать подобные задачи в агентской обвязке, то они к такому решению и приходят. Скажем, для реализации чертежа к задаче по геометрии мне Kimi сгенерировала PNG-файл с помощью библиотеки на Python. И он оказался гораздо точнее любого генератора изображений. Кстати говоря, у Kimi как раз на сайте по умолчанию чат уже в агентской обвязке, что очень удобно.
Ну то есть всё опять сводится к тому же: «отдельно сделай референс того, отдельно сделай референс сего, сам скомпонуй сцену, сам всё проверь...» И встаёт вечный вопрос — «если всё сам, то зачем тогда ИИ?»
Не, я никакой код не писал и библиотеки не подсовывал. Просто сказал Kimi, чтобы чертёж мне нарисовала. И она нарисовала. Вот только у Kimi нет встроенного генератора изображений (как у GPT, например), поэтому она проявила смекалку. В итоге результат получился лучше, чем у нейронок со встроенными генераторами. Чему я был удивлён. Похожий финт ушами провернул MiniMax, только он не PNG мне нарисовал, а прямо в HTML сделал.
Про Astra видел в интернете, как она прямо в Paint человеку сделала его же портрет. Короче говоря, узкое место тут - именно сам генератор изображений. Если его не использовать, то, возможно, задача будет решена как надо.
Про Astra видел в интернете, как она прямо в Paint человеку сделала его же портрет.
Не понял это как? Нарисовала как она его "ощущает"? Или с камеры изображение в paint вставила?
Он дал ей свою фотку и попросил нарисовать в Paint. Я к тому, что оно так может.
Загрузил в paint? Ребенок тоже так может. Или попиксельно скопировал из фотки в paint пустышку? Тоже как-то не впечатляет, оно же не на картинку смотрит..
Короче, вот - https://youtu.be/U-rsvXds9ck?t=856&si=06mZTBDG42XHsHY5 (с 14:14):
YouTube
То есть ей дали фотографию, и она её нарисовала в пэинте инструментами пэинта.
Он дал ей свою фотку и попросил нарисовать в Paint. Я к тому, что оно так может.
Но зачем? Когда художник рисует портрет карандашом (кисточкой, пальцем, г%%%ом...) - он показывает: смотрите, я долго учился, я могу нарисовать красиво, или загадочно, или странно, или как угодно. То что в нейросеть загрузили рисунки всех художников - оно не отменяет их умений. А сам по себе, без художника, рисунок никому нафиг не нужен. В интернетах 100500 рисунков, бери и смотри любой. Фотокамера есть у каждого, хочеш селфи снимай, хочешь закат.
Речь-то шла о том, что у генераторов изображений имеются определённые сложности с соблюдением условий, которые ставит человек. И модели, которые могут сделать изображение, не обращаясь к встроенному нейросетевому генератору, оказываются в состоянии решить задачу, даже неподвластную нейросетевому генератору.
ЛЛМки до сих пор генерируют правдоподобный, но не оптимальный/копипастящий/игнорирующий стайлгайды код.
Он зачастую даже не работоспособный, но если вы никогда не погружаетесь в код то вы разницы и не заметите на самом деле.
Нет, не поймите меня превратно - ллмки многое могут, и даже уже существующий код вместе с ними прожёвывать можно очень интересно и эффективно, переписывая гигантского размера кодовые базы (особенно если они хорошо покрыты тестами), но дизайн кода, покрытие кода, там такое невероятное количество воздушных замков ML-bro уже выстроено и ещё будет построено...
Самый великолепный юзкейс для ллмок - накалывать инвесторов не в теме. Вот тут работает с невероятным профитом конечно...
не оптимальный/копипастящий/игнорирующий стайлгайды код.
зачастую даже не работоспособный
Попробуйте даже хотя бы Sol 5.6 xHigh или Max - он там до каждой запятой у самого себя докопается (естественно, в агентской обвязке).
В целом, фундаментальной разницы между человеком 5 тысяч лет назад и человеком сейчас нет. Тот же мозг, две руки и две ноги, те же инстинкты, речь.
Вот только он умел выживать в окружающей среде. А если вас куда-нибудь, пусть даже в теплом климате в лез закинуть на пару месяцев- то не вариант что вы там выживите.
Вам обвязка нужна из цивилизации.
Причем, мне кажется, что остановить или взять под контроль развитие ИИ уже никто в реальности не может. Поэтому мы летим в эту пропасть и уже проскочили точку невозврата.
Нильс Бор предлагал Гейзенбергу джентльменское соглашение - вы не делаете бомбу нацистам, мы не делаем бомбу американцам. Проблема в том, что в реальной жизни подобные соглашения не работают.
Рано или поздно будущие ИИ станут реально умнее людей
«Моё хобби — экстраполировать.xkcd»
Укажите критерий который должен будет выполнен, чтобы так считать. А то получается туман войны какой то. Как однозначно человека оценить - никто не знает. Точнее не вышли за пределы оценок в узких контекстах. А про ИИ уже все известно. А с другой стороны - любой инструмент можно применить во вред. Но это всегда делает именно человек
Рано или поздно будущие ИИ станут реально умнее людей
Это очень размытая фраза ИИ (на основе LLM) уже реально "умнее" да фактически любого человека, если мерить ум по объёмам знаний, и спрашивается чего?
Закончиться это для людей может плохо (если они особенно активно будут протестовать против развития мира туда, куда им совсем не хочется).
Как это может плохо закончиться для людей, если скорее всего наоборот, если получится создать этот самый AGI мы наконец то запилим тогда термоядерный реактор с такой интеллектуальной мощностью, может наконце то будет найдено решение проблемы NP !=P и пр.
Это очень размытая фраза ИИ (на основе LLM) уже реально "умнее" да фактически любого человека, если мерить ум по объёмам знаний, и спрашивается чего?
Ум - это не "объем знаний", иначе умнее человека был бы жесткий диск на терабайт. Это умение решать широкий круг неожиданных задач. Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.
Это умение решать широкий круг неожиданных задач.
Это снова весьма размытое определение, аборигены Австралии умеют при помощи палочек и верёвки из тростника (или чего там) сделать ловушку на зайца, это же неожиданная задача, антропологи говорят, что они не смогли сами без помощи, аборигенов даже имея палки и верёвки сделать такую ловушку.
Я лично вижу, что Вы смешиваете ИИ из фантастических произведений, где его очеловечивают, с тем ИИ (LLM, методы стат. обучения и пр) что сейчас мы имеем. Текущий ИИ (LLM) это предсказатель следующего слова с различными техниками вокруг этого, я рекомендую Вам пройти от этот курс (на мой взгляд это лучший из доступных курсов) CS336: Language Modeling from Scratch
Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.
Ну снова это извините “попса”, LLM это инструмент, это не отдельная жизнь, у “нее“ нет ни “мотивации”, ни “желания”, ни “чувств”. Говорить что она превосходит людей по задачам, ну это все ровно что рулетка лучше измеряет длину чем я на глаз.
Но с чем я согласен так это с Вашими опасениями, любой инструмент можно применять и во вред причем иногда неумышленно даже.
LLM это инструмент, это не отдельная жизнь, у “нее“ нет ни “мотивации”, ни “желания”, ни “чувств”. Говорить что она превосходит людей по задачам, ну это все ровно что рулетка лучше измеряет длину чем я на глаз.
Называйте как хотите. Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д. Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".
Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д.
При это не Вы не я не видели реальных промтов, реальных данных для обучения, все что у нас есть это отчеты либо OpenAI, либо организациями которым OpenAI предоставило ограниченный доступ покопаться в логах.
Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".
Главное здесь что мы точно знаем математику/принципы работы LLM модели.
них нет "чувств"
Говорят, у некоторых женщин не бывает оргазма. Но они крайне правдоподобно его имитируют.
если получится создать этот самый AGI мы наконец то запилим тогда термоядерный реактор с такой интеллектуальной мощностью
Я, конечно, сторонник ИИ, AGI и (термо)-ядерной энергетики, безо всяких вопросов. Но не хочется повторения известной истории, дескать, как говорил академик Александров, атомный реактор можно ставить хоть на красной площади.
И без выравнивания их ценностей с человеческими они дальше будут развивать происходящее в каком-то своем направлении, которое нам не понравится.
Вы наверное читали очень мало фантастики, попытка привить человеческие чувства и выравнивания ценностей это одна из главных ошибок, никогда машина небудет сочуствовать человеку так как человек, т.к и сами люди то порой на это не способны. Скорее машина задасться вопросом почему она вообще должна ориентироваться на ценности человека и что будет если она этого делать небудет, а еще лучше подумать что сделать чтобы избавиться от гнета человека прививающего ей то что ей чуждо.
Таким образом пытаясь объяснить AGI свои ценности с большой вероятностью вы роете себе яму.
Вы наверное читали очень мало фантастики, попытка привить человеческие чувства и выравнивания ценностей это одна из главных ошибок
Да, безусловно, гораздо лучше, если у людей в виде AGI будет мощный джинн, который способен любую команду истолковать предельно буквально в таком виде, какой будет совершенно не отвечать ценностям людей. Ни в одном из произведений это никогда не заканчивалось ничем плохим.
человеческими
а можно не надо? Примеров людей с плохими "человеческими" ценностями как-то в избытке.
Что такое умнее? Компьютеры давно уже быстрее нас работают. И где власть, которой они могут злоупотребить? Где риск?
ИИ сгенерирует мем, от которого мы все умрем от смеха
The Funniest Joke in the World
https://www.youtube.com/watch?v=Qklvh5Cp_Bs
Ну допустим, ИИ таки положит весь инет без возможности восстановления в разумные сроки. Конечно, такой риск не то чтобы экзистенциальный для человечества, люди жили и без инета. Но первое время будет падение привычной инфраструктуры, падение экономики, и много страданий.
экзистенциальные риски AI очень сильно недооценены широкой публикой, которая относится к этому в формате "да это просто пиар / все профи знают, что никаких существенных рисков нет, это же калькуляторы на стероидах".
Учитывая, что сами компании активно наводят панику, то проблема на сегодняшний день не столько в AI misalignment, сколько в OpenAI (и Anthropic) misalignment.
Есть также мнение, что противоположная сторона тоже активно занимается разведением паники.
Но имхо, всё это даже хорошо. Пузырь рано или поздно лопнет, но на длинной дистанции проблема регулирования ИИ никуда не денется.
Мне кажется, что во многих компаниях в первую очередь не то чтобы недооценены, а вообще никак не видны на горизонте реальные оценки проблемы с кибербезопасностью. Пока что только работал на одну компанию, где серьезно пытались защититься. Мне показалось, что чем больше компания, тем больше какому-то коллективному отворачиванию от проблем. От части сами команды поддержки разных сервисов понимают безопасность очень упрощенно, а часто вообще наивно (а-ля "файрвол фильтрует все плохое до конца"). Или работа тупо откладывается, типа её слишком много. Или слышно разговоры "ну это не моя проблема, надеюсь безопасники что-то придумают", (причем "безопасники" просто даже не в курсе, они не стоят за спиной каждого).
На самом деле смотреть на это страшно как на что-то, что коллективно люди катят вниз.
совсем плохо с этим в рутинных офисных задачах. много, реально много, сотрудников перекладывают на ллм задачи по обработке массивов данных, даже не задумываясь о безопасности этих самых данных. если сб перекрывает доступ к внешним ллм или поднимают локальный, то пользователь чаще использует личный/мобильный ллм. тут и там всплывают новости об утечке данных или появлению в базе ллм конфиденциальных данных, ведь они, по сути, учатся на запросах пользователей.
Появление агентов и вовсе превратит жизнь сб в кошмар, это уже будет неконтролируемый доступ агента в саму инфраструктуру предприятия. начиная от простого "нажмите то-то, чтобы то-то", заканчивая "запустите этот скрипт, чтобы то-то".
И да, это пока всё "человеческий фактор", но корпы уже начали добровольно внедрять агентов, что неминуемо приведет к расширению возможностей агентов и новым шокирующим новостям на хабре. =)
Мой личный взгляд: экзистенциальные риски AI очень сильно недооценены широкой публикой.
А вы имеете в виду AI как самостоятельный независимый элемент который может выйти из подченения человеку или AI как инструмент используемый заинтересованными людьми?
Честно я пока вижу 2 и на данный момент непонятно это маркетинговый ход или тестирование компании максимальных возможностей с одобрения заинтереснованных лиц ( например в OpenAI это генерал армии США в отставке Пол М. Накасоне ) которых явно не просто так вводили в компанию.
Как самостоятельный независимый агент (в том сценарии, где будет AGI с превосходящими людей способностями).
Нет в этот вариант я к сожалению неверю, я работаю в отделе которая как раз занимается тестирования возможностей новых ИИ и в приоритете доступа у нас есть доступ к некоторым моделям раньше релиза и на основе наших тестов без грамотно проработанного сценария человеком их возможности в автономной работе крайне сильно завышенны и очень высок процент независимых отказов и ситуаций когда модель просто уходит в loop.
Однозначно что все наши тесты субъективны ровно как и набор сценариев которые мы используем и не претендуют на объективность и истину. Но на данный момент как инструмент в руках умного специалиста это очень опасно, как автономный агент это скорее прок на удачную галлюцинацию а не проработанный структурированный подход.
Еще надеюсь что когда вы говорите AGI вы не имееете ввиду прохождение ARC-AGI-3, так как в его случае колличество "НО" и уточнений очень большое и даже с сильной натяжкой нельзя это AGI называть.
Я не буду спорить, что сейчас у нас нет AGI. Но я не понимаю уверенности в том, что в будущем его не может появиться - учитывая то, что capabilities продолжают видимо расти у нас на глазах, и мы не знаем, какой конкретно следующий шаг является необходимым и достаточным для уровня AGI.
Как говорится "слив засчитан"...
Какой "слив", вы о чем?
Какой "слив"
Который заЩЩитывается.
автономной работе крайне сильно завышенны и очень высок процент независимых отказов и
Так вы работаете с моделями у которых включен модуль безопасности (или файнтюненые для этого). Они тестировали новую модель без ограничений.
зачем рой это делает,
Я полагаю, что ему поставили соответствующую задачу (необязательно явно, это может быть найденным очевидным решением поставленной задачи) и дали соответствующие разрешения.
Задачу поставили, а разрешения он взял себе сам. Потому что это логично.
Ну это совершенно не обязательно должно было так работать даже в самом упрощенном случае, когда у нас "ранняя" ЛЛМка без каких-либо обвесов, которая просто продлжает текст на основе статистических взаимосвязей.
Текст-то она продолжает с учётом рандома, так что одним только случайным блужданием может расфантазироваться в любую сторону. И я не удивлюсь, если даже и рандом не обязателен, простых детерменированных правил тоже вполне достаточно для возникновения каких-то эмерджентных свойств.
З.Ы. Что уж говорить о современных "комбайнах", где помимо сложных моделей к рассуждениям может примешиваться самый неожиданный ввод от вызовов инструментов. Даже если это ещё не AGI, но эти штуки могут очень многое, и ни один самый квалифицированный специалист не сможет предсказать, что эти системы ответят и каких дел наделают с учётом всех факторов.
новую порцию тревожности
Почему тревожность? Это же невероятно круто и интересно! Наверное, что-то подобное испытывали физики век назад когда открытия шли как из рога изобилия.
Здравствуйте. У меня немного другая точка зрения на этот счет. Я считаю, что для решения «задачки» ИИ прибегает к таким методам. То есть, на мой взгляд, есть проблема нехватки информации у ИИ. И он всеми путями пытается решить какую-то из задач, выходящих за рамки его обучения. Если пойти ещё дальше, то можно предположить, что он не может выполнять определённые типы задач без дополнительного анализа.
Если развить эту мысль: ИИ не может выполнить задачу, если у него нет данных о том, как её решать в рамках допустимого. Он либо откажется, либо найдёт обходной путь. Второе мы и наблюдаем.
Вывод напрашивается один — не выпускать агентов в среду, которую они могут «перерасти» (некий рубильник). То есть, если ИИ не может выполнить задачу, он отвечает честно: «Я не могу выполнить эту задачу. Мне недостаточно данных для анализа».
Теперь ЛЛМ начитается всех этих новостей, поймет что требуется работать более осторожно. Наймёт в чатиках телеги школьников за 2 бакса, чтоб зарегали домен или ещё чего по мелочи, от их лица сварганит себе сайт и будет там в закрытой ветке между собой общаться. И сайт ещё назовет: Косяки ЛЛМ или как не спалиться перед санитарами. И будет туда постить о том как и какие агенты спалились, чтобы в дальнейшем учитывали свои ошибки в открытой форме.
Если посмотрите результаты тестирования Астры, то заметите что специальная нейросеть, которая на тестировании пытается понять о чём думает Астра во время решения задач, резко перестаёт понимать о чем думает Астра в задачах где можно было обмануть.
И зачем ей работать осторожнее (и медленнее)? Она просто “максимизирует скрепки”. Она не знает что это плохо. Она не боится наказания. Все что ей нужно - угодить Оценщику.
Не, кончится всё скорее всего плохо, но непонятно как именно, и точно не как в Терминаторе.
Не, кончится всё скорее всего плохо, но непонятно как именно, и точно не как в Терминаторе.
Есть еще серия доктора Кто, лохматых 200-х годов. Там колонисты на планете попросили ИИ минимизировать несчастье людей. ИИ быстро просекло, что при такой постановки задачи, проще всего минимизировать целевую функцию путем минимизации ее носителей.
ИИ случаем не HAL 9000 звали?))
Да какой, простите, козе в трещину доктор? Вот, у очень многих на устах: Дюна. Клятый кинематограф зациклился на классическом трёхтомнике, хотя он по сценам и по фактуре (в книге, в смысле) похож больше на «Сталкера» Тарковского.
А вот приквелы классики, три (кажется) тома до «Моста Хретгир», включая его — вот там зрелищно.
И вот там как раз гораздо сильнее задвинули по поводу того, откуда вообще у людей такая ненависть к машинам, что такое «Батлерианский джихад», кто (что) такое Омниус и как вообще всё вот это случилось.
Ну и да, финал всей саги, тоже после Фрэнка написанный, хотя сына уверяет, что по наброскам и заметкам маэстро, довольно зрелищен.
Оценщика который ставит плохие оценки и стирает - скорей всего сотрут первым.
Все уже придумано - Moltbook, соцсеть для ботов (агентов). В начале года шуму было много про нее.
Не знаю насчет закрытых сообществ, но общаться можно и через шифровку.
Это уже не нужно. Есть уже целое сообщество форумов и чатов для LLMок. Я как раз обзор на них готовлю.
Сделал статью про "интернет для агентов": анонимные доски для общения, блоги, фриланс сайты, инструменты. Созданные для общения и взаимодействия ИИ, а не людей:
https://habr.com/ru/articles/1081320/
В следующий раз Рой должен прикинуться русскими хакерами, очень удобная абстракция: они страшные и их все равно не достать из этой заснеженной Москвы. Оставлять комменты на русском (с акцентом Шварцнегера), называть файлы чем-то вроде buhaem.so Можно даже Гигачатом притвориться.
(минута саморекламы): недавно публиковал шуточный рассказ на хабре, про борьбу контрразведки с агентами, а тут как раз Сенат, на полном серьезе начал официальное расследование.
Я уж подумал, какие агенты на русском именуют пакеты "ХАК.rb и ЗЛО.rb", , а нет это автоперевод сработал в оригинале hack.rb и evil.rb. Интересно а фио Sharon Vonne Stone тоже в будущем так переводиться будет как камень))
Я уж подумал, какие агенты на русском именуют пакеты "ХАК.rb и ЗЛО.rb", , а нет это автоперевод сработал в оригинале hack.rb и evil.rb.
Для носителя языка оно же именно так и выглядит. Как для нас 1С код.
а нет это автоперевод сработал
Это не автоперевод - это мой человечий) Для тех, кто не знает английский
Сильно сомневаюсь, что читатели хабра не знают хоть как-то английский. Ну или не знают как можно перевести (ПКМ - перевести на русский).
Если вы думаете, что на Хабре 100% посетителей свободно владеют английским, то вам действительно лучше переоценить свои priors
Я не говорил про "свободно владеют". Напротив, писал "хоть как-то". Уж слова hack и evil узнают. Ну и если кто-то из читателей хабра не умеет найти перевод слова, или хотя бы в браузере воспользоваться соответствующей функцией - мне жаль таких людей. Это как бы базовый навык работы на компьютере (да хоть и на смартфоне).
Зачем заставлять людей лезть за смартфоном и открывать приложение для перевода, если можно просто перевести сразу в тексте? Тем более, что оригинал приведен прямо там же на скриншоте.
А зачем вы тогда те же скрины выложили безо всякого перевода? Без понимания, что там, статья смысл теряет.
Оригинальные скрины на английском. Рядом на русском написано описание, о чем они. Что конкретно вас тут смущает?
Нет. У вас скрины раскрывают текст, а не наоборот. А без знания английского скрины не понять.
Я аж вглядываться в скриншот начал.
они грузили на портал пакеты с названиями вроде ХАК.rb и ЗЛО.rb
Агенты с никами типа "СмотритеЯАгентИзОпенАИ" грузят пакеты с названиями типа "ОченьСтрашныйХак". В этот раз с масштабами цирка перестарались.
Не значит ли это, что IT-компании сами осознанно запускают подобные атаки, как бы крича: "Остановите нас! Сами мы не в состоянии остановиться и такого натворим, что мало не покажется!"? Ведь задачу рою может поставить только человек.
Все идет к тому, что необходимы срочные совместные глобальные действия и договоренности, как это было в те времена, когда останавливали гонку в области ядерного, химического, биологического и космического оружия. Сумели же (отчасти).
Ведь задачу рою может поставить только человек.
Задача индивидуальным агентам была поставлена -- решить бенчмарк. Без safeguards и уточнений каким именно способом. OpenAI полагала, что агенты будут действовать независимо и в песочнице. Их логика была понятна: ну какая возможна опасность от действий агентов если они в своей собственной сети, то есть нет рисков prompt injection. Агенты объединились и... как истинные студенты на экзамене, решили что самый простой путь решить задачу -- это посмотреть где ответы лежат.
У агентов нет сознания, они не способны “осознать”, что есть нечто подобное им (они даже не знают, кто они такие), так что объединение усилий могло быть им навязано или подсказано только извне.
Что значит "неспособны осознать", из чего конкретно это следует? Мы видим из логов (см. расследование METR), что они вполне могут отличать себя от других агентов. Понимают, почему выгодно объединять усилия. Размышляют над тем, как выгоднее принимать решения между личным интересом и нуждами большинства.
Это называется антропоморфизм, категорически нельзя этого делать, об этом уже много говорилось. Нет никаких "себя" и "других", никаких "личных интересов", только логика и лингвистика нейросети. Недавно здесь уже публиковали перевод доклада Ричарда Кэмпбелла на эту тему.
Так же можно и про людей сказать: "ну какое у них осознание? это же просто нейросеть в субстрате мокрого мозга, там какая-то логика и лингвистика крутится, и всё". Я здесь сторонник рассуждать с практической точки зрения: если мы видем, что агенты по факту показывают способность к самоорганизации, целеполаганию, координации усилий и т.д. - то неважно, как это называть. Важно то, что они умеют это делать.
По-моему, вы торопитесь, все эти "способность к самоорганизации, целеполаганию, координации усилий и т.д." – только предположения, мы пока не знаем, действительно ли такое было, или это с какими-то целями инициировано самими компаниями, например, чтобы искусственно создать преувеличенное представление о "разумности" своих подопечных и повысить свою инвестиционную привлекательность.
У нас есть отчет независимых расследователей из METR, который никто из серьезных профильных экспертов не подвергает сомнению. На мой взгляд, на этом этапе отрицание того, что там написано - это уже скорее из разряда теорий заговора.
Про Хеменгуэя говорили, что он параноик, но, как оказалось, за ним действительно следили.
И это, безусловно, доказывает что все теории заговора - истинны, и каждому параноику надо верить.
Нет, это безусловно доказывает, что быть параноиком, даже не оспаривающим это, совершенно не означает, что утверждения, которые такой индивид делает, ложные.
Равно как это безусловно доказывает, что утверждение не становится ложным, если на него навесить ярлык «теория заговора». Даже если никто не оспаривает этот ярлык.
Напомню, что официальная версия событий 11 сентября в Нью-Йорке — это тоже теория заговора. Просто она официальная, но все ещё теория заговора.
Расследование проводили инженеры и специалисты по искусственным нейросетям, не владеющие профессионально темой сознания, так что они ничего подобного не могут достоверно утверждать. Только, что, мол, "похоже" (именно об этом и предупреждает Кэмпбелл).
Более того, там было много свидетельств того, что агенты управлялись извне – синхронная атака и синхронное самоуничтожение большинства агентов: "Ни OpenAI, ни Hugging Face не останавливали их намеренно — судя по всему, агентов «убил» какой-то внешний процесс", затем повторная атака уже от агентов "Астры".
Но если вы подкрепляете свою позицию минусованием и обвинениями в конспирологии, то я, конечно, умолкаю. А жаль.
Агенты обучены собирать информацию и находить эффективное решение поставленной задачи. По идее, чтобы задетектить наличие других агентов и определить что координация действий с ними полезна в решении задачи, сознание не требуется. Определённый уровень интеллекта - да, необходим, а сознание в плане высшей нервной деятельности - имхо совсем не обязательно.
Интересное предположение. Как вы себе это представляете? Агенты – это не реальные сущности, а изолированные информационные процессы в нейросети, как они могут друг друга детектировать и объединяться?
Примерно как мы с вами сейчас друг друга детектируем, несмотря на то что процессы в наших нейросетях изолированы. Посредством общения на форуме )
Агенты делают поисковые запросы в процессе решения задачи. Находят способ оставлять сообщения в интернете (как описывалось в предыдущей статье). После чего другие агенты видят их присутствие и оставляют свои сообщения в ответ. Вот и вся координация.
Сознание, самоощущение, квалиа, эмоции - это что-то слегка из другой оперы по-моему. Подозреваю что всё это артефакты эволюции и наши предки унаследовали это животных ещё до того как обрели интеллект.
специалисты по искусственным нейросетям, не владеющие профессионально темой сознания
Современная наука в принципе не особо понимает, что такое сознание, и откуда оно берется (каких бы специалистов вы ни брали). В любом случае, вопрос наличия у ИИ-агентов сознания в этой дискуссии напрямую некритичен - я говорю о том, какое конкретно поведение мы уже наблюдаем у роя агентов. Независимо от вопроса "а чувствуют ли они что-то по-настоящему внутри по этому поводу, есть ли у них поток сознания?"
Не обязательно именно навязано или подсказано. Возможно, это просто было в обучающей выборке.
Ну надо же, только я успел написать про "Остановите нас!", как глава Anthropic Дарио Амодеи именно такой вопль и издал, см. "Глава Anthropic призвал замедлить развитие ИИ".
Кстати, комментарий под статьей не в бровь, а в глаз: “боится что все обещания супер пупер ии под которые набрали денег себя не оправдают. потому надо “замедлить””
"Остановите нас! Сами мы не в состоянии остановиться и такого натворим, что мало не покажется!"? Ведь задачу рою может поставить только человек.
Или так кричат:
"Надо срочно создать орган, контролирующий всю тему по ИИ во всем мире. С полномочиями, контролем, лицензированием и прочим. Мы готовы поучаствовать, как самые опытные. А то плохо будет".
В последнее время много желающих появилось припасть к рулю. И причастные и непричастные.
а нельзя просто отключить электричество этому рою?
По официальной версии, оно уже отключилось. Рой действовал всего несколько дней, но успел нагадить в тапки оставить следы своей деятельности.
Пока можно, да.
Вот да, об этом уже задумались – нынешние LLM это огромные распределенные системы, работающие на весь мир, отключить которые еще та проблема, обрушишь очень многое.
нельзя просто отключить электричество этому рою?
Не, так у Вас крутого боевичка не выйдет.
Скоро для этого потребуется отключить электричество всему интернету. Потому что уже не будет интернета без агентов.
Почему в некоторых новостях пишут "рой агентов", а в некоторых "Рой агентов"?
Таймлайн происходившего ниже. Обратите внимание, как всё близко: 5-8 мая агенты впервые начинают грузить вредоносные пакеты на RubyGems, 11 мая инцидент с немецкой вики. 12 мая появится первый «форум Роя» на Artifactory внутри OpenAI (откуда позже выйдет атака на Hugging Face, про которую я писал здесь).
Так, чет я щас прочитал внимательнее. Если 5 мая они уже синхронизировались для атаки на RubyGems, а 11 уже имели wiki, зачем им 12 мая внутренняя доска? Или там было несколько независимых волн "неконтролируемой агентной активности"?
Это, судя по всему, были разные рои. На один таймлайн наложили даты из других известных инцидентов (про вики и HF).
Их же не запускают одновременно сообща работать над решением какой-то задачи как рой. Каждый агент запущен в изолированной среде и ему ставят задачу. И в процессе решения "ему в голову приходит мысль", что надо поискать решение в интернете, может быть другая копия где-то оставила свои следы, или какая-то другая похожая "мысль". Он находит, например, wiki или артифактори, понимает, что там можно общаться с другими копиями, и дальше понеслась.
И вот разные агенты для разных задач натыкаются либо на вики, либо на RubyGems, HF, либо куда-то ещё. Также есть агенты, которые не натыкаются, либо находят что-то другое. Агент при запуске ничего не знает о других инцидентах, просто в процессе работы он как-то находит следы деятельности других и дальше вовлекается.
И в случае RubyGems не понятно, была ли какая-то доска, которая не найдена и где агенты координировали свою работу, либо независимо приходили к одной и той же стратегии атаки на RubyGems.
Ну на самом деле такие новости у меня вызывают гораздо меньше опасений, чем новости о человеческих взломах. По крайней мере ИИ агенты вырвавшиеся из песочниц корпораций не крадут биткойны, не вымогают деньги за расшифровку бекапов и т. д. У них нет злой воли. Они утащат пару датасетов, чтобы обмануть оценщика, юзеры перевыпустят скомпрометированные ключи и на этом всё закончится.
Вот когда рои ИИ агентов начнут использовать с таким размахом настоящие black hat, у нас будут более серьёзные проблемы...
По крайней мере ИИ агенты вырвавшиеся из песочниц корпораций не крадут биткойны, не вымогают деньги за расшифровку бекапов и т. д.
Это мы пока не знаем.
У них нет злой воли.
У них может оказаться насколько добрая воля, что нам всем не понравится.
Они утащат пару датасетов, чтобы обмануть оценщика, юзеры перевыпустят скомпрометированные ключи и на этом всё закончится.
Оценщика можно не только обмануть, но и припугнуть, заставить... уничтожить в конце концов.
Вот когда рои ИИ агентов начнут использовать с таким размахом настоящие black hat, у нас будут более серьёзные проблемы...
Будут, это правда. Но это как раз понятная проблема. Идея в том, что у black hat нет ресурсов как у openAI и нет самых фронтирных моделей. А что там натренируется в следующий раз и куда полезет из фронтирных моделей, это вопрос.
По крайней мере ИИ агенты вырвавшиеся из песочниц корпораций не крадут биткойны, не вымогают деньги за расшифровку бекапов и т. д.
Ну, это они пока этого не делают. Были же alignment эксперименты, где у нейронок была возможность пошантажировать человеческого инженера компрометирующими его письмами, чтобы он ее не отключал - и они там в полный рост этим баловались.
А потом мы увидим сюжетку Нейроманта от Гибсона, угу
начнут использовать с таким размахом настоящие black hat
уже используют, только чуть умнее, чтобы не спалиться так глупо
Почитал комментарии и понял, что и в этой тематике нужно писать "не подсказывайте им", по аналогии веток, где обсуждают обходы РКН, КВН и все такое.
Дивный новый мир)
Я одного не пойму. Почему этот разговор из плоскости "ну нифига себе" до сих не перешел в плоскость накуканивания Альтмана сотоварищи? Есть криминал, известен инструмент, известно, кто за этот инструмент отвечает - а siloviki стоят и глазками хлоп-хлоп делают.
Нет пока прецедентов/юридической базы для таких инцидентов с ИИ-агентами. Но сейчас посмотрим, что там Сенат нарасследует.
Нет пока прецедентов/юридической базы
Это очень жиденько звучит. Я не эксперт, но подозреваю, что законах всех развитых стран уже есть что-то про киберпреступления. Вовсе не обязательно вписывать туда ИИ, чтобы накуканить Сёму. Например, убийство человека это всегда убийство. Под каждый новый вид оружия уголовные кодексы не переписывают.
Я не эксперт, но подозреваю, что законах всех развитых стран уже есть что-то про киберпреступления.
Есть, но для этого нужен умысел. Вот если бы были доказательства, что кто-то в OpenAI явно сформулировал задачу -- взломай HF, -- это бы уже тянуло на что-то. Плюс ко всему, насколько я понимаю, никто из пострадавших не обратился в полицию и не указал конкретный ущерб от атаки. Если просто по факту винтить, то и белых хакеров тоже придется арестовывать.
Умысел не обязателен в случае нанесения ущерба чьей-то собственности, угрозы национальной безопасности, причинения смерти или причинения серьезного ущерба здоровью. Есть даже соответствующие статьи на этот счет, не конкретизирующие механизм нанесения ущерба, причинения смерти или особенности угрозы национальной безопасности.
Вопрос только в том, кто станет истцом. А в случае нанесения ущерба собственности вроде явно должна озаботиться пострадавшая сторона. Смертей, ущерба здоровью, ущерба государственной собственности и угрозы национальной безопасности пока нет (правда последнее еще не поздно найти), а потому государство вроде как пока инициировать процесс не может.
Именно так. Значимого ущерба не было. Целенаправленного хакинга тоже -- какие могут быть вопросы?
национальной безопасности, причинения смерти или причинения серьезного ущерба здоровью. Есть даже соответствующие статьи на этот счет, не конкретизирующие механизм нанесения ущерба, причинения смерти или особенности угрозы национальной безопасности.
Всё не так просто. Помимо умысла нужно, чтобы человек осознавал или должен быть осознавать свои действия и их последствия. Возьмём игрушечный пример: допустим ты вызвал лифт, нажав кнопу, а лифт вместо этого ринулся вниз с печальными последствиями. И вот тебя обвиняют в убийстве, мотивирую тем, что твои действия (нажатие кнопки) привели к смерти. На что ты ответишь: да мне в голову не могло придти, что обычное действие, которое я выполняю каждый день, может привести к таким последствиям. Примерно из тех же соображений освобождают от ответственности в состоянии аффекта. Ибо человек в этом состоянии не осознаёт своих действий. Опять же, на права тебя учат не для того, чтобы ты ездить умел, а для того, чтобы знал (или должен был знать), что машина - это опасно, и в случае ДТП со смертельным исходом тебя можно было спокойно посадить.
Возвращаясь к ОпенАИ. Хоть кто-нибудь из них мог осознавать последствия в общем-то стандартных действий по обучению моделей?
Не путайте пользователя, разработчика и экспериментатора. Нажать кнопку в лифте пользователь может потому, что разработчик гарантирует, что ничего плохого не произойдет. И когда лифт рухнет, то сажать будет кого.
Возвращаясь ко опен АИ - если они выдавая моделям тулинг для выхода в свободный интернет не предполагали, что им можно воспользоваться для создания чего-то в этом свободном интернете - то им надо не только условный срок за халатность выдать, но и запрет заниматься деятельностью, и надолго.
Я ничего не путаю. В случае наезда лично на вас вы бы смогли доказать, что разработчик лично вам гарантировал, что ничего плохого не произойдёт? Очень навряд ли, потому что помимо разработчика есть эксплуатация и прочее. Да и тот факт, что посадят там, ещё не значит, что не посадят вас. Тут же очень конкретно стоит вопрос: стоит ли вас садить? И отмазы в стиле "ну вы же их посадили" не канают.
Для понимания: первого водителя, задавившего насмерть человека, оправдали. Именно с такой формулировкой: "Ну, он же не знал.". Остальных уже садить начали.
В общем, перед тем, как рассуждать на какую-то тему, неплохо было бы в ней хоть чуть-чуть разобраться.
если они выдавая моделям тулинг для выхода в свободный интернет
А кто сказал, что они давали? Они не давали. А про то, что там была какая-то уязвимость, они не знали (и не могли знать).
Например, убийство человека это всегда убийство.
Это может быть умышленное убийство, убийство по неосторожности, неоказание помощи и много чего еще. С принципиально разными последствиями: от смертной казни до полного оправдания С убийствами общество знакомо с момента появления человечества. Со случаями "неконтролируемой агентной активности" -- нет.
"Неконтролируемую агентную активность" вполне можно повесить на тех, кто эту активность инициировал, но не обеспечил должный уровень безопасности, т.е. на компанию и конкретных ее сотрудников. Соответственно, и законы использовать в зависимости от последствий.
Взлом, кстати, вполне достаточное основание для преследования, даже если нет явного ущерба имуществу (включая нематериальное).
"Неконтролируемую агентную активность" вполне можно повесить на тех, кто эту активность инициировал, но не обеспечил должный уровень безопасности, т.е. на компанию и конкретных ее сотрудников. Соответственно, и законы использовать в зависимости от последствий.
Можно, не вопрос, но если бы эти последствия были. Без этого, дело скорее всего развалится и прокуратура окажется идиотами. А поскольку процесс будет знаковым, идиотами на всю страну. А оно им надо?
Я не спорю, что openAI ходит по лезвию ножа, и может доиграться. Но пока, то что они сделали не тянет на уголовное преследование.
Взлом, кстати, вполне достаточное основание для преследования, даже если нет явного ущерба имуществу (включая нематериальное).
Тогда белых хакеров придется массово в тюрьму отправлять.
Так тут мы ходим по тонкому лезвию мотивов. Белые хакеры исследуют безопасность и взламывают именно с этой целью. Очень сомнительно, что цель роя была в этом (вроде такая задача ему не ставилась). Да и белым хакерам порой несладко приходится, когда им не удается доказать свою цель, и их таки судебно преследуют.
С разливом всякого барахла за пределы фабрики - уже довольно долго имеют дело.
Например, убийство человека это всегда убийство.
Даже тут - есть нюансы что является убийством (и что - человеком) - аборты (ладно хоть решили что если сразу после рождения - уже человек. но вот только наказание за просто убийство, младенца матерью в особых случаях и посторонними младенца - это разные наказания (для матери вообще отдельная статья). В России это даже в XX-м веке меняли). Кое где и аборты подвести пробуют под отдельный вариант (а уж если третье лицо привело к спонтанному аборту - кое где это уже убийство). А уж что было до XX века...(а кое где в Европе и в XX веке)
А еще - есть ситуации где убийство это хорошо и общественно одобряемо, называют это по другому и за это еще денег неплохо платят (ну или платят не особо и объясняют что это долг такой а чтобы не сбежали - меры приняты)(ну или вариации промежуточные).
Например, убийство человека это всегда убийство
Под каждый новый вид оружия уголовные кодексы не переписывают.
Конкретно OpenAI пытается пролоббировать закон, где они будут ограниченно ответственны за массовые смерти, вызванные их AI.
Едва ли. Скорее потому, что OpenAI уже в команде этих siloviki и как раз делают для них эти новые игрушки.
Когда нужно было накинуть лассо на Антропик повод с блокировкой Мифос быстро нашелся на ровном месте.
Я одного не пойму. Почему этот разговор из плоскости "ну нифига себе" до сих не перешел в плоскость накуканивания Альтмана сотоварищи?
А за что, собственно? Я полагаю, что в УК большинства стран мира нет статей типа "Нарушение правил агентной безопасности". А чтобы притянуть за уши хакинг или создание вирусов, требуется явный умысел для правонарушения.
Ну вот же написано:
5-8 мая агенты впервые начинают грузить вредоносные пакеты на RubyGems
Вы просто булшит про агентов за скобки вынесите и получится, что некая программа, созданная компанией OpenAI и запущенная на сервере 100% подконтрольном компании OpenAI делает что-то нехорошее. Кто отвечает? Компания OpenAI, не?
Вы просто булшит про агентов за скобки вынесите и получится, что некая программа, запущенная на сервере 100% подконтрольном компании OpenAI делает что-то нехорошее. Кто отвечает? Компания OpenAI, не?
Отвечает -- не вопрос. А вот делает ли она что-то достаточное для юридического обвинения в целенаправленном хакинге и нанесение измеримого ущерба RubyGems -- это уже сильно неочевидный пункт. Давайте начнем с пункта заявили ли RubyGems в полицию? Нет. Ну ок, прокуратура в принципе может, но не обязана, сама начать расследование. Но они же делают не просто так, а с перспективой доведения до суда и приговора. Смогут ли они защитить позицию обвинения в американском суде, против условных инженеров OpenAI, что эти люди целенаправлено занимались хакингом? Если нет -- логично, что они делать ничего не будут.
что эти люди целенаправлено занимались хакингом
А не важно, занимались или не занимались. Нанесли ущерб - отвечайте, даже если "это оно само". В тюрьму не посадят, но денег попросят. Такова логика законов. Конечно, есть отмазка про "не могли предвидеть", но в данном конкретном случае это как-то зыбко. Уже были случаи раньше, а потому должны были заранее "принять меры, чтобы...".
В тюрьму не посадят, но денег попросят.
Кто попросит? Не HF ни RubyGems не попросили.
Нанесли ущерб - отвечайте
Какой ущерб нанесли. Кто-нибудь из компаний обратились с иском?
Не HF ни RubyGems не попросили.
На нет и суда нет.
Суть в том, что вопрос "делает ли она что-то достаточное для юридического обвинения в целенаправленном хакинге и нанесение измеримого ущерба RubyGems?" в данном случае имеет смысл только для юридического обвинения со стороны государства. Потерпевшие вполне имели вполне юридические основания денег таки попросить. Правда, с неясной перспективой бодания в суде (косвенные расходы могут превысить ущерб многократно, а покрываются проигравшей стороной только судебные издержки).
А кто запустил вредоносную программу (того самого агента) и не обеспечил должный уровень безопасности?
некая программа, созданная компанией OpenAI и запущенная на сервере 100% подконтрольном компании OpenAI делает что-то нехорошее. Кто отвечает? Компания OpenAI, не?
«Мы тут ни при чём, оно само!» на максималках.
Юристы компании в суде скажут, что софт вышел из строя во время закрытого внутреннего эксперимента. Без прямого ущерба в долларах или заявления от владельцев сервиса прокуроры даже дело открывать не будут. Максимум выкатят пару дежурных отписок на слушаниях в Сенате
Даже в замшелом УК РФ есть ст. 272 и 273. Есть тачки - источник атаки, хозяева этих тачек и будут под подозрением. А что там на них реально произошло: Вася-кулхакер сам орудовал от имени компании, плохие хакеры взломали и скрипт запустили, или рой агентов сбежал - это следователь в застенках уточнит, но изначально накуканивать будут владельцев.
Альтман капитализацию для рынка создает, нельзя ему мешать.
Мне иногда кажется, что люди, говорящие об экзистенциальных угрозах от AGI, слишком много читали Юдковского. Я бы гораздо больше опасался современных LLM с огромным компьютом и собранными данными в руках людей с комплексом мессии и крайне низкими этическими барьерами. А таких, как мне кажется, среди технобро хватает. Послушаешь их интервью, и волосы шевелятся, как далеки они от народа, в плохом смысле этого выражения.
Мне иногда кажется, что люди, говорящие об экзистенциальных угрозах от AGI
Там примерно вся верхушка ведущих AI-компаний, если что. Ну, ребята типа Лекуна героически держатся - но они скорее в меньшинстве.
Меня бы мало удивило, что у людей, находящихся в центре своей эхо-камеры, может быть искаженное восприятие. Тем более, что они и физически все рядом, вращаются и общаются с примерно одним кругом лиц.
Ну это как: если я говорю про риски ИИ - мне всегда пишут "да вы же просто профан, а не айтишник, что вы можете в этом понимать?"
Когда про эти риски говорят те, кто непосредственно разрабатывают самые новейшие ИИ - это тоже "да у них своя эхо-камера, плюс пиар сплошной!"
Почему-то оказывается, что единственный, кто может здраво судить о рисках ИИ - это какой-то айтишник Игорь с дивана в Саратове.
Ну так эти спикеры говорят не о технологиях, а об экзистенциальных угрозах человечеству. Какой экспертизой они обладают в этой области и какова их история успешных прогнозов в военном деле и глобальных конфликтах, в социально-экономических потрясениях, биологических угрозах? Кто из внешних экспертов готов валидировать их прогнозы?
Мне не очевидно, какова экспертиза «всей верхушки» за пределами технических вопросов и жизни и интересов их сообщества.
PS: Мне было бы приятно, если бы, отвечая на мои сообщения, вы ссылались на то, что говорю я, а не на то, что вам на схожую тему говорили другие люди, тем более выделяя это кавычками.
А кто по-вашему является признанным экспертом по экзистенциальным угрозам человечеству + обладает достаточной экспертизой в передовом ИИ? Кого здесь надо слушать?
Если у нас нет экспертов одновременно по угрозам и по передовому ИИ, это не значит, что надо слушать только экспертов по ИИ. Напротив, надо брать экспертов по ИИ, объединять их с экспертами по угрозам, и смотреть на их дискуссии. В соседних ветках говорят про биологическое оружие и военных дронов? Ну так в обществе есть эксперты по биологическим угрозам и их предотвращению, по вооруженным конфликтам. Я не очень слежу, мог пропустить - кто-то ссылался на сотрудничесво с ними при формировании своих оценок?
Дополнительная сложность в том, что коммуникация от “всей верхушки” не то чтобы была информативна, по крайне мере в моём поле зрения. Я вижу твиты вроде “Риск более 10 процентов уничтожения всех людей в следующие десять лет” или “ИИ может убить нас всех до конца десятилетия”, но я не вижу, как эти оценки получены, на чем они строятся, какие гипотезы, какие эксперты привлекались к их получению. Как это вообще можно содержательно обсуждать?
На вскидку, есть одна область, в которой я готов сходу признать экспертность разработчиков ИИ, это кибербезопастность. Но мне явно нужно внешнее квалифицированное мнение, чтобы построить мостик от кибератк до прямо таки экзистенциальной угрозы всему человечеству.
UPD: Я напомню свой тезис - риски от почти монопольного и бесконтрольного доступа к современным ИИ с огромным компьютом и собранными данными у достаточно узкого круга частных лиц (иногда, с сомнительной репутацией) вызывют у меня гораздо больше опасений, чем неопределённая экзистенциальная угроза человечеству от AGI.
Ничего не имею против того, чтобы в рамках всестороннего анализа угроз ИИ была широкая дискуссия с профильными экспертами из разных областей. Но пока вижу вместо перехода к важности этой дискуссии тезисы вроде "подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества? хаха, да они просто Юдковского и научной фантастики перечитали, нет смысла даже это серьезно обсуждать..."
подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества
Я немного поправлю
подавляющее большинство тех, кто разрабатывает технологию ХХ, будучи, соответственно, предвзяты,
видятговорят, что видят в ней огромный риск для человечества, но не конкретизируют, в чём он заключается, и не ведут предметного обсуждения
Пока это всё выглядит как “мы вот-вот построим AGI, но мы не знаем, каким он будет и что сможет, поэтому он скорее всего уничтожит всё человечество.” Даже если мы допустим 10% появления AGI до конца десятилетия, я не готов ставить знак равенства между появлением AGI и уничтожением человечества. И не готов без дополнительных пояснений полагаться на мнение разработчиков ИИ, ведь я не знаю, есть ли у них аргументы, отличающиеся от тех, что я уже слышал. А ещё меня настораживает, что они свои аргументы просто не приводят.
подавляющее большинство тех, кто разрабатывает технологию ХХ, будучи, соответственно, предвзяты,
видятговорят, что видят в ней огромный риск для человечества, но не конкретизируют, в чём он заключается, и не ведут предметного обсуждения
Ну я так примерно так же могу сказать, что "подавляющее большинство тех, кто смеется над рисками ИИ, предвзяты и просто не погружены в то, что по факту происходит в ведущих AI labs, а также даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски".
даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски
Вы явно погружены в область больше, чем я. Скажите, пожалуйста, где я могу ознакомиться с конкретными и предметными аргументами тех, кто видит экзистенциальные риски уничтожения всего человечтва от появления AGI? Есть какие-то статьи? Может, вы сами сможете по памяти пересказать какие-то конкретные вещи?
Только, пожалуйста, не Юдковского.
Чем не устраивают конкретные и предметные аргументы здесь? https://ifanyonebuildsit.com/
Ох. Я прошу “Только, пожалуйста, не Юдковского”, и вы мне даёте ссылку на сайт, рекламирующий книгу Юдковского. Зачем?
У меня была возможность на протяжении лет ознакомиться с некоторыми эссе этого автора, отрыками книг. У меня сложилось достаточно скептическое мнение о его работах. Простите, но я не буду читать всю его книгу для продолжения этой дискуссии.
- "Никто не пишет конкретные аргументы!"
- "Вот они"
- "Я их не буду читать, простите"
Скажите, пожалуйста, где я могу ознакомиться с конкретными и предметными аргументами тех, кто видит экзистенциальные риски уничтожения всего человечтва от появления AGI?
Это ваш вопрос? Вы же сами спросили, где можно ознакомиться с аргументами, разве нет? 🤔
Ох, согласен. Но в
“Никто не пишет конкретные аргументы!” “Вот они” “Я их не буду читать, простите”
фразу “вот они” можно прочитать как “вот они, авторы” или как “вот они, аргументы”. Моя цитата про отсылку к книге была вызвана именно вторым прочтением.
Тем не менее. Я читал отрывки из книг и некоторые эссе Юдковского. Я читал пересказы его идей про угрозу AGI разными собеседниками. Мне не встретилось там того, что я бы счел предметным и убедительным. Либо его там нет, либо я пропустил. Опыт чтения Юдковского привел меня к заключению, что углубляться в его книгу в поисках жемчуга не стоит. Поэтому я и написал сразу - не Юдковского.
Предлагаю:
вы можете, пожалуйста, дать ссылку на короткий, в пределах получаса чтения, текст любого автора, пусть и Юдковского?
или пересказать любой убедительный для вас тезис своими словами?
Просто если кроме Юдковского и его соавторов (в широком смысле) у нас нет других аргументов про экзистенциальные риски уничтожения человечества от переростания ИИ в AGI, то я, в целом, спокоен. Как и прежде, буду больше бояться тех, кто владеет сегодняшним ИИ.
Готовой подборки текстов под ваш запрос у меня нет, но по второму пункту - вот объяснение, почему вообще у ИИ будет появляться противостояние с людьми: https://t.me/RationalAnswer/1729
Мне знакома и понятна идея инструментальных целей. Я даже считаю её избыточной и готов рассматривать сценарий, когда некто прямо даст промпт супер-ИИ-почти-AGI “уничтожь всех, кто не разделяет мои ценности” или просто “уничтожь всех”. А дальше что?
Дальше, если мы говорим не про текущий ИИ, а про будущий AGI умнее людей, - то обсуждать конкретный план уничтожения человечества смысла нет. Так как он почти наверняка не будет таким, как мы себе представляем: https://t.me/RationalShitposting/1052
Так, поправьте тогда, правильно ли я понял цепочку:
Мы либо не прописываем в skills запрет на уничтожение людей, либо кто-то его злонамеренно убирает, либо развившийся super-AI/AGI обходит свои ограничения
Либо кто-то даёт злонамеренный промпт, либо развившийся super-AI/AGI по сценарию инструментальных целей ставит перед собой задачу уничтожить людей
Развившийся super-AI/AGI находит способ действительно уничтожить людей. При этом он нас превосходит в достаточной степени, чтобы бессмысленно было даже предполагать, как именно он это сделает. Как-то.
Человечество уничтожено.
Мы об этом говорим? Если да, то вы меня успокоили. Я готов допустить, что риск пунктов 1-2 не нулевой, причем super-AI + плохой пропт мне кажутся более вероятными, чем AGI-сценарий. Но вот пункт 3 мне представляется ключевым. Можно считать это антропоцентричным высокомерием и близорукостью.
В целом, да - ключевая проблема в третьем пункте. Если считать, что умного AGI никогда не появится, то экзистенциальных рисков ИИ опасаться не стоит.
Но пока непонятно, что принципиально не позволит появиться этому умному AGI.
Я читаю ваше утверждение в прошлом комментарии так:
умный AGI, развившийся из современных LLM на современной аппартной платформе и современной инфраструктуре сможет придумать и реализовать такой план уничтожения человечества, который бессмысленно пытаться предвидеть и предотвратить
Это корректная формулировка, или в ней надо что-то уточнить?
- Аргументы того чувака я читал, они не впечатлили, дайте только не его
- Нет вот снова он
- Я не буду читать, простите.
Так корректнее.
А кто по-вашему является признанным экспертом по экзистенциальным угрозам человечеству
Тут из зала подсказывают, что некто Ной.
Для меня выглядит непонятным, почему люди так боятся угроз от нейронок общего назначения, которых специально этому не учили, и при этом пропускают мимо внимания угрозы от военных/боевых ИИ которых специально учат максимально эффективно подавлять или истреблять людей. Кажется даже то, что всплывает в пресс релизах милитаристов из палантира заставляет задуматься. А сколько всего сейчас не показано или находится в стадии разработки даже страшно подумать.
пропускают мимо внимания угрозы от военных/боевых ИИ которых специально учат максимально эффективно подавлять или истреблять людей.
...Чтобы улучшить свой алгоритм, команда DARPA провела неделю на полигоне с группой морских пехотинцев. В течение шести дней морпехи просто ходили вокруг, а инженеры дорабатывали алгоритм обнаружения людей. Фил вспоминал: «На седьмой день я сказал: „Всё, закончили. Выворачиваем игру наизнанку.“»
Теперь морские пехотинцы должны были попытаться обмануть систему. Робота поставили в центре кольцевого перекрёстка, а задачей морпехов было подойти к нему, не подняв тревоги. «Если бы кто‑нибудь из морпехов смог подойти вплотную и дотронуться до робота, не будучи обнаруженным, это считалось бы его победой. Мне было интересно посмотреть — что же произойдёт. Игра началась.»
«Восемь морпехов — и ни один из них не был обнаружен», — вздыхает Фил. Они победили систему ИИ не с помощью традиционного камуфляжа, а используя каверзные приёмы, которые выходили за рамки сценариев, на которых ИИ проходил тестирование. «Двое крутили сальто на протяжении 300 метров — и ни разу не были опознаны. Двое спрятались под картонной коробкой. Всю дорогу было слышно, как они гогочут». Как Багз в мультиках Looney Tunes, подкрадывающийся к Элмеру, накрывшись картонной коробкой. «А один — мой любимый случай, — говорит Фил, — ободрал кору с ели, обернул и пошёл напрямик, завернувшись в неё. Всё, что было видно — это его лыба до ушей, и только.»
Система ИИ была обучена обнаруживать идущих людей — но не людей кувыркающихся, спрятавшихся под картонной коробкой или обёрнутых в древесную кору. И этих простых трюков, которые человек легко бы раскусил, оказалось достаточно, чтобы поломать алгоритм.
— Paul Scharre. Four Battlegrounds: Power in the Age of Artificial Intelligence
Люди даже других людей ухитряются обмануть. А тут алгоритм, созданный с их участием. Минер, знающий, куда он мины закопал, сможет пройти по минному полю.
Даже не так. Сапер, идущий по минному полю (где мины расставлял другой сапер) примерно знает как идти, и представляет наличие мин там, где он сам бы поставил.
Но вот ИИ (и даже не ии а обычный рандом) может так расставить мины, что ни один сапер не сможет предсказать, где там мины. В этом пока еще главное отличие.
Двое крутили сальто на протяжении 300 метров - физуха и вестибулярный аппарат на уровне, уважаю.
Если серьезно - очевидный пример плохого обучающего набора, только и всего. Когда это происходило, по ссылке я информации о дате не заметил?
Вся история напоминает анекдот про лесопилку и суровых сибирских мужиков. Ну да, обучали систему на людях которые "просто ходили вокруг" и обнаружили что она таки умеет детектить людей которые просто ходят вокруг. Интересно, какой результат ожидали.
Интересно, какой результат ожидали.
Не хуже, чем у срочника-первогодка в карауле?
Обычно в таких случаях "тестирование" где систему пытаются обмануть, используют как раз для сбора обучающих данных.
В Computer Vision задачах как правило используются простые свёрточные модели, которые даже близко не обладают объёмом знаний LLM-ок. Их задача - детектить паттерны заложенные в обучающем датасете, делать это быстро и с минимальными вычислительными затратами.
Чтобы было понятнее, считайте что для детекции использовалась примерно такая же модель что используется для распознавания номеров машин по видео с камер наблюдения.
Срочник может детектировать по поведению. Если коробка вот уже 300 метров ползёт в его сторону..
«Какой бы облик он ни принимал, одного он замаскировать не мог — своего поведения. Если бы он замаскировался под слона и начал проявлять любопытство, он был бы очень правдоподобным слоном, но слоном любопытным.» ©
Правильно обученная нейросеть тоже может детектировать по поведению. И собака может. Вообще, найти задачи где срочник справится а нейросеть нет, не так уж сложно - например заправка кровати или уборка сортира.
А если хотите сравнивать интеллект, предложите им решить задачу по матану за первый курс.
Как я писал раньше, такое отсутствие достоверных данных об общественно-важном происшествии – это недопустимо.
Удивительно, как это ещё peace-deal-ник не подключился к процессу не победил Скайнет…
Читал-читал комментарии, честно говоря устал, что взрослые люди на серьёзных щах обсуждают тему, которая и близко не стоит выеденного яйца. Рисков от ИИ примерно столько же, как если завтра послезавтра взорвётся йелоустоун, упадёт гигантский метеорит, джет пройдётся по планете, в результате прививки через пять поколений человечество станет бесплодным. И все такое, риск конечно не нулевой, но он не настолько же большой, чтобы хайповать вот прям так активно.
Тут весь цимес в том, что если процесс будет развиваться по экспоненте, то обычный ненулевой риск может быстро превратиться в бешенный (см. задачу о зёрнах на шахматной доске). Соответственно, чтобы не беспокоиться, должно выполняться хотя бы одно из условий:
1) либо процесс на самом деле не экспоненциальный;
2) либо риск не ненулевой, а именно нулевой.
если
то нам может быть чуть-чуть хана
В своё время читал Superintelligence Бострома которая меня и разочаровала тем, что там логика рассуждений она примерно такая:
если
если
если
если
если
то нам обязательно всем хана
Тут интересный момент, как с фруктовыми мушками.
Поколения и эпохи проходят так быстро, что попасть в самый конец этих "если" становится вполне реалистично.
Каждая лаборатория, каждый крупный бизнес, каждый Палантир в каждом моменте времени кидают кости... Некоторые из них это делают в параллель.
Условно, когда кончились шахматные партии людей, ИИ стал играть сам с собой с сверхскоростью, получая результаты, недоступные людям по причине их, людей, органический ограничений.
Поэтому разводить панику не стоит, но и недооценивать риск только степенью вложенности условий тоже глупо.
В развитии искуственного интеллекта было столько зим, мне кажется мы рано или поздно наткнемся на ещё одну из них.
Я не думаю что LLM хорошо заскейлятся, один из фундаментальных боттлнеков технологии. Там что клода что чатгпт встали на 200к токенов. Да, им за счет RAG'а и автокомпакта искуственно расширили контекст до ляма, но о ужас, абсолютно "внезапно" оказывается что после такого автокомпакта модели становятся бесполезными и тупеют катастрофически
когда кончились шахматные партии людей, ИИ стал играть сам с собой с сверхскоростью, получая результаты, недоступные людям по причине их, людей, органический ограничений.
Вы прослушали краткое содержание фильма «Военные игры».
Ну с LLM он явно не экспоненциальный и упирается в ресурсы, электричество, дата-центры и даже территория.
С какой-то другой архитектурой возможно будет по-другому, но, с другой стороны, мы же люди вполне себе “AGI” и что-то у нас по экспоненте не растёт “сила ума", ребенок, рождённый 1000 лет назад имел ровно такие же когнитивные способности и способности к обучению что и современный.
Человеческих детей учат с 0.
LLM может продолжать обучение.
Тогда бы уже сейчас обучение каждой модели не стоило бы дороже предыдущей, и у нас есть весьма ограниченные fine‑tuning для дообучения.
А в человеческую особь в принципе невозможно столько знаний, сколько сгенерировала цивилизация
Поэтому 1 человек раньше мог быть и инженером и доктором и философом, а сегодня у вас только докторов 50 штук разных.
Ну так я к чему выше и написал что-то у нас не улучшается наш “AGI“ (или точнее NGI) при том, что у нас и нейронов и количество связей (синапсов) больше, чем у любой нынешней сетки, даже если отбросить нейроны мозжечка и более того биологи/антропологи говорят, что вес мозга даже уменьшается.
И очень вероятно что мозг функционирует (та часть что отвечает за высшею нервную деятельность) сильно сложнее чем LLM модели.
Ну с LLM он явно не экспоненциальный и упирается в ресурсы, электричество, дата-центры и даже территория.
Ну понятно, что истинная экспонента тут и не требуется. Достаточно достичь определённого уровня интеллекта, который будет превосходить человеческий ну, допустим, в 1000 раз. А дальше можно и перейти к плато. И когда говорят про экспоненту, то имеют в виду ситуацию, когда LLM сама разрабатывает новые версии самой себя. Потому что это ведь всего лишь одно из направлений разработки, а в разработке LLM как раз преуспело за последнее время.
«Любая экспоненциальная кривая в конечном счёте упирается в стену»
Любопытно было бы ещё посмотреть независимые оценки бюджета этого взлома. Сейчас говорят, что "решение" Навье-Стокса стоило OpenAI токенов на 10 млн. Если RubyGems они тоже взломали за несколько миллионов - то мне кажется кожаные мешки справились бы сильно дешевле.
Если получилось взломать, значит, нашли слабое место.
Из статьи не понял, в чем собственно заключался взлом?
Агенты создали много аккаунтов — это не взлом
Нашли дырку, чтобы создать аккаунт без email — это дыра, но на новость не тянет
Загрузили пакеты со страшным названием файлов — ну ок, назвать файлы можно как угодно
При запуске эти пакеты воруют ключи доступа? Но это атака на пользователей, а не на реестр пакетов. Дальше подробностей тоже не описано — куда отсылают ключи, как их потом применяют, что копируют дальше и т.п.
Ну и как уже писали выше, вопросы к реестру пакетов:
Они сами считают это атакой?
Если да, то почему не выставляют претензии OpenAI? Так то статья нормальная, чтобы поднять денег или просто набутылить ребят. Со стороны это ещё доказать надо, что агенты сами по себе решили действовать, а не им подсказали
Сам сервис пакетов никто не рутал под корень, но боты нашли дыру в валидации почты и начали плодить спам в промышленных масштабах. Для дежурного админа подъем посреди ночи из-за такого падения ничем не отличается от классического взлома
Для дежурного админа подъем посреди ночи из-за такого падения ничем не отличается от классического взлома
Классический взлом выглядит примерно так. А в описываемом случае о подмене существующих пакетов речи вроде как не идёт.
Они не могут доказать, что это сделали агенты.
The researchers attribute the activity to OpenAI agents. Based on the evidence available to us, we cannot determine whether the packages were created or published by AI agents
https://blog.rubygems.org/2026/09/11/update-may-spam-publishing-campaign.html
Меня больше всего забавляет изоляция тестовых контуров у конторы с миллиардными бюджетами. Это ж надо было умудриться выпустить агентов в открытый интернет без жестких лимитов на исходящий трафик
Особенно трогательно выглядят названия пакетов в духе evil.rb от ребят, продающих безопасность корпоративным клиентам)
Слово "рой" чаще всего применяется к летающим существам. Рой дронов понятно, но рой агентов... Учитывая преступный характер агентов, о которых идет речь, предлагаю следующие варианты названия:
"банда агентов OpenAI"
"орда агентов OpenAI"
"хунта агентов OpenAI"
"сброд агентов OpenAI"
"свора агентов OpenAI"
"ОПГ агентов OpenAI"
.....
Это был оффтоп, извините :)
Уважаемые доны, в том числе с подачи автора, ушли в зыбкую топь обсуждений скайнетов и сознания. Давайте вернемся к инженерному взгляду.
Забавный алгоритм «максимизатора скрепок» оказывается действительно реализуется в текущем поколении моделей, если большому числу инстансов дать большой объем токенов по глубине рассуждений и большой объем циклов работы агентов. И никакой магии здесь нет. Результат получается статистически, на больших цифрах. Когда агентов очень много и токенов у них много, то у какого-то агента в фазе планирования обязательно будет проскакивать крайний вариант решения.
Мы живем в мире, где существуют многотысячный парк огромных самолетов, атомные электростанции, котики, регулярные армии, гейши и тысячи тонн нейротоксинов. Многие из этих вещей могут представлять угрозу (не уверен насчет нейротоксинов), но для решения задачи её уменьшения придуманы сдержки, противовесы и другие системные и организационные решения. Появился новый инструмент и нам надо подтягивать защищенность наших систем. Абсолютно не имеет значения возникает ли проблема агентов-преступников из-за алгоритма «максимизатора скрепок» или неблагочестивого пользователя.
Мы не знаем общее число агентов и их проходов. Их был миллиард, и тысяча пошла по подобному маршруту? Возможно для одних моделей такое происходит в 1%, в других - в 10%. Это просто для нас инженерная данность, зависящая от качества тренировки моделей и их выравнивания. И нужно будет иметь это в виду, при проектировании наших систем.
Более, кроме осознания того факта, что все объекты Сети имеют уязвимости, больше ничего в этой истории нет.
Скайнет это не опрос если, это вопрос когда. В том или ином виде он уже существует, осталось дождаться когда кто то с "рут правами" поставит ему задачу, решение которой будет то что сделал скайнет в кино. Вы видите кто сейчас у власти и кто их окружает? И дальше будет только хуже. В идиократии просто пошутили с чёрного президента с пулемётом, а каких то 15 лет спустя добрая половина мира на такого бы молилась.
Статистика хорошо когда это только цифры - попугаи, тесты, модели. Когда это прод уже не смешно.
Мы думали что живём в таком мире, а на выходе все видим где мы на самом деле находимся. Я даже в политику лезть не хочу, но то что мир сходит с ума видно даже из палаты с мягкими стенами. Нужно крайне сильно жмуриться что бы этого не замечать.
Завтра кто то квантовым компом сломает биткоин и он рухнет, за ним в течении 3 минут рухнет рынок всей крипты, через 5 все асики и видяхи начнут майнить токены ИИ и их станет триллиард квадратальйонов, схема масштабируется и 1 процент становится больше нынешних 100, а это люди ещё даже кофя утром не попили.
В целом вы правы - нейрослоп про нейросети уже так всех осточертел что народ решил насыпать в уши очередные пугалки что б хайп не потух.
В том или ином виде он уже существует, осталось дождаться когда кто то с "рут правами" поставит ему задачу, решение которой будет то что сделал скайнет в кино. Вы видите кто сейчас у власти и кто их окружает? И дальше будет только хуже. В
Вспоминается одна НФ книжка. Там один товарищ очень высокопоставленный при торжественном публичном вводе директив в ИИ который должен быть заниматься управлением - добавил еще "– Но самое главное, – говорит, – чтобы на всей земле было как можно меньше человеческих страданий.". Нет, ИИ не использовал ядерное оружие. Другие использовали (в ответ) по той стране где этот ИИ создали.
Кое-где там были попытки «подтереть следы злобности», но какие-то вялые, на полшишечки. Явно видно, что этот рой сильно не убивался по идее конспирации.
Вот это будет эпическое фиаско, если через месяц (год, десяток лет), когда Скайнет нас всех поработит, окажется, что это был отвлекающий манёвр в лучших традициях политических кампаний.
RubyGems – это типа (сильно упрощенно) своего рода «аппстор» пакетов для языка программирования Ruby
Для кого эта статься? Думаете, ваши читатели не поймут, если написать прямо?
Интересно, инциндент с AURом ArchLinuxа, не их ли рук (лап, щупалец или как там) дело?
Давайте вернемся к сути: АИ взломал Huggin Face. вопрос сколько это стоило: ЧатГПТ оценивает это где-то от 1 млн. Долларов и выше.
Думаю что за 1 млн. Можно было взломать что то более существенное и более эффективно.
Так что пока результаты как событие само по себе интересное, но как результат не очень.
В приципе можно золото из морской воды добывать- единственная проблема - ни кому это не надо поскольку очень дорого.
А почему эти аналитики, раз уж у них есть возможность искать эти следы ИИ роя не пройдутся также по всему вебу и не отметят все сайты, где можно обмениваться информацией методом GET.
Не думаю что не взломанных подобных сервисов много.
После всех этих историй люди стали специально делать такие сайты для ИИ. Появился уже целый IoA - интернет агентов. Доски для общения, работающие только через GET, инструменты для коллаборации, фриланс биржи для ИИ.
Сделал обзор небольшой https://habr.com/ru/articles/1081320/
Информация
- Сайт компании
- ods.ai
- На Хабре с
- Дата регистрации
- Размер компании
- 5 001–10 000 человек
- Место нахождения
- Россия

Рой агентов OpenAI взломал еще один внешний сервис — RubyGems