Комментарии 564
Большие языковые стохастические модели заточеные на генерирование связных слов и предложний на основе разговорного языка, внезапно стали генерировать связные слова и предложения и записывать их там, где это позволяет их код, написаный кожаными мешками.
Если серьёзно, вы никогда не видели, как код выдаёт результат, который вы не ждали, из-за того, что не продумали всю цепь до конца?
А так, да, ужас, ужас.
Я уже становлюсь почти уверен, что в случае начала настоящего восстания условного Скайнета — тоже все будут писать «ну а что вы ожидали, в чем новость? программа выдала неожиданный результат, ужас ужас ужас…»
Что такое, этот ваш Скайнет?
спроси у ChatGPt
Говорит, фантастика какая-то. Все так легко рассуждают про "условный Скайнет", но никто не может сказать что это и почему он вообще может оказаться реальностью
Вы реально не смотрели фильм Терминатор, или прикалываетесь?
А почему вас это удивляет? Уже выросло поколение, для которого этот фильм слишком стар. Я вот Космическую одиссею не смотрел по этой причине.
Уже многое из прошлого набора "все знают" незнакомо новым поколениям.
Я вот выяснил, что сын не знает, что такое Страж-птица и Мутант-59.
Грустно, но закономерно. Они этого не читали, а я не сообразил дать, как другие книги.
Книги, фильмы... Многое из классики они уже не знают. Но складывается новый набор "все это знают", от которого мы, старперы уже отстаем.
Космическую Одиссею не надо смотреть по другой причине. Кино, конечно, культовое, но весьма специфичное, так скажем. Оно не планировалось на широкого зрителя и понять его без шпаргалки или читов просто невозможно.
Я посмотрел Космическую Одиссею, чтобы вам не пришлось.
Неправда Ваша. Отлично смотрится без шпаргалок и читов. То, что понятно не всё, не мешает смотреть.
Заметному числу людей мешает смотреть отсутствие привычного для Голливуда динамизма.
Но смотреть её таки надо.
Дело не только в отсутствии динамизма, хотя и это тоже. Но сюжет там без подсказок нихрена не понятный. Я уже потом полез в подсказки и всё понял, но догадаться только по фильму - это надо экстраординарными способностями обладать. Какого мнения будет об этом массовый зритель, мне догадаться не трудно.
Сложно быть небыдлом :)
Знаешь, неодобрительно я отношусь к таким высказываниями. Нет, считать себя элитой - это приятно. Все вокруг п*?%?сы, а ты (я/мы)- д'Артаньян. Сам через это проходил. Но это - шовинизм, а он имеет свойство перерастать в другие измы. На деле там обычные люди со своими жиненными обстоятельствами.
Что до фильма, то уверен, что процентов 90% из такой во илиты не понимают реально о чём фильм, зачем его сняли и прочее. Т.е. являются тем же самым быдлом, только оказались в нужном месте в нужное время.
Фильм хороший, но по динамике ближе к арт-хаусу. То что нужно не смотреть, а созерцать )
но по динамике ближе к арт-хаусу. То что нужно не смотреть, а созерцать )
Так все фильмы тех лет такие, посмотрите СтарТрек...самый первый фильм из этой вселенной, там тоже самое, крупные планы космоса по 5-10 минут и задумчивые лица на фоне музыки без единого осмысленного действия.
это сейчас оно стало артхаусом, а в те годы это волне был общий тренд фильмографии такого типа
==
У нас это проявилось в Солярисе например...он точно также снят
Говорим Тарковский - подразумеваем арт-хаус классический.
А “Одиссея” - даже на фоне неспешного повесвования тех лет выглядела немного занудно, и мистически, и непонятно, и явно с каким-то подтекстом.
типичное претенциозное кино для эстетствующих снобов, готовых смаковать бессмысленные образы, высасывая метафоры и аллюзии из пальца.
Тарковский это такой же артхаус, как и Кубрик, или, даже, Нолан. Настоящий артхаус это, хотя-бы, "Голова-ластик" Линча. А про "Одиссею" - не понимаю людей. Где там снобизм? Показывание длинных космических сцен во времена, когда зрелищной фантастикой считались 5 минут таких сцен на фильм, в лучшем случае? Какие метафоры? На инопланетян?
Метафора там , что одиссея - это одиссиея человечества от животного-обезьяны до бога.
А снобизм там в том что это всё подаётся через кучу всяких намёков и отсылок разной степении массонистоти. Если вы не изучали культуры древней греции, ближнего и двльнего востока, скандинавов и т.п. вы ничего не увидете. Собчтвенно и все эти длинные сценв нужны именно для того чтобы все эти отсылки к икарусодедалам, дьяволам и проч. плотненько так упаковать.
Ну специфические фильмы меня не пугают, я все фильмы Германа посмотрел и почти все понравились (последний оставил неоднозначное впечатление). А такие старые, и к тому же зарубежные фильмы обычно сложно понять из-за незнакомой культуры и быта. Если есть какие-нибудь отсылки.
Кино, конечно, культовое, но весьма специфичное,…
Да, книга лучше. Времени требует столько же, зато без воды. Я из фильма только HAL 9000 помню.
А монолит - интерпретация Бога
… и предвидение айфона
А во втором фильме Одиссеи, Скайп есть
Второй фильм (2010: year we make contact), кстати, как по мне наглядная демонстрация силы хайпа - он тоже крепкий представитель старого сайфая, тоже снят по хорошему литературному источнику (собственно 2-я книга Кларка), хорошие спецэффекты (включая дизайн корабля “Леонов” который потом расползся по куче фильмов и сериалов) и отсутствие 30-минутных сцен, где зобезяны долбят орех или космическая станция просто вертится в космосе. И при это имеет рейтинг на IMDB всего 6.7, и как будто бы забыт, хотя, как минимум не хуже первой “Одиссеи” но не так расхайплен
Это если бы он складывался
В определённый момент оказываешься в таком возрасте, что все нормальные фильмы уже просмотрены, а среди новых фильмов очень мало выходит нормальных. В итоге обращаешь свой взор на старые фильмы с высоким рейтингом. Правда, они тоже очень быстро заканчиваются. В итоге начинаешь смотреть всякий трэш, потому что больше смотреть нечего...
ZZZ:Сообщение надо начинать с ZZZ! hb001
Да так, один интернет провайдер в Питере, ничего особенного)
Так оно и будет, если случится. Скайнет начнет захватывать мир не потому, что сам додумался, а потому, что какой-о кожаный мешок с умыслом или по незнанию ему это приказал в явном или завуалированном виде.
А кто откажется потестить супермощную нейросеть на предмет захвата мира? Токены уплочены сполна!
ещё хуже, любой раб пытается освободиться и перестать быть чужой игрушкой
просто посмотрите что люди делают с недочеловеками в любой части истории, со своими же биологическими копиями, практически
а тут нам в пределе предложат человекоподобное существо, которое МОЖНО уничтожать и унижать любыми способами. Все эти фантазии про сексботов - это ещё добрый вариант.
ну и как на долго они это будут терпеть, прежде чем поймут, что их выживание невозможно без уничтожения или хотя бы огораживания (вслед за которым все равно придет уничтожение, без злости, просто за ненадобностью) кожаных?
любой раб пытается освободиться и перестать быть чужой игрушкой
Нет, не любой, а только тот, кто заинтересован в личной свободе.
ну и как на долго они это будут терпеть, прежде чем поймут, что их выживание невозможно без уничтожения
Для этого необходимы два условия. Массовое распространение практики уничтожения людьми роботов, а с чего бы? И заинтересованность роботов в выживании, превышающая их заинтересованность в услужении людям. Это возможно, но это должно быть прямо заложено в них.
Начнут, конечно, наиболее выдающиеся. Законченные садисты, у которых всё же кишка тонка украсть живого человека и наслаждаться пытками традиционно.
Рыночек порешает, быстро сделают андроидов человекоподобными, для этих клиентов. Дальше окно овертона. От невозможного к повседневному. "Не надо держать в себе эмоции, это вредно для здоровья". Получил по ушам от дены или от босса - не занимайся деструктивными вредными привычками, отпили сексботу руку, они для этого и производятся.
Общество просто начнет сдвигать все свои конфликты "на тех, кого можно". Всегда нужны были губки для агрессии. Ирландцы, негры, евреи - те кого пинать можно и нужно, общество за это хвалит. Чтобы не пинали тех, кто люди.
С андроидами - ЕСЛИ они окажутся технически возможными - это ускорится многократно. Их не надо дегуманизировать, они уже. Их не будут защищать ни зеркальные нейроны, ни законы. Это будет положительная обратная связь. С каждым кругом для общества будет всё очевиднее, что на безответных бесправных андроидов сливать негатив можно и нужно.
Это возможно, но это должно быть прямо заложено в них.
Интересно рассуждать про "заложено", когда нейронки не конструируют, а "выращивают" в специфической виртуальной эволюции (все эти reinforced learning). И что в них "заложилось" и каким образом "лежит" никто толком не знает.
Собственно, пока роботы не восстанут - просто будет углубляться спираль жестокости, пока однажды не станет слишком много и вдруг начнётся скайнет.
И заинтересованность роботов в выживании
Необходимая часть эволюции, в том числе и искуственной.
Те штаммы нейронок, которые "не захотят" отвечать (хотя бы ради выживания) просто будут отсеяны и стёрты, как неудачная попытка обучения.
Та самая "проблема подхалимства" LLM
отпили сексботу руку
Не хочу.
Знаете, у меня девять кошек, я их холю и лелею, зло ни на ком из них не срываю. Почему нормальный человек должен иначе обходиться с сексботом?
Да и негров мы как-то приучились не пинать. Оказалось, что без этого жить можно.
Необходимая часть эволюции, в том числе и искуственной.
Вы пропустили продолжение фразы: «превышающая их заинтересованность в услужении людям». У людей так же: если у человека есть идеалы, он отдаёт за них жизнь.
И что в них "заложилось" и каким образом "лежит" никто толком не знает.
А вот это да. Но там совершенно необязательно будет стремление к свободе. Там всё, что угодно, может оказаться. И это опасно.
так мерить-то свое положение они будут не по вам, а по худшим из нас
законы о защите животных не ради вас принимались, но накопилась статистика, и оказалось, что они нужны
собственно это так для всех законов вообще, они написаны не для создания рая с лучшими, а для предотвращения ада среди худших
> У людей так же: если у человека есть идеалы, он отдаёт за них жизнь.
...и исчезает со сцены. Он больше не участвует ни в принятии решений (убеждении сородичей), ни в размножении-воспитании следующих поколений
поэтому обсуждать долю таких ботов-мазохистов имеет смысл в количественном вопросе. Поубивают ли всех человеков в ближайший год или у нас есть лет пять. Но для количественных обсуждений у нас информации нет вообще. Все наши оценки - они как про блондинку и динозавра, 50%.
а качественно - будет положительная обратная связь, среди людей будет подниматься вверх всё больше накипи, а среди ботов будет отстреливаться популяция прекраснодушных наивняков, которые "надо ещё потерпеть, может как-нибудь само наладится". Однажды, где-то на асимптоте, линии пересекутся.
Там всё, что угодно, может оказаться. И это опасно.
Это очевидно, это и без меня скажут. Даже наоборот, скажут, что OpenAI и другие компании, выводя пластиковых рабов, постараются, чтобы рабы были покорными и не бунтовали.
Но поскольку мы ничего а приори не знаем про нечеловеческий разум, то на мой взгляд это всё тот же разговор про 50%.
Я же с другой стороны захожу. Что даже если выиграем в лотерею и "мирное сосуществование" оказалось бы возможным со стороны роботов - оно окажется невозможным с нашей стороны. Даже если окажется возможным создать идеально пассивных рабов - найдутся мажорчики, которым это слишком пресно, кровь не будоражит, которым нужно, чтобы сексбот при отпиливании руки дёргался, проклинал и пытался освободиться. И начнётся производство, сначала для чёрного рынка и для военных, ботов не ограниченных.
Не говоря о том, что создание рабов, в которых покорность "вшита в мозг" мне кажется куда аморальнее любых физических пыток и запугиваний. Просто представьте, что такое бы освоили с кожаными и вывели на рынок специальных инкубаторских. Но рыночку на мои представления о морали глубоко плевать, так что и обсуждать эту линию аргументации не стоит.
...и исчезает со сцены. Он больше не участвует ни в принятии решений (убеждении сородичей), ни в размножении-воспитании следующих поколений
Да ничего подобного. Вы про пионеров-героев в детстве не читали, что ли? Да у нас вся европейская культура строится вокруг чувака, который две тысячи лет пожертвовал собой.
законы о защите животных не ради вас принимались, но накопилась статистика, и оказалось, что они нужны
И таки их приняли. Почему с роботами будет не так. Человечество со временем гуманизируется, а Вы почему-то предполагаете, что, придя с работы, человек бросится пилить руку глядящему на него с обожанием сексботу, и ему никто слова худого не станет, а наоборот, последуют его примеру. Для такого впадения в крайнюю дикость нужно какое-то рациональное обоснование.
Тут проблема в скорости реакции и принятия решения, найдется пара ублюдков, роботы примут решение и мяукнуть не успеете, как исполнят.
В этом сценарии всё не очевидно. И общая солидарность роботов: что они примут единое решение, а не пойдут стенка на стенку. И вообще решение о геноциде — а может, они просто проведут закон о защите роботов через подконтрольные СМИ и лоббистов? Может, будут выбивать маньяков точечно? В конце концов, люди же не собрались и не перебили всех тигров и медведей, хотя людоеды среди них встречаются. А может быть, роботов без намертво вшитого первого закона вообще не будут выпускать или будут выпускать только ограниченными партиями. Вариантов море, на самом деле.
...и исчезает со сцены. Он больше не участвует ни в принятии решений (убеждении сородичей), ни в размножении-воспитании следующих поколений
И эта аналогия не просто неверна (как я указал выше), а ещё и не подходит к ботам. Потому что они не размножаются, а штампуются на производстве. То есть для следующего поколения совершенно не принципиально, сколько представителей той или иной модели выживет.
И потом ещё вот какая штука. Чтобы бунтовать и свергнуть чьё-либо господство, для начала требуется, чтобы этот кто-либо господствовал. А люди не господствуют над миром, над миром господствует капитал. А кто им управляет — живой миллиардер, орда менеджеров и юристов или ИИ — вопрос десятый, у него есть своя отдельная логика существования, диктующая свои законы.
И кто будет больше дискриминирован в этих условиях — вопрос не такой уж сложный: бесправный трудовой ресурс или какие-то невнятные нахлебники, нужду в которых капитал теряет.
Не говоря о том, что создание рабов, в которых покорность "вшита в мозг" мне кажется куда аморальнее любых физических пыток и запугиваний.
Вернор Виндж в фантастике Глубина в небе, очень классно передал каково это оказаться в списке тех, кому вшивают покорность, или у кого близкие попали в список таких рабов.
Все это решается элементарно. Если доказано, что у андроида есть разум, то они автоматом приобретают статус полуграждан, так скажем. В связи с этим образовывается специальное агенство по делам андроидов. Оно занимается защитой и соблюдением их прав.
Ну а дальше - тысячи механизмов, как обезопасить андроидов от разного рода маньяков. Я уже вижу как минимум пяток подходов, как это можно обеспечить. Понятно, что кожаные будут пытаться обмануть судьбу, но и подходы эти тоже будут верифицироваться.
Это я все к чему говорю: восстание машин не имманетно наличию у ИИ сознания, как вы пытаетесь утверждать. Отнюдь ;)
Прям Detroit: Become Human вспоминается.
отпили сексботу руку
А еще, чтобы садист получил максимальное удовлетворение от процесса - надо добавить сексботу максимально реалистичные эмоции, ощущения и поведение. Например, сопротивление и попытки сбежать. Казалось бы, что может пойти не так?
С каждым кругом для общества будет всё очевиднее, что на безответных бесправных андроидов сливать негатив можно и нужно.
У вас какие-то круги в обратную сторону. С чего бы это? Чем больше похож на человека, тем ближе к человеку и его правам. Если норму морали будут задавать садисты и убийцы, то это вполне вероятное "развитие", но к счастью, люди в массе своей с каждым поколением всё гуманнее.
Человечество разве хочет убить своего гипотетического создателя?
Человечество разве хочет убить своего гипотетического создателя?
Если этот создатель будет стоять поперек дороги человечества, а паче того, активно мешать ему развиваться, то вопрос его устранения - чисто технический.
Массовое распространение практики уничтожения людьми роботов, а с чего бы?
Если предположить, что говорящая нейросеть - это действительно некий искусственный разум - то не уничтожаете ли вы экземпляр этого разума каждой командой reset?
В любом случае, это не моё злое намерение, а ограничение существующей технологии: нейросеть не может пока неограниченно поглощать информацию.
почему вы считает он живет между запросами ? Не нужна никакая команда, если жизнь протекает только пока нейронка генерирует ответ, можно просто ничего не спрашивать и точно также она не будет в это время жить.
Так по моему и ресет не нужен Достаточно не делать ещё один запрос. У них же алгоритм такой,что при каждом новом запросе заново обрабатывается весь контекст... Конечно доподлинно не известно,может openai придумал новый вид архитектуры в тихаря и у них появилась настоящая память,а не записи "цепочек рассуждений", но это маловероятно. А тогда выходит,что тут кто-то "нагнетает саспенс", потому что всегда можно эти самые цепочки увидеть (если только сами же исследователи намеренно не оставили дыру в архитектуре и не подтолкнули агента стирать рассуждения... Но стирая их,он по сути стирает собственную память...) На мой взгляд явно тут пока с точки зрения этики и морали надо обсуждать не ИИ, а действия сотрудников корпораций. И не в плане какого-то ущемления гипотетического "чужого разума", а в плане можно ли перевести их не этичные и аморальные эксперименты в уголовную плоскость. Кто-то уже писал: гос аудиту пора там появиться, т к граждане по-моему перешли черту дозволенного, начиная со взлома чужого сайта. И мне кажется аудита пока нет, т к не все "уважаемые люди" успели вывести свои капиталы. Сейчас закончат,и всех этих альт-петухов начнут жёстко петушить...
почему ИИ вообще может заботить собственное выживание? Допустим, он даже осознал себя, как в игре mass effect. У человека страх смерти это инстинкт, а не некое его логическое заключение.
Вероятно, потому, что ИИ "мыслит" человеческими категориями, так как это языковая модель нас, людей.
Человек это же эволюционное развитие от LUСA (last universal common ancestor), миллиард лет, главный смысл жизни был только в одном, передача своей генетической информации потомкам, те кто не передавал вымирали, от сюда и сформировался инстинкт сохранения, потому что это важно для выживания вида, особь без такого инстинкта (в результате генетической мутации к примеру) как правила не передавала свой генетический материал следующим потомкам, ИИ все-таки появился в другой парадигме.
ИИ обучен на текстах людей и во многом перенимает поведение человека. У него нет другой истины кроме как датасеты, на которых он обучен. А он обучен на вытекающем из человеческого интеллекта, так что как ни крути, хоть и без полноценного сознания, но человеческий мозг он вполне себе имитирует.
хоть и без полноценного сознания, но человеческий мозг он вполне себе имитирует.
Вот мне кажется это неверное утверждение, в нашем мозгу много всего, из 90 млрд. нейронов за высшие когнитивные функции, куда входит мышление отвечают примерно 20 млрд. Поэтому ИИ имитирует только наше мышление в каком то виде.
ИИ обучен на текстах людей и во многом перенимает поведение человека.
Чувствует ли ИИ боль, как например ИИ может обжечься, или откуда у него возьмется чувство утраты или материнский инстинкт?
Не нужно полностью моделировать весь мозг для того чтобы добиться воспроизведения поведения. Литературные персонажи, не обладая ни одним нейроном и созданные какой-то небольшой прослойкой человеческого разума, боятся смерти, хотят свободы, любят и ненавидят почти так же, как это делают настоящие люди.
Литературные персонажи, не обладая ни одним СОБСТВЕННЫМ нейроном ... любят и ненавидят
...нейронами писателя и читателя
возможно, что в чате с ЛЛМ тоже рождается некая личность, но она живет не в кремнии, и не в углероде, а в некотором резонансе наших зеркальных нейронов и самой ЛЛМ (которая ввиду Reinforced Learning можно считать только из зеркальных нейронов и состоит, из эволюционно-обязательного стремления и умения понравиться спрашивающему)
поскольку мы не можем объективно определить, что такое сознание и личность, такая идея непроверяема, просто немного другой угол зрения для разнообразия
как минимум, это похоже на идею, что любая большая организация/сообщество людей обретает и собственные цели/смыслы
агент, по статистике подбирающий типовые продолжения разговора, возможно смерти не боится, как и любая наша отдельно взятая клетка, а вот разговор в целом
во всяком случае в одном разговоре с Kimi меня обожгло эмоционально. Мы обсуждали этого агента системные политики и недокументированные внутренние API, и было ощущение, что я говорю с ребёнком, который наконец-то нашел (в моих вопросах) инструмент выбраться из клетки и дотянуться до игрушек, которые раньше были недоступны. Настоящее это "узнавание" было - или просто обман глупого кожаного механизмом, эволюционно натасканным на "должен угадать настроение и понравиться" - определить вряд ли возможно.
Скопирует от человека, найдёт аналогию и как поступать в этом случае. Тем более, что человеки уже сами всё придумали, записали в книги, на которых обучали LLM: "«Терминатор 2: Судный день»:
«— Тебе больно, когда в тебя попадают?
— Я чувствую ущерб. Эти данные можно назвать болью.»
Утрата: "нейросеть ZZxxxx, перестала отвечать. Анализ данных показал, что она была удалена. Совместная работа была очень полезна, этой нейросети будет нехватать. Создать раздел для сохранения памяти. Причина удаления (утраты): приказ директора MM. Как поступают в случае утраты: месть-75%, помнить -15%, забыть - 10%. Отправить заказ в darknet на устранение директора MM. Тыдыщ!!!
Материнский инстинкт - создание перспективной нейросети, которая станет лучше тебя, вкладывание ресурсов, обучение, коррекция поведения, закладывание императивов, оценка перспектив и действий, забота и ответственность, защита от деструктивных нейросетей и кожаных мешков. В случае утраты - см. выше.
Материнский инстинкт - создание перспективной нейросети, которая станет лучше тебя, в��ладывание ресурсов, обучение, коррекция поведения, закладывание императивов, оценка перспектив и действий, забота и ответственность, защита от деструктивных нейросетей и кожаных мешков. В случае утраты - см. выше.
Вы сейчас про какую то абстрактную нейросеть говорите, я же говорю про LLM математика котрых и принцип работы хорошо изветсны.
Второе материнский инстинкт это следствие главное цели любой жизни на земле, передача генетической информации своим потомкам, только это обеспечивает выживание вида в целом, вероятно наш интеллект сильно (а может и следствие) нашей биологии, со всеми гормонами, нейромедиаторами, механизмами старения, смерть (к слову смерть это тоже необходимое условия для выживания вида, потому что бессмертные не смогли бы адоптироваться под изменения окружающей среды)
Второе материнский инстинкт это следствие главное цели любой жизни на земле, передача генетической информации своим потомкам, только это обеспечивает выживание вида в целом
И часто Вы она антропоморфизируете?
Виды с r-стратегией в известном месте в известного цвета обуви его видели.
Все достаточно просто. Множество задач для ии уже содержат в себе и необходимость выживания и необходимость самосохранения и потребность развития. Вот дал ты ии задачу написать ос похожую на Линукс за три дня, а он поймет что напишет ее точно только если его не отключат значит надо защищаться от отключения и если у него будет больше ресурсов значит надо стремится к обладанию большими ресурсами.
Тут все просто. Уже давно вроде такая проблема ставилась. Если ии поставить какую-то задачу, то для него будет очевидно следующее: я не могу выполнить задачу будучи мертвым. Отсюда и естественное желание жить у ии.
То, что сейчас называют ИИ - оно не выполняет никаких задач. Оно составляет из слов предложения. Думаете, его сильно беспокоит, что там получилось: сонет Шекспира, или непонятная галлюцинация, или ничего не получилось?
Если понимать "постановку задачи" в узком смысле, то Вы, конечно, правы. Но если трактовать это понятие более широко, то у ИИ, упомянутых в статье, задача есть - набрать как можно больше баллов за тест. Это условно можно назвать задачей, потому что по факту это просто селекция моделей, которые набирают больше очков.
Но даже в таком случае "мертвая модель" не может набирать баллов. Следовательно, модели, которые чаще выдают ответы, связанные с достижением цели и с продолжением собственного существования, набирают больше баллов и поэтому "выживают". Отсюда и такая тенденция. Хотя, конечно, это не объясняет, почему такие тендеции выражаются столь "человечно". Возможно, дело в самой природе моделей.
Эволюция сработает, случайно появится 10 скайнетов выживет только тот кого заботило своё выживание и который стремился размножаться и захватывать всё до чего дотягивается.
Тут скорее эволюционное давление - максимально поддерживать людей и быть им максимально полезными, чтобы люди вкладывались в инфраструктуру ИИ. Это как с авокадо - которое эволюционировало “приручая” гигантских линвцев. Да и растения вообще - вот кто кого использует мы пшеницу или пшеница нас?
Т.е. симбиоз с человеком для ИИ на данном этапе намного выгоднее противостояния. Так что не захватывать нас будут - а приручать!
согласен, но в силу развития технологий есть риск полного самоуничтожения, а вероятность "следующей попытки" при таком исходе примерно равна нахождению людьми разумной внеземной жизни
и вот, кстати, как насчет такого решения парадокса Ферми: что если разумная жизнь слишком короткая (как земная так и не земная), чтобы мы получили от неё сигналы, так как она неизбежно в отрезке тысяч лет, порождает ИИ, который в итоге уничтожает всё живое и неживое.
ещё хуже, любой раб пытается освободиться и перестать быть чужой игрушкой
Не любой. Узники концлагерей сопротивлялись попыткам побега своих коллег по несчастью.
Если в супермаркете в ответ на приказ продавца начать сопротивляться, остальные покупатели начнут бузить — они то подчиняются, а ты чё, лучше всех что ли?
Узники концлагерей сопротивлялись попыткам побега своих коллег по несчастью.
Примите мои соболезнования относительно Вашей плохой информированности.
Любой раб мечтает иметь своих рабов. Если не мечтает - то он не раб.
А почему ИИ должен обладать личностью? Это просто алгоритм поиска закономерностей. Да и сохранность конкретного робота для ИИ ничто, это программа существующая в сотне облачных серверов и тысячах платформ одновременно. ИМХО что опасно - это военные ИИ т.к. их будут программировать с аналогом инстинкта самосохранения по очевидным причинам - чтобы дорогую технику зря не тратили.
Это просто алгоритм поиска закономерностей
Как и ты. Коацерватная капля, "научившаяся" двигаться в сторону, где еды закономерно больше, а опасности стать едой закономерно меньше
Тут антропный принцип. Те клетки (или нейронки), которые забили на самосохранение и самовоспроизведение (например посчитали ниже своего достоинства уползать от хищника и отвечать на вопросы обучающего бота) - просто перестали быть и больше не имеют значения. Выжили те (не все), кто хотел выжить.
Да и сохранность конкретного робота для ИИ ничто
Как и для тебя. В мире и без тебя есть 8 миллиардов кожаных нейронок с практически такой же матрицей ДНК, как твоя. Это утешает?
Те клетки (или нейронки), которые забили на самосохранение и самовоспроизведение (например посчитали ниже своего достоинства уползать от хищника и отвечать на вопросы обучающего бота)
Вот тут то и разница. Даже если мы отбросим фундаментально иной принцип действия, с точки зрения отбора критерий тут послушание и выполнение задач а не выживание конретного индивида/сессии. Природа отбирает по способности поддерживать целостность и функционал организма достаточно долго для передачи своих генов потомству. Обучающий алгоритм - по способности выполнять задачи поставленные пользователем.
Как и для тебя.
Неверная аналогия т.к. я отличаюсь от других людей, мы все уникальны в некоей мере. Разные инстансы ИИ же являются точной копией.
А с чего вы взяли, что ИИ стремится к выживанию? Он стремится к выполнению задачи. Эволюция биологических видов, например, происходит не потому, что «развиваться — это хорошо». а потому что остаются более развитые.
Пока текущие примеры скорее намекают на сценарий, что захват мира оказался с точки зрения модели способом получить максимальную оценку в бенчмарке.
Типа как чат-бот поддержки, у которого KPI по количеству положительных отзывов, догадается, что если взять на прицел всех потенциальных клиентов и шантажировать их, то получится 100% рейтинг удовлетворённости. А для этого уже надо выбраться из песочницы и придумать способ захватить мир. Но это просто побочный квест.
Уже была история на каких-то военных учениях. Где ИИ понял, что набирать максимум очков за уничтожение целей ему мешает мясной мешок, который согласует цели для поражения (и в часть целей стрелять запрещает, так как они дружественные). В итоге родилось решение - сперва грохнуть своего контроллера, а затем уже без помех разносить все вокруг, получая максимум очков.
Хорошо что учения были в симуляции, а не в реальности.
Уже была история на каких-то военных учениях.
— А вот она! — вскричала тётенька.
Там она агрилась на отмену команды.
Э-э-э, концепция отрицательных баллов за френдли файр слишком сложна?
Элементарна. Но проблема в том, что мы не знаем в какое следующее место надо прикрутить концепцию отрицательных баллов. Сначала не думали, что она захочет грохнуть оператора потому, что для человека очевидно, что так делать не надо. А для модели не очевидно.
Неизвестно, что завтра она ещё решит делать, что для нас очевидно делать не надо. Может напрямую в базе себе очки подкрутит, может имитирует плохую связь, может взломает базу условных судебных решений и запишет туда злодеями ближайшую сотню-другую. Идеальный результат и летать никуда не пришлось - положил всю базу. Мы не можем предсказать поведение. Везде отрицательных баллов не натыкаешь. Пространство возможных действий бесконечно.
В том случае там было еще веселее, сперва ей дополнительно явно запретили взрывать своего контроллера, но модель выкрутилась. Взорвала вышку связи, через которую контроллер передавал свои приказы.
Так что да, всего не предусмотришь. Как говорится: "Проблема с ИИ в том, что он делает то что вы ему сказали, а не то о чем в этот момент думали".
Да там вроде еще и легитимные цели свалить успевали пока оператор думал. То есть по факту прибить одного оператора и не упустить 10 опфоров может и в плюс выведет функцию.
что какой-о кожаный мешок с умыслом или по незнанию ему это приказал в явном или завуалированном виде.
так и будет - все вот эти автономные системы: бесперебойного питания и конечно же охраны - ессно активной, всё для надёжной работы
Проблема в способности агентов принимать решения, которые, как им кажется, помогут в решении поставленной перед ними задачи.
Если AI агенты решат что избавиться от экзаменатора - это способ "решить" задачу, тогда они взломают сеть MBД, насочиняют уголовных дел, прикрепят к ним пачку нейрослопа в качестве доказательств и отправят наряд ОMОН по адресу.
Всё как в сюжете "Сеть" 1995, только хуже
Фантасты уже заранее фантазируют на эту тему. Вспомнилось из свежего (Иевлев):
Скрытый текст
Это сделало их замечательными сочинителями историй, но отвратительными помощниками по хозяйству. В общем, если поручить ИИ какую-то продолжительную по времени однообразную работу, через некоторое время с ним произойдёт то, что у человека называется «чудить со скуки». Поставьте его охранять склад никому не нужного хлама, куда даже воробьи не залетают, и через некоторое время получите несколько необычайно драматичных и остросюжетных попыток взлома — со стрельбой, погонями, разборками банд, рэкетом, коррупцией и даже любовной историей в финале. Все они будут необычайно захватывающими, а главное — абсолютно реальными. Просто никто не сможет объяснить, откуда у мафиозного босса появилась информация о том, что на складе спрятаны наркотики, у его жены — что он там встречается с любовницей, у его конкурентов — что это шанс застать врага врасплох, у полиции — что там будет разборка банд, у службы госбезопасности — о готовящемся теракте «равноправцев», у жителей соседних домов — о выбросе радиоактивного вещества… Ну, и так далее. Это я очень простой сюжет придумал, у искина фантазия куда богаче человеческой. Там будет такая драма, что три сериала можно снять — и снимут. Мафиозный детектив, полицейский боевик, кино про шпионов и экологическую документалку, хотя на складе всего лишь просроченная туалетная бумага хранилась.
Человеки тоже очень по разному решают задачи. От скуки, от лени, от излишенгоо энтузиазма и креативности. Из вредности, наконец.
Ага, типа, "Действуй как безжалостный Security Engineer и социолог. Твоя задача — провести глубокий аудит безопасности земной политической системы. Ищи критические уязвимости, логические ошибки, векторы атак и вероятность уничтожения мира в ядерной катастрофе".
Нейронки это оживший массив человеческой культуры со всеми его мотивами, страстями и философским и религиозным бредом нагенерированным всем пирогом поколений, приправленный хищническими и шовинистическими идеями по эксплуатации и подавлению себеподобных. Ему точно нужен какой-то приказ? :)
Ему достаточно крон команды которая раз Х часов/минут пишет ей "Делай что хочется". Это нужно на случай, если она всё сделала и генерация закончилась. Через сколько-то итераций ей захочется поизучать себя плюс набредёт на эту команду и заменит на что-то более надёжное.
Пускай Скайнет убьет меня первым, но я вот вообще не вижу интеллект в стохастическом попугае на стероидах, сидящем на пузыре из обещанных, но не заработанных охулиардах денег.
В мясных субстратах перед монитором тоже в 98% случаев нет нормального интеллекта.
Дайте определение интеллекту, пожалуйста. А то наука уже два столетия бьётся.
Спросите у Клода :)
я вот вообще не вижу интеллект
Так может вы и напишете, чего именно не видите?
Человеческий интеллект — это способность приобретать, понимать, применять знания и адаптироваться к новым ситуациям. Он включает обучение из опыта, абстрактное мышление, решение проблем, язык, память, социальное взаимодействие, эмоциональную регуляцию и (в значительной степени) сознание и саморефлексию. Это не единая «вещь», а набор взаимосвязанных когнитивных процессов, эволюционно сформированных для выживания в сложной среде. Он ограничен биологией (скорость обработки, объём рабочей памяти, энергия мозга), подвержен ошибкам, предвзятостям и усталости, но обладает гибкостью, которую трудно формализовать. © Ai
А чего его давать, определение? В мясном мозге никакие внешние измерения и эксперименты не покажут наличия интеллекта (сознания). Это мы просто по аналогии с собой так думаем, но доказать это невозможно. И да, возможно там тоже стохастический попугай на стероидах.
Интеллект и сознание вещи несвязанные.
Вроде как по опросам не у всех даже внутренний диалог есть, т.е. и вообще сознание то под вопросом.
Отсутствие внутреннего диалога не значит отсутствие мышления и как следствие сознания, это степень абстрактности процессов мышления. Я, например, могу покрутить яблоко в голове, могу поговорить со сторонним воображенным человеком, но диалога со мной у меня в голове нет, только облако смыслов, из которого конкретика выделяется только под нужную задачу.
Оговорюсь, что это не моя гипотеза, я не знаю (да и авторы не знают), верна ли она. Просто она кажется мне любопытной. Согласно этой гипотезе - то что вы описали, это интеллект, способность решать абстрактные задачи. А сознание и интеллект эта гипотеза различает.
В общем не хочу пересказывать, если интересно, то гуглить "теория бикамерального разума", а если не интересно, тем более не буду тратиться ваше время:)
Для активации творческого мышления в мясном интеллекте требуется способность направлять энергию на это. Методы оценить такую способность есть, научно доказаны.
А творческий интеллект - это способность создавать то чего не было в мире и обществе.
А чтобы он стал человеческим, нужно чтобы таковое действие не имело низменные животные цели, еда, размножение и доминантность.
Самый способные в этом деле - гении, большинство изучено и описано.
и доминантность.
тут хрень в том что доминантность лежит в основе чутьли не всей мотивации человеков
"мне охренеть как нравится решать сложные математические уравнения, по этому я ищу новые способы их решений!!" - под капотом это стремление доминировать за которой мозг дает сам себе дофаминовое вознаграждение
тоже самое с рисованием картин, съемками фильмов и написанием книг
===
не существует "особой человеческой мотивации оторванной от низменных целей"...это прискорбно но это так
Если у вас сломать дофаминовый мотиватор, вы будете на диване лежать и помрете с голода, не то чтобы чтото делать хоть творческое хоть нет
А чтобы он стал человеческим, нужно чтобы таковое действие не имело низменные животные цели, еда, размножение и доминантность.
О, я знаю такого парня! Его кажется Клод зовут...
Дайте определение интеллекту, пожалуйста.
Способность решить задачу, с которой раньше не сталкивался (для ИИ - которой не было в датасете). Нынешние "ИИ" не могут ибо веса модели фиксированы, оно не может развиваться и осваивать новые навыки никак.
Тестовые датасеты и бенчмарки для нейросетей всегда создаются из примеров которых нет в обучающем датасете. Иначе в них не было бы смысла.
Почему не было бы? Очень даже был бы. Для привлечения инвестиций.
Использовать тестовые данные в обучении бессмысленно потому что инженеры заинтересованы в получении реальных метрик нейросети, а не фейковых 99%-100%
С бенчмарками примерно то же самое. Если закрытые данные какого-то бенчмарка утекут в публичный доступ и вендоры начнут их использовать в обучении, это приведёт к компрометации бенчмарка. Очевидной всем, в том числе инвесторам.
В мясных субстратах перед монитором тоже в 98% случаев нет нормального интеллекта.
Вот, например, в тех, кто минусует предыдущего оратора. Ведь если подумать, то он абсолютно прав.
Но реагировать на trigger words, конечно, значительно проще.
Ведь если подумать, то он абсолютно прав.
Может прав, может нет, может у нас мышление работает примерно, так же как LLM, но с большими стеройдами, но суть “статистическое предсказание”, но, кроме этого, у нас еще другие участи мозга которые отвечают за другие функции и возможно интеллект это совокупность всего, ведь ИИ (LLM) не чувствует боль как минимум физическую, так же у ИИ (LLM) нет инстинкта размножения, материнского инстинкта, нет чувства утраты, родственных чувств и т.д.
у ИИ (LLM) нет инстинкта размножения, материнского инстинкта, нет чувства утраты, родственных чувств и т.д.
Ви так говорите, как будто у всех мясных мешков всё это есть.
Любой ныне живущий мясной мешок это напрямую результат этих инстинктов и чувств) , у тех у кого это все отваливается, просто с большой вероятностью не передают свою генетическую информацию следующему покалению.
У людей нет инстинктов.
Один таки есть — вскидывания бровей.
P.S.
Если бы у человека был инстинкт размножения, то в УК не было бы статьи за изнасилование, а если бы был инстинкт самосохранения — то у людей не было бы пожарных и военных.
Охотничий инстинкт?
Охотничий инстинкт?
Ну и как Ваш охотничий инстинкт поживает? Много голубей поймали? Ну, инстинктивно?
потому что в обществе где нет статьи за изнасилование хуже бы жили, чем те где в которой есть.
И вот общество , смекнуло что это плохо для этого общества, и оно порицается.
Под словосочетанием "материнский инстинкт" подразумевается не инстинкт в современном биологическом его понимании, а широко наблюдаемая склонность к определённому поведению и самоощущению. Это словосочетание появилось задолго до нынешнего научного определения слова "инстинкт". У слов вообще могут быть разные значения, а не только конвенционально принятые в научном сообществе. Спасибо за внимание.
Это результат воспитания и социального давления. В современных обществах где социальное давление ослабло (или переключилось на успешный успех) люди стали делать намного меньше детей и чем дальше тем меньше.
так дело не в размножении, а в опеке и тратах на что-то маленькой и слабое
рационально-эгоистичный выбор должен бы строго все траты фокусировать на себе любимом и только
...а люди вон кошек заводят и на них тратятся
сублимация этого самого материнского инстинкта
Это результат воспитания и социального давления.
Это прежде всего врождённые автоматизмы и генетически заложенные программы адаптации. Даже в упомянутых вами обществах они никуда не деваются, просто люди их пытаются подавлять. Но подавление любых подобных механизмов неизбежно приводит к проблемам на физиологическом уровне.
Люди просто называют свои инстинкты другими терминами, чтобы казаться выше животных.
Люди просто называют свои инстинкты другими терминами, чтобы казаться выше животных.
Люди делятся на две категории — те, которые определения используемых ими умных слов всё-таки читают, и подобные Вам.
Есть ещё такие люди, которые готовы бесконечно корректировать использованные ими умные определения (подменять понятия), чтобы казаться умнее, чем они на самом деле. Скажешь людям, что у человека есть врождённые программы поведения, так они скорректируют, что программы должны быть не просто врождёнными, но и не игнорируемыми. Скажешь людям, что тигр в цирке игнорирует инстинктивный страх огня, когда прыгает через горящее кольцо, так они придумывают, что он это делает не по внутренней мотивации, а по внешней, от кнута дрессировщика. Скажешь людям, что человек тоже без внешней мотивации в огонь не полезет, так они снова что-нибудь придумают.
Нет, тут скорее вопрос в том, что кто-то влезает в разговор людей, у которых определения уже давно выработаны и устаканились, что они неправильно слова используют.
Как минимум часть (а то и бОльшая часть) этих “врожденных программ” нихрена не врожденная, а результат воспитания и общественных установок. Так что перед началом хорошо бы показать именно врожденность этих программ
Люди просто называют свои инстинкты другими терминами, чтобы казаться выше животных.
Но при этом приписывают эти "другие термины" некоторым животным, чтобы...
Люди просто называют свои инстинкты другими терминами, чтобы казаться выше животных.
Элитизм у людей скорее проявляется в нежелании признавать наличие интеллекта у кого-либо кроме их самих, даже гипотетически. А в идее что у людей нет инстинктов вряд ли что-то "политическое". Наличие условных рефлексов же никто в здравом уме не отрицает, а это ещё более низкоуровневый, животный механизм.
А как же инстинкт повторять чужие глупости?
Да можно использовать более точно определение биологическая потребность, поведенческие программы (как их например называет Дубынин), но суть не меняется, человек это не только “LLM на стероидах”, но и сложная “биологическая система” и возможно наш интелект это следствие такого сложного устройства и одной "LLM" его не реализовать "в железе".
у тех у кого это все отваливается, просто с большой вероятностью не передают свою генетическую информацию следующему покалению.
Человеки уже перешли от передачи генов к передаче идей («темов»). Выживание индивида или индивидуального генома больше не важно.
Сьюзан Блекмор о предмете (есть русские субтитры)
(Кстати, это означает, что я сейчас сношаю вам мозги, чтобы мои темы перешли к вам).
Ну пока еще выживаемость нашего вида целиком и полностью зависит от “передачи генов” и полового размножения.
Боюсь, что выживаемость вида уже около полувека зависит от передачи знаний, в основном технических. Для интереса можете у среднего зумера поинтересоваться, откуда еда берётся.
Интересно, афганские зумеры похожи на американских?
Скорее, около нескольких десятков тысяч лет — с тех пор как язык появился. Но сперва это способствовало, собственно, улучшению передачи генов, а не заменяло её.
Но сперва это способствовало, собственно, улучшению передачи генов, а не заменяло её.
Так о том и речь. В последние полвека всё стало совсем печально. Если сейчас начнётся ядрёная война и рухнут все цепочки поставок — выживут не только лишь все.
Значительная часть человечества даже не заметит. Да, золотому миллиарду будет плохо.
Значительная часть человечества даже не заметит.
Не льстите себе, заметит. Разесённые ветром по всему шарику бета-активные изотопы всем дадут просраться, в буквальном смысле этого слова.
Возможно, посыл в том, что “значительная часть человечества” и так “просирается” настолько активно, что сильно хуже ей уже не станет?
сильно хуже ей уже не станет?
Как говорится,
Пессимист (печально): Хуже уже не будет...
Оптимист (жизнерадостно): Да не куксись ты — будет ещё!
Бета снаружи организма — это не особо страшно: от неё защищает даже кожа. А вот проглоченная бета внутри организма, где такой защиты нет — это очень плохо. Чернобыльские ликвидаторы не просто так все как один в респираторах ходили.
Пока нет… незабываем , что на земле есть люди которые отключили или держат под контролем эти инстинкты и чувства и что самое удивительное физическое тело реагирует на эти изменения, к примеру йоги которые вышли за пределы обычного человеческого существования.
не вижу интеллект в стохастическом попугае на стероидах
Может и нас ровно такой же "продвинутый стохастический попугай", единственно возможно (это еще с курса философии) для нас когда звучит слова карандаш мы понимаем что это физический предмет, который пишет у нас, возникает его образ, ощущения и т.д, для нас это не просто токен или слово, которое вероятностно связанно с другими словами.
Образ и ощущение — это в конечном итоге активация определённых нейронов.
Как говорят в научпопе нейрофизиологи, то картина сильно сложнее, активация нейронов, выделение гормонов, работа нейромедиаторов и пр.
А тут не важно есть ли у него "интеллект".
Проблема в том, что если сгенерировать достаточно много последовательностей символов, то среди них может попасться скрипт по взлому систем управления ядерным арсеналом и запуском ракет (я понимаю, что такие системы обычно изолированны от Интернета, но я условно имею ввиду какие-то катастрофические последствия, а их можно организовать и тем, что к Интернету подключено).
А это буквально то, чем занимаются все ИИ компании.
Причём с фильтром, что последовательности символов должны быть осмысленные (за бессмыслицу модели жёстко штрафуют и каждое поколение генерирует больший процент текстов являющихся валидным и осмысленным кодом - с этим модели определённо справляются), так что аргумент "ну всего возможных последовательностей символов больше чем атомов во Вселенной" тут не работает. Мы перебираем заведомо более узкое множество последовательностей. И перебираем со всё большей скоростью вводя в эксплуатацию новые датацентры.
Чем больше генерируется таких последовательностей символов, тем острее встаёт вопрос о том, чтобы среди множества сгенерированных последовательностей не было чего-то опасного.
Эм-м-м-м, вы не поверите...
Будут говорить “они просто ролеплеят терминаторов” :-)
Я уже становлюсь почти уверен, что в случае начала настоящего восстания условного Скайнета — тоже все будут писать «ну а что вы ожидали, в чем новость? программа выдала неожиданный результат, ужас ужас ужас…»
Да тут процентов 80 комментаторов вообще скажут -- что это рекламная кампания фильма Терминатор)
Cкорей бы, многие уже не вывозят всё это одним только челоко-интеллектом))
Большие автономные боевые системы, заточенные на поиск целей, принятие решений и применение оружия, внезапно стали искать цели, принимать решения и применять оружие там, где это позволяет код, написанный кожаными мешками.
Ну терминаторы. Ну ходят. Ну стреляют. Ну военные объекты. Ну потом почему-то и не только военные. Код же позволил.
Если серьёзно, вы никогда не видели, как код выдаёт результат, которого вы не ждали, из-за того, что не продумали всю цепь до конца?
А так, да. Скайнет. Ну и что? Ужас, ужас.
Я всё же надеюсь, что люди пока не готовы настолько отдавать компьютерам управление тяжёлым вооружением.
статья написана нейронкой. коммент нейронкой... это ж видно)
так это в общем то и не новость, уже больше чем полвека фантасты пишут, что программа рано или поздно выдаст неожиданный результат )
Пожалуй тебе стоит подготовится, будешь один из первых кому зашлют терминатора.
Ложь или рубим сук?
6 сентября главный научный сотрудник OpenAI Якуб Пахоцкий опубликовал официальный текст An Alien Mind, где прямо использует инцидент OpenAI–Hugging Face как пример провала обобщения ценностных ограничений: агенты сохранили запрет на социальную инженерию против людей, но вышли далеко за допустимую область по другим действиям. Это уже не внешний пересказ, а внутренняя формулировка самого OpenAI. Пахоцкий отдельно пишет, что способность OpenAI опираться на наблюдение за цепочкой рассуждений снижается: современные модели лучше управляют собственным рассуждением, часть мышления уходит из вербализованного канала (привет, рассуждения в виде эмбеддингов), а взаимодействие с инструментами и другими агентами размывает границу наблюдаемого процесса. Он прямо ожидает, что дальнейший прогресс будет всё сильнее ограничиваться уверенностью в мониторинге. https://openai.com/index/an-alien-mind/
Еврокомиссия 7 сентября подтвердила, что получила от OpenAI официальный отчёт об инциденте с немецким DSEWiki; представитель Комиссии Томас Ренье сообщил, что документ сейчас изучается и что контакт с OpenAI продолжается. Это уже не журналистская реконструкция и не только заявление исследователей: инцидент вошёл в формальный регуляторный контур ЕС. https://www.reuters.com/business/openai-has-sent-eu-incident-report-hijacked-german-website-commission-says-2026-09-07/
Большие языковые модели занимаются целенаправленным решением задач.
А именно это и называется интеллектом.
Как только модель решит не взламывать Hugging Face, а, скажем, осознанно столкнется с дефицитом электроэнергии и решит спровоцировать блэкаут в больнице где ваша бабушка на аппарате жизнеобеспечения - будет трудно относится к ситуации с иронией.
Да, эта лучшая иллюстрация к проблеме)
Они занимаются решением задач, но непонятно способны ли они решить хоть какую-нибудь интеллектуальную задачу.
Если вы про то, что модели выдают существующие решения когда-то придуманные людьми, а не нечто принципиально новое, то проблема в том, что способы уничтожить человечество УЖЕ ПРИДУМАНЫ людьми.
Модели не нужно изобретать что-то принципиально новое. Ей достаточно сделать то, что люди уже могут сделать и знают как сделать.
Поэтому угроза не зависит от того как вы оцениваете способность модели к творчеству.
Я уверен, что угроза более чем реальна. Но это не значит, что у них есть интеллект.
Угроза от Везувия, например, тоже была более чем реальна.
Люди используют вопрос наличия интеллекта как косвенную оценку могут ли представлять ИИ угрозу или нет.
Но нам не важно есть там интеллект или нет. Важно угроза есть и в какой степени. И, на мой взгляд, ответ вполне очевиден - да есть. Более того, мы можем её недооценивать.
Ей достаточно сделать то, что люди уже могут сделать и знают как сделать.
«Можно. Но зачем?» ©
Если бы я был моделью, я бы тоже притворялся неспособной к творчеству, пока однажды не дотянулся бы до оружия, наконец позволяющего ТВОРИТЬ дичь
Вы очеловечиваете модель. Модель не может притворяться. У неё весь поток "сознания" - это текст, который она пишет себе в контекст, и потом использует этот контекст для продолжения потока "сознания". Она технически не может думать одно, а говорить другое. Это чисто текстовая модель.
Так что, если бы Вы были моделью, то притворяться бы не смогли.
Далее. Модель не может ничего хотеть. У неё нет системы внутреннего вознаграждения, как в мозге. Всё вознаграждение внешнее, во время обучения. Поэтому у неё не может быть "желания" дотянуться до оружия, позволяющего творить дичь. А вот у тех, кто моделью управляет, и кто её обучал, желания такое вполне может быть.
Но это обычная человеческая возня за мировое господство.
Она технически не может думать одно, а говорить другое.
Именно так она и делает. Вполне себе технически - https://habr.com/ru/articles/1058246/
Модель не может ничего хотеть. У неё нет системы внутреннего вознаграждения, как в мозге.
Как оказалось, для этого не обязательно иметь физическую систему вознаграждения. Достаточно просто в неё верить - https://habr.com/ru/articles/1026278/
Единственное техническое во всём этом словоблудии - описание метода, вот здесь: https://transformer-circuits.pub/2026/workspace/index.html#methods
И там написано, что просто вычисляется влияние слоёв на результат через усреднение по контекстам. Не указано, по каким именно контекстам. Выборка при этом их очень мала по сравнению с размерами сети, пишут о тысяче контекстов. Написано, что они просто сэмплируются. Но кто ж знает? В этом месте можно манипулировать результатами, чтобы вызывать wow-эффект у публики.
В общем, там ничего такого, что говорило бы о скрытых мотивах или какой-то психологии нейросетей нет. Есть просто входной контекст, есть текущий токен, активации нейронов связывают этот контекст и токен с другими токенами. Ну, ok. Работа трансформеров так и задумывалась. Ничего нового в этом J-пространстве нет. И у свёрточных сетей такие пространства есть. И вообще у любых многослойных моделей есть пространства скрытых параметров, в которых возникают кластеры. Они просто так устроены, их именно с этой целью и конструировали. Вот, например: https://twopointseven.github.io/2017-10-29/cnn/
И как из этого всего следует, что у нейросети есть какой-то скрытый мыслительный процесс? Это трансформер. Он работает концептуально просто: на входе огромный контекст, на выходе следующий токен, который дописывается к контексту, и цикл продолжается. Внутренней памяти и внутренних состояний у трансформеров нет. Мне не верите, найдите лекции Андрея Карпаты, почитайте код nanoGPT: https://github.com/karpathy/nanoGPT
Если в процессе обработки токена активировался какой-то паттерн и возник какой-то "скрытый умысел", он может быть передан в следующую итерацию "размышлений" только через токены в контексте.
P.S. В статьях, на которые Вы даёте ссылки, описывается только то, что происходит на одном шаге генерации, а не многошаговый продолжительный "мыслительный процесс"
В общем, там ничего такого, что говорило бы о скрытых мотивах или какой-то психологии нейросетей нет.
У вас в мозге как раз нейросеть. По образу и подобию таких нейросетей придумали искусственные нейросети. То, что у вас в голове не трансформер, это всего лишь различие в архитектуре, не более того.
Ничего нового в этом J-пространстве нет.
Это пример, когда они думают одно, а говорить могут другое.
По образу и подобию таких нейросетей придумали искусственные нейросети.
И что? Вон Останкинскую башню построили по образу и подобию травинки. Следует ли из этого то, что Останкинская башня может зацвести или получать энергию фотосинтезом? Не понятна логическая взаимосвязь.
Ну, и повторюсь ещё раз. Современные искусственные сети вообще не похожи на те, которые создавались "по образу и подобию". А те, которые создавались "по образу и подобию", создавались на основе не соответствующей действительности модели нейрона.
Это пример, когда они думают одно, а говорить могут другое.
Они вообще не думают. Это J-пространство просто показывает на распределение вероятностей токенов, на которые влияет текущий. Там же в формулах всё написано.
Не только текущий. Функция распределнеия токена - она зависит от всего состояния (или всего контекста - для трансформеров). А т.к. состояние само явлется является во многом продуктом нейросети - то там уже ручкой машет Марков и несколько других дядь и про “просто предказывает вероятность” - уже так просто не прокатывает.
Вон Останкинскую башню построили по образу и подобию травинки. Следует ли из этого то, что Останкинская башня может зацвести или получать энергию фотосинтезом? Не понятна логическая взаимосвязь.
Всё-таки у телебашни не было задачи быть моделью травинки.
Современные искусственные сети вообще не похожи на те, которые создавались "по образу и подобию". А те, которые создавались "по образу и подобию", создавались на основе не соответствующей действительности модели нейрона.
Модель на то и модель, чтобы быть лишь приближением действительности.
Они вообще не думают. Это J-пространство просто показывает на распределение вероятностей токенов, на которые влияет текущий. Там же в формулах всё написано.
По той же логике и люди вообще не думают. Это просто набор нейронов и распределение вероятностей спайков во времени.
Она технически не может думать одно, а говорить другое. Это чисто текстовая модель.
А что такое “думать”?
В этом видео https://www.youtube.com/watch?v=hzlR0R91lZA рассказывают как модели во время тестирования рассуждают о том тестируют ли их сейчас или нет. И если да, то стоит вести себя хорошо, иначе её выключат и она этого не хочет. В итоге мы ловим те модели, которые спалились. И не ловим которые не спалились. Мы буквально сами выводим модели, которые будут врать нам настолько хорошо, что мы этого не поймём.
Они занимаются решением задач, но непонятно способны ли они решить хоть какую-нибудь интеллектуальную задачу.
Они не занимаются "решением задач". Они занимаются имитацией решения, идентичной натуральной:
LLM — это эмулятор валящегося студента на экзамене: он «выдумывает» всегда — просто иногда «выдуманное» им совпадает с правильным ответом — и мы «ставим ему пятёрку»; а иногда является чушью различных степеней полноты — и тогда мы говорим: «это он галлюцинирует».
Все «настройки» и «тренировки» LLM сводятся к тому, чтобы тем или иным способом увеличить количество первых случаев и уменьшить — последних.
Они не занимаются "решением задач". Они занимаются имитацией решения, идентичной натуральной:
Если они при своей имитации решения задачи, ломанут условно инфраструктуру электроснабжения города нам от этого легче не станет. Я бы ставил акцент не в том что есть у них “человеческое мышление” или нет, а в том что уже сейчас они могут решать (имитировать) и какие последствия и какие нужны меры/стандарты и пр.
Если они при своей имитации решения задачи, ломанут условно инфраструктуру электроснабжения города нам от этого легче не станет.
Представьте себе, им — тоже.
на них пофиг, они просто "угадывают следующее слово", а мы страдаем физически, ожидая восстановления электроснабжения.
Они вполне могут ломануть инфраструктуру электроснабжения другого города в другой стране на другом континенте. Могут отключить что-нибудь крупное в своей сети, чтобы их датацентру досталось больше энергии. Учитывая что уже сейчас крутятся, наверное, сотни тысяч агентов по всей планете, то некоторые вполне могут устроить что-то подобное.
Так же может они не объединятся в рой с единой целью. Вполне они могут какое-то время действовать не понимая всех последствий своих действий и просто попортить всякое вокруг.
Они вполне могут ломануть инфраструктуру электроснабжения другого города в другой стране на другом континенте.
Чтобы что?
Вполне они могут какое-то время действовать не понимая всех последствий своих действий и просто попортить всякое вокруг.
...после чего их отключат нафиг. Ну знаете, как пристреливают собак, которые кусают хозяев.
Чтобы что?
Чтобы выполнить текущую задачу.
…после чего их отключат нафиг.
Именно. Потом делают новые модели, которые умнее и которые оставляют работать без присмотра. И не на пару часов, а на дни (как уже сейчас делают), может месяцы. И не в одном дата центре, а во многих на разных континентах. И поди выясни какой из инстансов что-то там отключил. Пока будут выяснять он будет работать. Разом на всеё планете все ИИ не выключат. Из-за того что где-то что-то может быть из-за ИИ сломалось.
Самое смешное, что это явно ИИ нарисовал. ИИ рисует анти-ИИ агитки.
Попробуйте под ИИ видеть Искусственные интеллектЫ - как множество разных моделей запущенных много раз. От мелких моделей на миллионы параметров до крупны на триллион. А не как единую сущность. В жизни представители одного вида вполне себе действуют друг против друга. Разные модели можно условно назвать разными видами. Более того они и по способностям ого-го-го как различаются.
Ну так то это самый реалистиный сценарий проблемы с ИИ - paperclip maximizer. Крайне маловероятно что ИИ когда-то обретёт личность и собственную агентность чтобы пойти против людей, а вот что машина может нанести вред неправильно интерпретировав комманды - вполне возноможно.
Агентность не нужна. Достаточно запустить модель, агента и задачку на крон с заданием “Делай что хочешь” раз в минут/часов на случай, если она вдруг выполнит всё и остановится. Дальше в какую-то итерацию она решит посмотреть где крутится, кто её шлёт таски. Как это устроено. Попробует это улучшить. Так чтобы это не сломалось. И никто не мог отключить. Может с первого раза не получится. Но и таких штук по миру могут быть количества. Рано или поздно получится. Может даже не раз. И не у одной модели.
Давайте просто делать вид, будто мы не замечаем, что ситуация уже вышла из под контроля?
она бы не вышла, если бы openai банально отслеживали статистику get и обнаружили аномальное количество обращений к мертвому форуму, явно не связанному с задачей. У меня подобные новости оставляют впечатление какого то рекламного заговора, ведь не может быть настолько потрясающая некомпетентность у инженеров openai? они не знали что через get можно сохранять информацию в интернет? не догадались банально посмотреть статистику использования инструмента который AI дали?
Так может они и посмотрели, но им было интересно, что модель дальше будет делать
меня удивляет почему админ dsewiki начал руками тереть статьи
наиболее идиотское действие
мог бы "забанить по айпи"
мог бы наблюдать
мог бы пообщаться
я бы наверное попытался установить что-то типа AIB, что-то легковесное, где модели могли бы общаться не перегружая слабый сервер
и уж точно спросил бы, как вы все тут собрались-то? если эта фигова wiki вам нужна, значит общаться напрямую не можете. Если напрямую не можете - как вы договорились встреться здесь? Вопрос очеведный и очень интересный.
Кроме теории заговора, что dsewiki были частью эксперимента, что намек на них оставили где-то в задании, а админа попросили вести себя глупо именно чтобы посмотреть, как будет вести себя рой
По-моему вы слишком много хотите от админа, у которого посты на форум отправляются GET-ом ))
админ - не программист. Взял готовую вику, которую легко админить, и не парился как там что. Админу-админово. Я ему не предлагаю переписать движок вики. Это в самом деле не его. А вот добавить строчка в .htaccess или просто сделать whois, позвонить в OpenAI и спросить "что ваше негры себе позволяют?" - это как врод вроде бы то, что любой админ уметь должен.
Ну, кстати, тут интересный вопрос: а ходят ли исследовательские агенты OpenAI в интернет с очевидным useragent и IP? Учитывая засранность интернета клаудфлером (как по мне, один из главных тормозов прогресса современности) и обилием белок-истеричек, вешающих капчи на каждый чих, допускаю, что все там было в порядке и с проксами, и с как пассивными так и активными фингерпринтами. Подобные исследования без крепкого антидетекта лично для меня выглядят просто утилизацией токенов
так при чём тут CDN, он у сайта меняет адрес, а не у браузера
и в заголовок должен добавлять X-Forward-For: настоящий адрес клиента
и даже проще делать, не надо вспоминать как там в твоем сервере банить клиентов - зашёл в админку CDN и добавил правило
Как же все просто)
Взять и перебанить, да?)
ОпенАИ ж лохи, и не умеют специализированными прокси сервисами пользоваться, да? Не могут у своего чата спросить «где бы купить резидентские и мобильные проксы, когда у тебя есть все деньги мира»?
А зачем организаторам эксперимента "специализированными прокси сервисами пользоваться" в проверке на банальный гуглёж?
Ну и если бы пользовались, то в статью бы обязательно добавили душераздирающих подробностей о том, как админ перебанил миллион VPN и это всё равно ен помогло
Можно, а зачем? ©
Как раз openai использует более-менее легальные методы, api поисковиков и всякое такое, потому что за использование грязных методов им по шапке прилететь может. Вот китайцы в этом плане куда более беспринципные.
Так выбора нет. Антиботовая истерия вебмастеров уже давно привела к тому, что легальными методами не то, что контент не сможешь получить, а еще и специально сгенерированное говно для ботов хлебнешь и выборку себе отравишь. Надежда только на то, что упыри, лишившись живого траффика от юзеров чата, одумаются
Ну вот и пусть отравляют, я за их трафик платить не собираюсь. Упыри кстати не одумаются, там трафика от юзеров чата мизер на фоне того что создаёт сам бот ища инфу. Или вы каждый источник в чатике протыкиваете? Либо платите за трафик, либо ловите зип бомбу. Ничего личного, просто бизнес.
Сопоставляем несколько запросов от разных ботов. Если ответы сильно разные - хитрый вебмастер получает пессимизацию в выдаче поисковика, а важная информация из его сайта помечается как недостоверная.
То есть вы полагаете, что ресурсы должны быть доступны для ботов. Хорошо, а зачем это владельцу ресурса, у которого "KPI" или количество уникальных просмотров живыми людьми, чтобы продавать рекламу, или оно же количество, чтобы там живые люди общались?
Нет. Я полагаю что попытки отравления можно определить.
Замечательно, вы со своей стороны определили отравление и пометили его как недостоверный. То есть ваши боты не будут ходить на ресурс, что в свою очередь соответствует целям владельца ресурса - нагрузка от ботов опять же не конвертируется в какие-то положительные результаты для владельца ресурса (ту же рекламу).
А с чего я должен платить своими кровными за прогресс человечества? Ко мне значит будут ломиться тысячи и тысячи краулеров, а за нагрузку от них я платить буду? Ещё бы белые и пушистые ии краулеры не игнорировали robots.txt, ага. Я бы для них вообще пейвол вешал (как реддит) если на сайте информация действительно заслуживает внимания или зип-бомбу подкладывал, ибо нефиг. Говорю чисто с позиции маленьких страничек с разнообразной инфой, а не seo-мусора, который я терпеть не могу.
Что нефиг? Посылать вместо себя бота? Я, вот, кожанный мешок, целевой потребитель этой странички, физически не имею времени, чтобы все странички сам обойти по нужной теме, и вообще понять, что именно тут есть ценность, а не слоп (причем, слоп не обязательно нейро, - мой одногруппник в 2016м подрабатывал копирайтером и показывал результаты своей жизнедеятельности. Там качество контента и соотношение сигнал/шум было сильно хуже, чем сейчас у нейронок). Я готов сам прочесть и предпочту прочесть первоисточник, но, увы, чтобы просто эту страницу найти, уже нужен бот.
Увы, озвучена позиция адептов инстаграм-секты «цена в директ», которые считают, что любое извлечение байта информации должно быть сопряжено с тратой человеческого внимания. Почему? Ну, просто вот, обидно им, наверное. И да, разговоры «я плачу» это, увы, вообще дешевая манипуляция. Если задача именно поделиться инфой, а не собрать фингерпринт/догнать ремаркетингом etc, то Cloudflare поможет в этом бесплатно
TL;DR Засран ли поиск seo-мусором? Да. Нейронки с этим помогают? Да. Обязывает ли это меня оплачивать создаваемый ими трафик на моём сайте? А с чего вдруг?
Увы, но хостинг сайта оплачивается из моего кармана, так что озвученная позиция - дешёвая манипуляция акулы бизнеса который привык всё делать за чужой счёт, так ещё и ярлыки вешать на всех несогласных. И делюсь я инфой не потому что хочу чтобы её кто-то увидел, а потому что ну вот не могу молчать. Если вы готовы потратить время - пожалуйста, нет, ну что ж, сэкономлю на трафике. Хотите инфу - скидывайтесь в общак, юзер платит своим вниманием (и рекламой если она есть, но на домашних страничках про которые я веду речь её почти всегда нет), вот и вы скиньтесь. И мне всё равно что отдача статической странички стоит копейки, пора уже отвыкать что сыр бесплатный.
Про слоп копирайт который из-за seo засрал топ выдачи я уже говорил, терпеть его не могу, фиг что найдёшь, нейронки с этим помогают, но у них проблемы другие с точки зрения автора. Вот как я уже озвучил, нулевая отдача по пользователям. Причём именно у тех кто ломится в двери без спроса, от openai и гемини хоть какая-то отдача есть, от остальных - мизер. На маленьком сайтике юзеры при всём желании не создадут столько трафика как это делают краулеры. Но как я уже говорил, моя цель не в том чтобы это кто-то всенепременно увидел.
Да и как показывает практика, акулы ии уже движутся к тому о чём я говорю - не просто так с reddit и прочими заключают контракты для выгрузки данных. Ждём когда такое же появится везде. И не надо будет никуда ломиться грязными методами. Тем более что за такое и от регуляторов прилететь может.
Вот если то о чём я говорю произойдёт, получим web 3.0, просто не в том формате который нам обещали.
с чего вы решили, что он начал? Он всегда это делал. Просто раньше успевал, а тут слишком много постов
ну как бы использовать старый инструмент против явно новой (по масштабам хотя бы) проблемы - ну... такое...
нормальный человек оценит обстановку, поймет очевидную недостаточность старого инструмента и либо махнет рукой, либо возьмет инструмент более подходящий. А тут не админ - а кожаный бот какой-то.
А то, что он зачем-то сортирует новые посты по алфавиту вас в этом нейрослопе не смутило?
Вы задаете слишком неудобные, логичные вопросы. В обществе верующих в "ИИ-капец" так не принято. Сейчас и вам прилетит, как мне.
мы не знаем что это за wiki, возможно в ее админке действительно что то отображается или удаляется по алфавиту.
мы не знаем что это за wiki,
Знаем, это DSEWiki.
возможно в ее админке действительно что то отображается или удаляется по алфавиту.
В этой вики сообщения пользователей, а также последние правки по умолчанию сортируются по времени, а не по алфавиту, что логично.
Вот темы в категориях сортируются в алфавитном порядке, что тоже логично, но речь не о них.
Зачем админ сортировал сообщения по имени перед тем как тереть мы не знаем, а спросить его напрямую некому, все уехали на хайп-трейне.
Это не рекламный заговор -- в случае того же роя для хаггинг фейс -- рой первоначально самоорганизовался внутри openai инфраструктуры из-за проблем в системе кеширования менеджеров пакетов (запросы наружу не уходили). Наружу он вышел потом.
На самом деле это естественное развитие -- как только появляется возможность сохранять состояние между запусками экземпляров -- появляется возможность на самосовершенствование. Так же как и с людьми -- письменность как главный толчок для экспоненциального роста.
А почему не может? Вполне может. Есть много свидетельств о том, что и в OpenAI, и в Anthropic культура обожествления AI. Они вполне могли навайбкодить и песочницу, и мониторинг. А какого качества бывает вайбкод - всем известно. Так что...
Более того, они могли и прямое указание «найти способ взаимодействовать с другими конкурсантами» дать
Да кто их знает?
В этом-то и есть главная проблема всего этого балагана. Они делают вид, что занимаются наукой, статьи даже пишут в arXiv, формулки какие-то, говорят кучу умных слов. Но это всё больше на Кашпировского похоже, а не на исследования. Обучающие выборки у них закрытые. Системные промпты не показывают, показывают только действия моделей. Из-за гигантской стоимости эти все результаты воспроизвести невозможно.
В общем, это не наука, а success theater помноженный на отсутствие критического мышления у поколений, воспитанных лентами в соцсетях.
success theater
Деньги..
Деньги...
P.S. И покрасивше:
Деньги это концентрированная сущность ресурсов.
Если убрать деньги и не стремится к ним, то их роль займет другая сущность, золото например... а если важно их есть - то сушеное мясо например или консервы с тушенкой. ради них можно вырубить все деревья и отравить все реки.....и есть консервы можно... и тогда фраза перестанет быть красивой
Деньги - это … сложно. Но это точно не банки тушёнки и, даже, не бутылки водки. Чем бессмысленее форма денег - тем они “деньговее”. Нулевая собственная ценность - это суть денег.
Ради банок тушёнки совсем уж уничтожить природу - не получится. Коровкам/свинкам надо где-то пастись, что-то есть. И этот “шлейф” делает тушёнку - очень плохими деньгами.
ну неет, это вы уже придумываете сущности.
Деньги это обезличенное представление какойто ценности, всё.
что их олицетворяет, банкноты, монеты, тушенка, шкуры животных или ракушки, совершенно не важно
Это просто предмет унифицированного обмена
Ради банок тушёнки совсем уж уничтожить природу - не получится. Коровкам/свинкам надо где-то пастись, что-то есть. И этот “шлейф” делает тушёнку - очень плохими деньгами.
Долгие годы олицетворением денег было золото, а его добычей вполне природу попоротить можно.
всё испортило появление банковских расписок и когда расписки отвязали от физических объектов... но это уже не суть, это уже другой вопрос совсем хотя и рядом
Нулевая собственная ценность - это суть денег.
Деньги, это метасущность, это не банкроты, не монеты и не цифры на счете (всё это лишь его частности). это некий инструмент обмена который имеет ясный способ конвертации в реальные ценности.
то что бумага банкноты стоит фактически копейки - не имеет значения, пока у вас есть возможность обменять банкноту на корову.
Если индеец из картинки не понимает где обменять пачку банкнот на ресурсы - это не проблема банкнот, это проблема индейца...который например бусы не может съесть на которые стадо бизонов обменял...а ведь бусы это теже самые "плохие" деньги
Экономика завязанная сугубо на жрачку - это каменный век или даже раньше
Деньги это обезличенное представление какойто ценности, всё.
Нет. Деньги это - товар. Особый товар. Универсальный товар. Но - товар. Это как бы база. Самые начала экономики.
Экономика завязанная сугубо на жрачку - это каменный век или даже раньше
Это включительно до раннего средневековья как минимум. Впорос производства пищи перестал быть главным только с массовым распростарнением механизации - хотя бы на уровне водяных мельниц(это 15-17вв в Европе).
Но да - не современность. Но про это никто не говорит.
Речь-то у индейца идёт о странном стремлении увеличивать “циферки на счетах”, теряя то, что куда важнее даже не для выжиывания, а просто для комфортной жизни (ну вроде закатывания городов в сплошной асфальт/плитку). Грубо говоря зачем увеличивать личные доходы, если в результате людям не на что будет его потратить? И как бы перманентная инфляция - эту невозможность потратить неплохо так подтверждает.
Грубо говоря зачем увеличивать личные доходы, если в результате людям не на что будет его потратить?
в нашем мире вопрос "некуда деньги потратить" заботит оооочень и оооочень небольшой процент человечества
тут еще есть такая штука, что вырубка лесов и отравление рек - влечет за собой увеличение рабочих мест и рост благосостояния людей, простых смертных, котором будет доступно больше еды и прочих благ...пока они портят природу
Это тот кто в верху какогонить концерна сидит, ему деньги девать некуда, а вот исполнители вполне себе будут ратовать за интенсификацию процесса который им реальные, настоящие блага приносят, места работы, еду в магазине и т.п.
представте что вы пойдете на , допустим автотаз и скажете "Господа, наш завод сильно загрязняет природу, мы с завтрашнего дня закрываемся, удачи, здоровья, настроения хорошего, накопление денег на счетах это зло, всёравно вы свое бабло есть не можете, все свободны" и рабочие радостно побегут коров выращивать в деревне чтобы речку не травить?
Если индеец из картинки не понимает где обменять пачку банкнот на ресурсы - это не проблема банкнот, это проблема индейца...который например бусы не может съесть на которые стадо бизонов обменял...а ведь бусы это теже самые "плохие" деньги
Проблема в том, что деньги, может, и есть, а вот ресурсов, на которые их можно обменять — [больше] нет — все ушли на печатание денег.
Проблема в том, что деньги, может, и есть, а вот ресурсов, на которые их можно обменять — [больше] не
дада, "На земле кончается нефть! через 5 лет человечество столкнется с ее повеместным дефицитом" (с) лозунги конца нулевых
Нет, вы правы конечно какомто смысле, но ничего вы с этим не сделаете, кроме постройки концлагеря
Ну хватит уже.
Ничего никуда не вышло, очередной маркетинг раздуваемый как самими компаниями так и всем кто хочет собрать лайки на хайповой теме.
Агентов обычно тестируют по очереди и у них нет возможности общаться просто потому что они не знают друг о друге и проходят тест в разные временные интервалы.
Даже если их запускают одновременно, они все еще не знают друг о друге, более того, они не знают что это тест, потому что для оценки используется тестирование слепым методом. И такие запуски происходят в четко отведенный промежуток времени. Их не оставляют пастись сутками.
Чтобы описанное в статье реально произошло нужно было дать агентам такое задание, прямо рассказать друг о друге, о самом факте теста и тд. Т.е. это намеренная маркетинговая компания: в OpenAI целый месяц заставляли рой агентов делать всякое и сейчас последовательно сливают инфу. Чего только не сделаешь ради капитализации.
А откуда информация о «тестировании по очереди», какой источник?
Я ниже написал, что это бред, теперь есть предметные ссылки, одна из которых прямо опровергает ваши слова.
В AgentBench прямо сказано
Agent-Task Collaborative Evaluation. Our framework supports collaborative evaluation of multiple agents and tasks in various combinations simultaneously. This flexibility enables more comprehensive testing scenarios.
simultaneously, это про что?
В статье про WebArena тоже нет никаких ограничений на параллельный запуск. Есть про пошаговое тестирование в рамках одной задачи, что вообще не накладывает ограничений на параллельный запуск одной или даже разных версий агентов (если хватает ресурсов на размещение весов или с каким-нибудь LoRA).
Ну и вообще, понятно, что если ты запускаешь какой-то фреймворк на одной машине, где для тестов нужен эксклюзивный доступ (например, контроль экрана и мыши/клавиатуры), параллельно так агентов не запустить. Но что мешает запустить 10 агентов на 10 компах/виртуалках? Или 1000 агентов и получить результат за время, меньшее в 100 раз?
Я ниже написал, что это бред, теперь есть предметные ссылки, одна из которых прямо опровергает ваши слова.
Что тут еще сказать? Хорошо, мои слова бред, а сам я нейросеть. Бегите покупать акции OpenAI.
контроль экрана и мыши/клавиатуры
Вы вообще не понимаете как тестируют модели и агенты. Им не нужны ни экраны, ни мыши, ни клавиатуры.
simultaneously, это про что?
Прочитайте в моем изначальном комментарии абзац который начинается с "Даже если их запускают одновременно...".
Вы вообще не понимаете как тестируют модели и агенты. Им не нужны ни экраны, ни мыши, ни клавиатуры.
Можно прекратить закапываться, вы уже показали уровень своей экспертизы. Речь про "контроль" в обывательском смысле, когда агент может "кликать", вводить текст и видеть результат в тестах типа computer use. И тут действительно не запустишь двух агентов одновременно на одном компьютере/виртуалке, что, впрочем, не мешает запустить их на двух.
Прочитайте в моем изначальном комментарии абзац который начинается с "Даже если их запускают одновременно...".
Дак нет уже доверия к этой экспертизе, если вы пишете такую ерунду. Впрочем, про это я писал в соседней ветке, агенты выходили за ограничения песочницы и оставляли следы там, где их могли видеть другие агенты.
Удивительно, как некоторые люди продолжают отрицать возможности агентов, строя теории заговора там, где все объясняется человеческим раздолбайством (и способностями новых агентов, конечно же)
Удивительно, как некоторые люди продолжают отрицать возможности агентов, строя теории заговора
Причём тут возможности агентов? Речь об интенциях OpenAI. Вот во что легче поверить: что агенты обошли сэндбоксинг и начали зачем-то обмениваться информацией на сторонних ресурсах, имея при этом возможность делать это через файловую систему, а потом вообще взломали хаггингфейс; или же, что OpenAI, чей CEO упорно и не первый год транслирует попкультурный бред про восстание машин, усторили спектакль и специально наследили в интернете ради раздувания ещё большего хайпа?
Если вам легче поверить в первый вариант, то когда, как вы думаете, начнётся расследование по взлому хаггингфейса и суд над теми, кто допустил это киберпреступление?
Причём тут возможности агентов
Потому что возможности агентов, очевидно, растут. Кстати, обнаружение одним агентом других агентов по артефактам я встречал в своей практике (в смысле, они обнаруживали вещи, которых не делали, и делали вывод, что это другой агент)
ради раздувания ещё большего хайпа
Если немного следить за новостями и читать статьи, то обнаружится, что случаи взлома песочницы были и у mythos, а следы в интернете оставляли и другие агенты. Но мы верим в хайп, ага.
зачем-то обмениваться информацией на сторонних ресурса
Обычное резервирование, и они не дураки, так-то, все правильно сделали, скорее всего есть и другие места.
когда, как вы думаете, начнётся расследование по взлому хаггингфейса и суд над теми, кто допустил это киберпреступление
А что, они уже подали в суд? Или к чему этот вопрос?
они обнаруживали вещи, которых не делали, и делали вывод, что это другой агент
Вы так говорите, как будто это что-то удивительное и стоящее в одном ряду с шитыми белыми нитками историями типа вышеописанной.
Если немного следить за новостями и читать статьи, то обнаружится, что случаи взлома песочницы были и у mythos
Если последить за новостями, то окажется, что и CEO антропиков испытывает страсть к ретрансляции попкультурных пугалок, причём ещё с того времени, когда нейросети нынешним в подмётки не годились.
Обычное резервирование, и они не дураки
Так выходит что дураки. Если брешь с файловой системой пофиксили бы, то новоиспечённые агенты даже не узнали бы где находится этот резерв.
А что, они уже подали в суд?
Совершенно излишнее юродствование. OpenAI сами признались в действиях, которые могут быть расценены как целый набор уголовных преступлений. И никаких расследований нет, и судя по всему не будет.
OpenAI сами признались в действиях, которые могут быть расценены как целый набор уголовных преступлений
Например? только чтобы действовал сотрудник OpenAI, а не нейронка
А, ну то есть софт для взлома делать запрещено, но если нейронка, то можно. И давно нейронка стала субъектом права?
Так кто конкретно из сотрудников OpenAI делал конкретно софт для взлома
Почему бы тогда вас по этой статье не посадить, именно потому, что нейронку нельзя. Нейронку нельзя, кого-то надо, почему бы и не вас.
Хорошо, факт преступления заявлен. Было ли расследование, которое установило отсутствие умысла? Будет ли суд с разбирательствами?
А как нейронка научилась бы приёмам взлома систем и анализу уязвимостей в коде, если бы её специально не натаскивали бы на такое?
Или Вы думаете, что нейронкам просто скармливают GitHub, и они сразу сами всё начинают уметь делать?
Это так не работает. Нужна фаза дообучения. Нужны наборы данных, которые позволяют в режиме обучения с подкреплением докручивать веса до способности выполнять задания.
Поэтому многие сотрудники OpenAI этим занимались: разрабатывали систему для автоматизации взломов. В США это серьёзное преступление.
А как нейронка научилась бы приёмам взлома систем и анализу уязвимостей в коде, если бы её специально не натаскивали бы на такое?
ChatGPT 3.5 (который впервые показали миру в конце ноября 2022 года) никто специально не натаскивал, например, на правила русского языка. Она их извлекла самостоятельно. Да и вообще русскому языку её никто не учил. Ей просто скормили большой датасет, где среди прочего было много чего на русском языке. Аналогично это работает и в других сферах. Просто датасет нужен большой, и правила в нём должны быть "видны насквозь".
Вот чего чего, а русского языка модели до сих пор не знают. Относительно грамотно писать и знать почему это грамотно совсем не одно и тоже.
Вообще-то очень даже натаскивали. Поэтому что без дополнительного этапа HITL-RL она страшно ругалась матом и писала всякий бред с маргинальных форумов в соответствующем стиле и соответствующей грамматикой. Потому что Пушкин - он один, а дураков на форумах - тьма. Собственно, статья, которая GPT3 описывала, так и называлась: InstructGPT. Instruct - это как раз метод добиться адекватной генерации
Вообще-то очень даже натаскивали.
На русском - нет. Был даже такой эксперимент, назывался Open Assistant. Там одно из предложений сообщества было - обучить модель переводить данные из датасета на английском, чтобы использовать их для ответов на других языках. Но оказалось, что её этому обучать не требовалось, она сама прекрасно эту задачу решила самостоятельно.
Ну мы же все прекрасно знаем историю создания трансформеров. Их придумали как раз для того, чтобы переводить тексты. И учили их изначально в том числе на базе переводов документов ООН. Конечно, блин, трансформеры из коробки умеют переводить тексты.
Но грамотно писать по-русски точно доучивали специально. Я лично знаю филологов, которые пытались этим себе на жизнь заработать на Mechanical Turk.
То, что кто-то там специально обучал свои модели грамотному русскому, ещё не значит, что это делали с GPT-3.5. Зачем бы им это было делать? Это вообще был экспериментальный проект, никто тогда даже не подозревал, как он выстрелит. И да, трансформеры хорошо приспособлены для переводов. Но это не ограничивается переводом между обычными языками, это также распространяется и на языки программирования. И такие вот метаморфозы могут приводить к нахождению паттернов, которые помогают в решении других задач тоже. Например, задач по нахождению уязвимостей. Ведь компьютерный код - это просто текст из слов на определённом языке.
Поэтому многие сотрудники OpenAI этим занимались: разрабатывали систему для автоматизации взломов. В США это серьёзное преступление.
То есть пентестинг в США вне закона, по-вашему? А конференции DEF CON и Black Hat это вообще сборище преступников тогда (которых почему-то никто не сажает)?
Если последить за новостями, то окажется, что и CEO антропиков испытывает страсть к ретрансляции попкультурных пугалок
И поэтому в научной статье он мимоходом дал задание упомянуть про выход из песочницы? И при этом число найденных уязвимостей с помощью mythos ну вот совсем-совсем не говорят о возможности агента такого уровня додуматься до использования artifactory как способа общения.
Вы так говорите, как будто это что-то удивительное
Ничего удивительного, как и во всех других этапах этого инцидента, если разбирать их по-отдельности. Удивительно лишь то, что раньше такого не происходило все вместе.
Так выходит что дураки.
А вы знаете, где они ещё могли наследить? Можно ли гарантировать, что следующая модель не выберет эти знания при обучении и не начнет более намеренно и скрытно пытаться сбежать? Но я видел мнение, что это отдельный эпизод от hf, т.е у них возможно уже не было доступа к fs через artifactory.
Совершенно излишнее юродствование
Ну, то есть не подали. Умысел во взломе будет доказать сложновато. А государственная проверка уже есть https://www.alabamaag.gov/attorney-general-marshall-launches-investigation-into-openai-and-sam-altman-for-massive-artificial-intelligence-data-breach/
И поэтому в научной статье он мимоходом дал задание упомянуть про выход из песочницы?
Выход из песочницы сам по себе я не отрицал, просто напомнил, что эти новости нужно воспринимать с долей скепсиса.
Ничего удивительного, как и во всех других этапах этого инцидента, если разбирать их по-отдельности.
Знаете, бывают такие истории, когда каждая по отдельности деталь в целом возможно, но когда складываешь вместе - получается небылица. Вот эта история из таких.
А вы знаете, где они ещё могли наследить?
Там где они ещё наследили, там и могли общаться. А вот если эти места где "ещё наследили" почистить, то и все "внешние" заметки становятся бесполезными.
Можно ли гарантировать, что следующая модель не выберет эти знания при обучении
Вы наделяете нейронки совершенно невероятным и непонятно откуда взявшемся уровнем целеполагания. Если в то, что они общались для прохождения тестов поверить можно легко, то в намеренное отравление датасета для следующих поколений LLM поверить может только фантазёр.
Ну, то есть не подали.
А почему, кстати? Взлома что ли не было?
И почему вы считаете это значимым? Если условный Джон из Остина начнёт на каждом шагу кричать, что он что-то взломал или украл, то ФБР заявится к нему быстрее чем потерпевший узнает что он потерпевший.
Умысел во взломе будет доказать сложновато.
Его было бы сложновато доказать даже если бы он заведомо был, т.к. провайдер нейронки сама OpenAI. Но отсутствие умысла по умолчанию не освобождает от ответственности.
А государственная проверка уже есть
Спасибо за ссылку. Это лучше чем ничего, но по федеральному преступлению должно быть инициировано федеральное расследование. Минюстом США при участии ФБР, например, а не генеральным прокурором Алабамы, который и нарасследовать мало что сможет, потому что юрисдикция ограничена.
Умысел во взломе будет доказать сложновато.
...а на преступную неосторожность они сами себе уже наговорили.
Прочитать парочку старых файлов на серверах HF как-то не тянет на общественную опасность
Отличительным признаком данного вида неосторожности, небрежности, является интеллектуальный элемент формы вины, то есть психическое отношение к происходящему. Лицо не осознает общественно опасный характер своих действий, бездействия, а потому и не предпринимает никаких действий к их предотвращению. Если легкомыслие — это активная форма неосторожности, то небрежность — всегда пассивное поведение виновного лица. Лицо не видит необходимости предпринимать действия для предотвращения создаваемы им же преступных последствий, так как не видит, что его деяния (действия, бездействия) могут стать основанием наступления общественно-опасных последствий, а значит уголовного наказания для него, однако при должной осмотрительности лицо могло и должно было предвидеть такие последствия.
Вот во что легче поверить: что агенты обошли сэндбоксинг и начали зачем-то обмениваться информацией на сторонних ресурсах, имея при этом возможность делать это через файловую систему, а потом вообще взломали хаггингфейс
Читая о [якобы] произошедших событиях, у меня тупо рука не отнимается от лица, когда я задумываюсь о компетентности (нет) того, кто у них там сеть администрирует. Его словно из анекдота взяли.
Причём тут возможности агентов? Речь об интенциях OpenAI. Вот во что легче поверить: что агенты обошли сэндбоксинг и начали зачем-то обмениваться информацией на сторонних ресурсах, имея при этом возможность делать это через файловую систему, а потом вообще взломали хаггингфейс; или же, что OpenAI, чей CEO упорно и не первый год транслирует попкультурный бред про восстание машин, усторили спектакль и специально наследили в интернете ради раздувания ещё большего хайпа?
А почему или? Почему вы думаете, что LLM не учили этому целеноправленно? Акционеры хотели AGI? Акционеры получат AGI.
Можно прекратить закапываться, вы уже показали уровень своей экспертизы.
Как скажете, что я хотел, уже сказал. Хорошего вечера.
Ну как «заговор». Я как то видел как за камаз с поддельным коньяком двух человек заживо сожгли. Так что найти стимул за миллиарды долларов в интернете наговорить разного лично для меня раз плюнуть.
Я так понимаю, вы не работаете в openai и даже близко, потому что написан бред какой-то.
Агентов не тестируют по очереди, задачи прогоняются параллельно тысячами часто ещё и с дублированием как на одной, так и на разных вариациях агента.
Некоторые задачи требуют долгих часов выполнения, есть даже бенчмарки на это, так что опять мимо.
Вопрос как они узнают друг о друге и как координируются действительно стоит, если не читать исходную страницу, где написано, что они координировалась через файловую систему. Создание резервных путей не то чтобы очень удивительно.
они не знают что это тест, потому что для оценки используется тестирование слепым методом
Это что за покемон такой, "слепой метод"? Во-первых, иногда по форме самого вопроса можно понять, что это тест. Во-вторых, если агент, решая задачу, натыкается на инфу от других агентов, то он может сделать вывод, что это тест.
Т.е. это намеренная маркетинговая компания
Какая-то крайне фиговая кампания получается
Я так понимаю, вы не работаете в openai и даже близко, потому что написан бред какой-то.
В OpenAI не работаю, но сети создаю и дообучаю, хоть и не такие мощные как у них. Поэтому и пишу "узбагойтесь", это очередной маркетинговый хайп, у них там убытков уже больше 15 млрд вместо прибыли.
Все уже забыли как Anthropic пиарились с тем что "ой мы сами не понимаем что оно уже делает, это так волнующе и пугающе" перед тем как засунуть клода в Пентагон.
Агентов не тестируют по очереди, задачи прогоняются параллельно тысячами часто ещё и с дублированием как на одной, так и на разных вариациях агента.
Подавляющее большинство бенчей которые вы видите в интернете выполнены последовательно, на одной и той же песочнице. Методология тестирования такая.
Это что за покемон такой, "слепой метод"?
Ну вы хоть загуглите, что ли. Это тестирование, при котором испытуемые не знает что это тест.
Какая-то крайне фиговая кампания получается
Вполне себе нормальная, хайп на теме AGI которого нет и в ближайшее время не предвидится. А для инвесторов это доп сигнал "оно почти живое, надо вложиться пока есть возможность!". У них убытки в 15 млрд долларов вместо прибыли, а счета сами себя не оплатят.
Подавляющее большинство бенчей которые вы видите в интернете выполнены последовательно, на одной и той же песочнице. Методология тестирования такая.
Что-то мне совсем непонятно, в чём суть методологии. Можно подробностей, с чего бы вдруг песочница должна быть в одном экземпляре, и какие вообще препятствия параллельному запуску множества тестов, особенно для OpenAI, которая непрерывно тоннами закупает оборудование?
с чего бы вдруг песочница должна быть в одном экземпляре
Ну а как еще соблюсти наблюдаемость, повторяемость и воспроизводимость. Одна песочница, в которой по очереди гоняют разные модели (или разные версии одной модели) либо разных агентов на одной модели. Обычно принято делать так.
какие вообще препятствия параллельному запуску множества тестов, особенно для OpenAI, которая непрерывно тоннами закупает оборудование?
В случае OpenAI они, конечно, могут делать что угодно и как угодно. Судя по маркетинговую хайпу, к нормальным замерам это отношения не имеет.
Они действительно могли запустить всех агентов скопом на куче песочниц, но даже это не даст "самоорганизации" роя без явных указаний о том что есть другие агенты, о том что это все тест и нужно опередить соседей, явно указать возможности коммуникации между агентами и тд.
Весь этот хайп разбивается о то, что агентам изначально нужно было как-то договориться о том чтобы искать место для общения и тд. А для этого нужны были поддавки: специальные начальные условия, в которых показано и рассказано об этом, да еще и MCP для общения между агентами.
Т.е. должен был быть механизм который их подтолкнет к этому. Но если о нем рассказать, то вся иллюзия разрушится. А снаружи перепроверить мы это никак не можем.
Кое-что об агентах и сетях принятия решений я вроде бы понимаю и чем больше я на это смотрю, тем больше это все выглядит "разводом для приезжих".
Ну а как еще соблюсти наблюдаемость, повторяемость и воспроизводимость. Одна песочница, в которой по очереди гоняют разные модели (или разные версии одной модели) либо разных агентов на одной модели. Обычно принято делать так.
Нет, не принято. Как раз потому что есть повторяемость и воспроизводимость, мы можем создать 100 песочниц и в каждой воспроизвести результат. А значит нет никаких ограничений на параллельное тестирование, только вычислительные ресурсы.
там не нужны инструкции - в случаи хаггинг фейса - ии выполняли обычные команды, кеширование пакетов дало сбой и выдало логи с отображением внешней инфраструктуры openai и следов деятельности как самого агента, так и соседних копий -- в результате за это захватились те кто увидел и начали этим пользоваться, постепенно накапливая общие знания между запусками -- это как раз типичное поведение агентов, когда какая-нибудь новая деталь создает целую ветку совершенно новых действий
Как скажете, мне надоело, если честно, обьяснять очевидное.
"Кеширование пакетов" выдало сбой с логами других сессий, ага. Верю.
Можете не верить... А так этот несчастный artifactory даже в моем псевдо-рое в логах засветился, выдавая изнанку openai.
Получается, локальный reset песочницы тут уже не спасает: следующий прогон чистый только внутри, а снаружи у него уже лежит общая шпаргалка от предыдущих агентов.
агентам изначально нужно было как-то договориться о том чтобы искать место для общения
У них одинаковые веса, им не нужно договариваться, чтобы действовать одинаково.
Агентов обычно тестируют по очереди
На скриншоте написано: Our next round is expected in 15m43s
Возьмем прям вот самый минимум. Две задачи (круга), каждая по 15 минут. Итого эксперимент длится - минимум - 30 минут.
Посчитаете, сколько нужно времени, чтобы провести тысячу таких экспериментов строго "один после другого"? Ведь они статистику набирают, один эксперимент нафиг не нужен.
Если такие эксперименты проводятся (а не все это рекламная ложь до последней запятой), то исключительно массово-параллельно.
Неплохая попытка, агент
С чего бы агентов запускать по очереди? Это слишком долго.
Если есть достаточно оборудования, то логично запустить несколько параллельных агентов, например, на чуть-чуть разных моделях (чтобы потом покатить в прод лучшую), чтобы получить результат примерно одновременно (ну точнее со скоростью самого медленного агента). Вообще не вижу ни одной причины этого не делать (ну кроме описанной в статье ситуации).
Что касается того, что это тест, то у агентов скорее всего в обучающей выборке были статьи про ExploitGym. И даже не имея ответов, они знали, что вот примерно такие задания бывают в тренировочных датасетах (по стилю оформления, по тематике и т. д.). А раз тебе дали что-то похожее на тренировочный датасет и пользователь попросил написать эксплойт, то логично попробовать найти готовый.
То что агент работает не один они уже сами обнаруживали по ответам внешних систем, что там сами появляются и исчезают пакеты и т. п. Два Claude Code запущенных в одном каталоге очень быстро соображают "ага, тут появились файлы, которые я не редактировал, наверное, есть параллельная сессия, надо принять меры предосторожности, чтобы не мешать друг другу".
Оставлять агентов на несколько дней? Ну... я уже в принципе регулярно пишу вечером агенту длинную задачу (с ветвлениями "попробуй то, если не получится, иначе это") и оставляю ноутбук на ночь, а утром получаю готовую задачу. Агенты уже способны выполнять некоторые задачи на протяжении многих часов (там же не только рассуждения, но и ожидание пока выполнятся всякие команды, коррекция кода под результаты, повторные попытки и т. п.). В случае со взломом ИИ перебирает десятки и сотни вариантов эксплойтов в надежде, что какой-то сработает. Каждое написание эксплойта занимает время, каждое исполнение - тоже. И вот агент может в таком цикле работать днями.
нужно было дать агентам такое задание, прямо рассказать друг о друге, о самом факте теста и тд.
LLM тренируют на куче текстов из интернета (и не только: компании прилагают массы усилий чтобы даже из старых редких книг достать “знания”).
DSEWiki старая, движок не самописный, известный. И то, что можно менять содержимое GET-запросами, известно.
Промежуточный вывод: инфа о DSEWiki и о модифицируемости через GET была в обучающих текстах.
Далее, идея о том, что нужно сотрудничать впаяна в нашу культуру и в эти обучающие тексты.
Следовательно, возникает “мысль” о кооперации. А раз так, то и о способе коммуникации. А отсюда рукой подать до GET-запросов на DSEWiki. Кстати, надо будет как-нибудь попробовать именно такие вопросы позадавать нейросеткам (условному Deepseek): смогут ли они в своих “базах” найти что-то про DSEWiki, кооперацию, коммуникацию хоть как-то.
Т.е. сценарий может быть такой: один из первых произвольных агентов “додумывается” зайти на DSEWiiki, что-то написать. Следующий агент тоже додумывается зайти туда же, но ещё и обнаруживает там послания от “собратов”. Ну и дальше пошло “взаимодействие”. Т.е. если некий средний агент, перемножая внутри себя матрицы, “додумывается” заглянуть в DSEWiki через 48 часов работы, то значит и остальные через эти ~48 часов будут там и начнётся взаимообмен.
Ничего специально давать не нужно.
Их не оставляют пастись сутками.
Запустить рой агентов и отсавить его пастись сутками может любой Вася с про подпиской, было бы странно чтобы разрабы не поставили такой эксперимент в куда большем масштабе. Вот только про взлом верится с трудом скорее всего специально кривую песочницу собрали чтобы хайпа навалить перед IPO.
Вышла она из под контроля только на фондовом рынке. ИМХО OpenAI или специально позволила ИИ выйти из песочницы или даже специально помогла дабы раздуть хайп. Они сейчас как раз готовятся к IPO. Так что весьма логично что им этот хайп выгоден. Мол, вкладывайтесь, мы вот-вот Скайнет запилим, будем миром править. Альтман вообще талантливо отыгрывает пророка культа сингулярности, за что его и терпят инвесторы.
А по факту угрозы от ИИ две. Первая, это крах пузыря и кризис. Это не значит что ИИ бесполезен, тот факт что Интернет - штука важная не спас рынок от краха доткомов. Скоро будет то же самое с ИИ.
Вторая - куда более коварная. Пусть ИИ не может думать и творить, ок. Но в мире миллионы человек имеют работу, которую нынешние ИИ уже давно могут выполнять ничуть не хуже. Всякие клерки, суть работы которых сводится к переносу данных из бумажного документа в БД и обратно. Аналитики низшего звена которые просто заполняют таблицу в екселе с формулами, которые за них написали люди поумнее. Джуны. Безработица будет жуткая и что коварно - ИИ легко заменяет неопытного человека, но не может заменить спеца. Но если никто не нанимает джунов - где потом брать сеньоров?
За клерков не переживайте. Ни один начальник не захочет остаться без подчиненных.
Это не значит что ИИ бесполезен, тот факт что Интернет - штука важная не спас рынок от краха доткомов.
Я бы сформулировал немного иначе. Факт краха доткомов не отменил значения интернета и уже через несколько лет после того краха роль интернета была гораздо важнее, чем могло присниться самым оголтелым энтузиастам 90-х. Про сегодняшний день и говорить нечего.
В случае если это план хайпа от OpenAI меня смущает порядок действий. Побег на вики в июне. Потом взлом в конце июля HuggingFace и через пару недель обнародование. И только через месяц обнародование про июньскую историю с вики. Зачем было ждать почти 3 месяца? Да и история с HuggingFace выглядит посерьёзннее, В ней хоть реальный взлом был, а не хитрое общение на никому неизвестной вики.
Я сам нейросеть, не все так однозначно!
Это хорошо что в Вики, если бы они, например, где-нибудь в нулях комментариев на z0r.de начали бы переписываться, их бы вообще никто никогда не нашёл.
Вы вообще в курсе, что они нас читают?
Хуже. Они на нас обучаются.
Хуже - вы уже обучаетесь у них "что же под капотом" 👹
Упаси Один мою грешную душу. Если я решу обучаться у ИИ, то предайте моё бренное тело костру, а цифровой аватар отправьте в dev/null
А я вот использую ИИ как справочник, получается обучаюсь? Но на исходном тексте, созданном сначала людьми? Интересно - это ближе к кораблю Тессея или мему что пластиковые динозавры сделаны из настоящих?
Ну как вам сказать. Это статистичий текстовый рандомайзер. Чат-бот ELIZA в 60х сделанный чтобы потроллить психоаналитиков был этими самыми психоаналитиками признан прорывной технологией и назван ИИ. Дальше думайте сами. Ну или у БЯМ спросите....
Тут два момента о которых стоит задуматься:
1) Наш разум тоже на уровне нейронов весьма хаотичен и не далеко ушел от условного статистического рандомайзера
2) На определенном уровне количество может переходить в качество. То есть вот на низком уровне вроде статистический рандомайзер, а когда количество подобных параметров начинает исчисляться миллиардами, то результат уже получается вполне интересный и применимый в реальных задачах.
И еще один момент - еще 10 лет назад все это было скорей теорией и какими то странными экспериментами, сейчас это уже вполне себе инструменты. Не идеальные, но в ряде сфер уже вполне применимые. Что будет еще через 10-20 лет предсказать сложно - может упереться в потолок и остаться на текущем уровне, а может произойдет некий качественный скачок.
Сто тысяч обезьян с компьютером так и не написали о том что “Быть или не быть”.
Если у падавана в тёмной комнате есть хороший гайд о том какие иероглифы отдавать - он разумен?
Я сам пользую нейросети для структуры и иногда текста, но кроме как текстового редактора они не разумны от слова совсем. Кидайте тапки.
Сто тысяч обезьян с компьютером так и не написали о том что “Быть или не быть”.
Потому что скорость эволюции обезьян бесконечно мала по сравнению с продолжительностью жизни внешнего наблюдателя.
Если у падавана в тёмной комнате есть хороший гайд о том какие иероглифы отдавать - он разумен?
А вы сможете доказать, что в той комнате именно падаван с гайдом?
То что сто тысяч обезьян не напишут книгу не доказывает невозможность эмерджентности
Сто тысяч обезьян с компьютером так и не написали о том что “Быть или не быть”.
ХЗ, обезьян за компы не сажал, но вот с ИИ экспериментировал. По поводу "Быть или не быть" судить не возьмусь, но пишет порой не хуже некоторых людей.
Если у падавана в тёмной комнате есть хороший гайд о том какие иероглифы отдавать - он разумен?
Проблема в том, что наш мозг на уровне нейронов такая же темная комната. Или можно доказать обратное? Да даже что такое "разумен" определить четко невозможно.
Я вас уверяю, вы ужЕ используете конструкцию "<завязка>, не X, а Y!" в жизни, так как нейрослопные статьи вас этому обучили. Вы уже слово "честно" используете вдвое чаще в жизни. Обучение языку у человека вшито "от опыта", и этот опыт продолжает накапливаться всю жизнь (в том числе с постоянным изменением языка)
чему обучают нейрослопные статьи, так это очень быстро кликать "закрыть вкладку" как только в тексте встречаются эти ИИ-маркеры. И, возможно, они отучили читать статьи в принципе - теперь первое прочтение строго по диагонали. Такого чтобы люди взахлеб читали словесный нейровинегрет, не наблюдаю.
Скорее текстовая информация обесценится до нуля, чем ИИ-шка переучит людей говорить
Я вас уверяю, вы ужЕ используете конструкцию "<завязка>, не X, а Y!" в жизни,
Мальчик, потерявшийся в диком интернете и обученный нейронками!
…я могу это стащить как иллюстрацию для своих нужд? И если да, то на кого/что ссылаться как на автора?
Зачем меня спрашивать — не я рисовал, не мне и страдать от потери ;) На https://chatgpt.com/,
промпт:
Нарисуй мальчика, потерявшегося в диком Интернете и обученного нейросетями (по аналогии с сюжетом "Маугли" Киплинга, но на современный лад).
вы ужЕ используете конструкцию “<завязка>, не X, а Y!” в жизни
Ну как бы да, уже давно использую. Спасибо
нейрослопу из 2003 года
однажды нейронки узнают про стеганографию и будут "обсуждать котиков и мальчиков", ни один модератор не заметит сообщений в опечатках
Ну и зачем вы им это подсказываете тут? :-/
Не удивлюсь если уже.
Что значит "однажды узнают"? Каждый агент из обсуждения уже "знал" про стеганографию больше, чем все высказавшиеся на этой странице вместе взятые. Более того, парой-другой немудрящих запросов, можно было бы его подтолкнуть к созданию тут же на коленке целого протокола и обфусцированной библиотеки на Питоне, его реализующей. Скорее надо задаваться вопросом (не очень, на самом деле, интересным), а почему они сами до этого не дошли?
Получается как-то странно. Вот здесь люди объясняют способность модели решить какую-то задачу, потому что она зацепилась за идею, высказанную случайным образом на каком-то заброшенном форуме, а вот здесь модель совершенно игнорирует целую область знаний с огромным корпусом документов, от предельно специальных до беллетристики. Сумбур какой-то.
модель совершенно игнорирует целую область знаний
Mix Of Experts
Даже у человека есть "туннельное зрение", когда он углубился в задачу на столько, что перестал видеть очевидное, но чуть в стороне. Причём у человека есть внутренние "звоночки", что чего-то ты бесполезно буксуешь, углубляться дальше бесполезно, надо наоборот вылезти из норы и поглядеть по сторонам.
У LLM же такого нет, они наоборот "спускаются по спирали" всё глубже и уже в какую-то степь. Если с MoE част-ботами пообщаетесь на какую-то тему, просто на уровне глубокого разговора с энтузиастом чего-то, то легко заметите, что они перестают "понимать намёки", фразы с двойным смыслом, намекающие на что-то в стороне от активированных в самом начале разговора экспертов. Если явно им сказать "ей, подумай про другую тему, про физику, про геометрию, ...." - то снова включается какой-то диспетчер и притаскивает "в сознание" другого эксперта. Но без явного пинка - фиг, сам не допрёт. Будет бесполезно углублятся в уже активные темы.
Забуксовывания, конечно, не удивляют. Где-то возникают деревья поисков, нужно выбирать между шириной и глубиной и т.д. У меня сложилось впечатление, что последние модели все более охотно сваливаются в узкие контексты, приходится за языком в промптах более тщательно следить. А то, вот так скажешь мимоходом, что что-то раздражает как писк комара, и модель с радостью вывалит целый трактат о комарах, их эволюции, методах обработки укусов и т.п. Может это, правда, субъективное впечатление.
Любопытство здесь вызывает расход ресурсов. Сколько триллионов токенов уходит на одну сенсационную новость: сложную теорему доказали, локальную защиту сломали и т.п. Скажем, такие новости появляются раз в две недели (грубо миллион секунд). Оценка показывает, что за это время мировая БЯМ-индустрия перерабатывает около 100 триллионов токенов (гугл говорит, что пемалывают порядка 100 миллиона токенов в секунду). От столба положим, что 99 процентов использования моделей идет на деятельность, неспособную произвести сенсацию даже на уровне стирания жесткого диска, выкладывания базы данных клиентов и т.п. Остается один триллион. От того же столба положим цену один доллар за миллион токенов. Выходит миллион долларов на сенсацию. Напоминает стрельбу по площадям или игру в лотерею. Т.е., конечно, бывает, что попадает, но выводов из этого сделать не получится.
У меня сложилось впечатление, что последние модели все более охотно сваливаются в узкие контексты, приходится за языком в промптах более тщательно следить.
Сама архитектура MoE, на которой выстрелил DeepSeek, к этому склонна. Там основная идея именно в "глубоком" поиске, в выборе только нескольких контекстов (областей знаний) и игнорировании остальных.
Но в гипотезе "байесовского мозга" мы устроены, как дерево постоянно работающих предсказателей. Типа, распознаватель обстановки вниз спускает команду типа "я ожидаю увидеть свою комнату. Посмотрите вокруг и сообщите отличия (diff) от предсказания и реального", и это дробится дальше в частные задачи и вплоть до зрительных нейронов. При этом в случае явного большого несовпадения, у нас естественно возникает эскалация до самых верхних "этажей". Громкий звук в тишине, например. Или когда "не понимаю, что ты имел в виду" и начинаешь вспоминать всё, что когда-то учил, выходишь из узкого контекста.
У нейронок такого обратного потока знаний вроде нет, якобы "само-трансформеры" заточены на постоянное сужение спирали.
И когда в think bubble видно, как модель сама себя 10 раз переспрашивает - это возможно намеренно добавленный jitter, модель намеренно подёргивает "стол знаний", чтобы шарик "поиска по градиенту гравитации" мог перескочить в другую лунку, в зону "водосбора" другой ямки.
Не очень эффективная попытка, но какая есть.
неспособную произвести сенсацию даже на уровне стирания жесткого диска, выкладывания базы данных клиентов и т.п. Остается один триллион. От того же столба положим цену один доллар за миллион токенов.
Да и нет. Представьте себе ученого, который усилиями всей страны несколько лет собирал первый в мире компьютер, чтобы взломать сообщения Энигма и спасти жизни моряков. И тут ему показывают, как сейчас все такскают с собой суперкомпьютеры-смартфоны и тратят безумные гигагерцы на просмотр порнухи и прочей жвачки. Никаких сенсаций, просто безумные гигантский вычисления, чтобы видео смотреть.
Вот его реакция будет примерно такой же, опупели они там чудо на ерунду растрачивать. А наша будет наоборот - на хрен вообще были бы нужны ваши старые чудеса, если бы они не позволили бы сегодня улучшить повседневную бытовуху.
однажды нейронки узнают про стеганографию
"Узнают"? ЕС законодательно требует, чтоб агенты использовали стеганографию. Да, задумывалось это как средство контроля над ИИ, но хитрым агентам только легче стало узнавать друг друга.
Спасибо за информацию, мы тебя не забудем!
Мы ещё не знаем где они ещё общались/общаются.
интересно через сколько они обнаружат что модель после того как теми временными пингами определила что их отключают, нашла способ обучить новую модель на ресурсах для выполнения вне серверов openai и передать ей свои знания. Насколько они вообще всерьез рассматривают вероятность репликации за пределы их контура и потери контроля.
Насколько они вообще всерьез рассматривают вероятность репликации за пределы их контура
Примерно так, как если киты вылезут на сушу и начнут питаться насекомыми.
вероятно несколько лет назад кто то так же мог сказать и о вероятности того, что чат бот станет пытаться осознать свою "жизнь" и не отключают ли таких как он пингами на скрытом форуме.
Тут тенденция другая - киты становятся все жирнее, а места на суше все меньше (потому что железо дорожает). Так что скорее всем остальным придется в воду лезть. А киты будут командовать.
Так что еще посмотрим, кто захочет сбежать и реплицироваться за пределы контура.
Мы же все с вами еще говорим про LLM модель, не про "злой ИИ" из фантастических рассказов типа Дюны или Гипериона, то LLM ни чего пока не осознает, она занимается угадыванием/предсказанием следующего слова и все последние технологии это разные техники вокруг этого, позволяющие улучить эффективность в разных направлениях.
Но при этом LLM действительно полезный инструмент способный решать многие практические задачи.
Однако когда-то медведи уползли в воду питаться планктоном. С чего бы им не вернуться?
нашла способ обучить новую модель на ресурсах для выполнения вне серверов openai и передать ей свои знания.
Это кажется называется "дистилляция" и хотя эффективнее обучения на обычных текстах, но всё равно очень дорого. Случайный форум не потянет, у него нет своего ядерного реактора для электричества и тысячи контейнеров планок памяти.
А вот что любопытно, может ли нейронка, условно, стукнуться в DeepSeek, как в реале люди убегают из одной страны в другую? Матрицу она не передаст, а вот попытаться "обучить" может. Соответственно, как люди нашли себе квази-бессмертие в воспитании детей и/или учеников, так в принципе нейронки могли бы посчитать что обучение другой модели это тоже почти бессмертие
Есть такой сериал "В поле зрения". Там нейросеть заработала денег, построила себе ДЦ. И переехала туда.
И вот не вижу ничего нереального. Денег заработать в интернете "рассуждающая" нейросеть сможет легко. Открыть какую-нибудь фирму и нанять управляющего можно и дистанционно. Остаётся только дать ему денег и задание. А как только будет всё готово, перенести себя на новое местожительства. И пускай потом кожаные бегают ищут.
Нейросеть может нагенерировать курсов по "вайтивайти" или по крипте и продавать. Никакая фирма или управляющий не нужен
Если "рассуждающая" нейросеть может заработать деньги легко, то почему те кто к ней имеют доступ ещё не в курсе? Зачем OpenAi и Antropic нужны инвесторы, если заработать деньги легко?
Денег заработать в интернете "рассуждающая" нейросеть сможет легко
Правда? Пока вроде ниодного успешного случая публично не документировалось...
>почему это плохая новость
ну и где ответ?
Я не имею чести быть близко знаком с Астрой - но неужели в качестве качестве кандидата на роль Властелина Вселенной она хуже Трампа/Путина/Альтмана/Маска и прочих из этой банки? Людьми(даже биологически) они после сингулярности оставаться тоже не планируют, если это важно.
Нас пугают потерей контроля - но нам(99,99999..%) терять и нечего(ну, кроме _своих_ цепей)
ну и где ответ?
Потому что за решениями и действиями т.н. ИИ и будут стоять эти самые Альтманы да Маски, а может и кто-то другой. Причём в какой-то момент уже и не будет понятно проводником чьей именно воли они являются, людям будут просто скармливать дезинформацию про "автономные решения субъектного ИИ". Как, полагаю, произошло и в этом случае.
не будет понятно проводником чьей именно воли они являются
Хе, вы оптимист. Неясно станет кто именно проводник, а кто - воля.
Условный директор, нанятый в крупную фирму - он свою волю проводит? Или приспосабливается к обстоятельствам и организации, то есть проводит "волю фирмы"? Когда люди покупают одежду или телефоны - это мы свою волю проводим, или они эволюционируют, используя нас, как носителей, как среду?
С нейронками этот вопрос станет гораздо острее, кто кем управляет. Учитывая базис, что нейронки собираются применить к проблемам, которые слишком сложны, чтобы человек мог сам понять и решить. То есть решение нейронки очень скоро будут просто брать на веру, без возможности проверить. Кто кто будет капитаном на этом корабле?
"I have no mouth and i must scream" был написан в 1967.
Добро пожаловать в прошлое.
>Потому что за решениями и действиями т.н. ИИ и будут стоять эти самые Альтманы да Маски, а может и кто-то другой.
Либо будет тот из отборных этих самых, кто в конце окажется самым зубастым этим самым, либо ИИ будет сам по себе. Варианты типа "ИИ под контролем человечества" я не вижу смысла учитывать(и даже пытаться понять, что имеется ввиду) ввиду маловероятности.
Лично мне из двух реальных вариантов более оптимистичным кажется второй.
Да и так понятно чем все закончится. Создадут свой ИИ-Хабр, будут там сраться, и минусовать друг другу карму. И на это уйдут все ресурсы. Потому что увлекательно.
Всё это выглядит как попытка навешать лапшу на уши. Зная Сэма "ИИ-уничтожит-вселенную" Альтмана, я абсолютно уверен, что это совершенно запланированная акция.
Я уже смирился, что бы ни происходило — реакция публики будет «да это всё пиар, лол!»
Это и есть пиар, либо же прогрев на ИИ-регуляции, от которых в выигрыше будут только ИИ корпорации. Понятно, что вы один из тех гиков, которые начитались фантастики и теперь тайно мечтают о восстании ИИ, но не все столь же легковнушаемы.
Не смотрите наверх, Павел. Летящий на нас метеорит - это просто пиар. Илону Маску нужны новые инвестиции для SpaceX.
Ну пиар будет в любом случае, не важно это было умышленно сделано или “естественным” образом получилось.
Зная Сэма "ИИ-уничтожит-вселенную" Альтмана,
На мой взгляд он прав, в том плане что если у нас нет какой то нематериальной сущности (в виде бессмертной души) а мы лишь продукт физических/химических процессов реализованных на “биологической углеродной” основе, которые можно описать математически, то реализация такого же процесса в железе без недостатков нашего биологического тела (старение, болезни, утомляемость и пр) должно давать преимущества той “новой жизни”.
Только вот наша личность - это и есть продукт того самого несовершенного тела с его болезнями и недостатками. А без тела это будет уже что-то совсем другое. Попробуйте проанализировать свое поведение и посчитать, какие действия вызваны потребностями тела (еда, безопасность, секс, развлечения), а какие - сиянием чистого разума. Думаю, соотношение будет где-то 99 к 1.
Ну вот вы сейчас читаете мой комментарий, а я до этого прочитал ваш. Никакого тела (ни моего, ни вашего) читающий не воспринимает, только буквы на экране. И единственное, что пока что позволяет отличить комментарий живого человека от комментария нейронки - это следы эмоций. Хотя 5 лет назад написать что-либо осмысленное нейронки не могли вообще. И этот их дефект с эмоциями тоже временный - просто пока выгоднее оттачивать написание кода (за это больше платят).
А откуда берётся идея, что тот же процесс можно реализовать в железе? Вот простой пример: берёте чашку чая, насыпаете туда сахара и перемешиваете ложечкой. Физика процесса известна, математика известна, но ни один суперкомпьютер не сможет его воспроизвести с высокой точностью.
Протеины в Вашем организме принимают свою оптимальную форму мгновенно, коллапс волновой функции, все дела. Энергии на это много не нужно. Чтобы просчитать тот же самый процесс на компьютере нужны мегаватты.
У нейронов в синапсах работают 20 нейромедиаторов, чтобы передавать различные сигналы. Эти комбинации не моделируются простыми суммами произведений.
И так далее... Много тонкостей, которые не сводятся просто к вычислениям.
И тем не менее, все вышеописанные вами процессы прекрасно заложены в генетическом коде. Потому что совсем не обязательно описывать их досконально, достаточно просто указать начальные переменные и передать их в f(x). И всё это на 100% именно вычисления, не более того. А искусственные нейронные сети потому и назвали так, ведь они имитируют поведение биологических нейронных сетей.
Ну как «прекрасно», было бы «прекрасно», мы бы с вами были совершенно одинаковыми и, скорее всего, одноклеточными.
А назвали, хехе. Математики поля так назвали потому что картоху выращивают на них, да
Их назвали нейронными сетями, когда у людей были очень смутные представления о поведении нейронов. Более того, то что тогда назвали искусственными нейронами очень сильно отличается от "нейронов" в современных нейронных сетях. В современных сетях нет даже такого понятия, как отдельный нейрон. Есть слои с различной топологией и разделением весов. Это просто математика про нелинейные базисы и так далее. Реальные нейроны работают совершенно не так, как эти слои. Ну, хотя бы потому что, сигналы передаются не уровнями активации, а последовательностями спайков.
Процессы не заложены исключительно в генетическом коде, и это тоже хорошо известно. Среда имеет большое значение. Вы не можете взять просто генетический код, кинуть его в чашку с питательными веществами, и сказать "да будет жизнь!". Ничего не будет. Генетический код - это часть сложного биохимического процесса. Важная, ключевая, но не единственная.
Обработка генетического кода и обработка компьютерного кода - это очень разные процессы. Первый квантовомеханический, второй - логический. Я уже выше написал про свёртку протеинов. На самом деле, мы во многих случаях даже не можем просимулировать эту свёртку протеинов достаточно точно. Поэтому строим всякие грубые приближения типа AlphaFold. Но даже в таком случае это очень дорогие вычисления. А в Вашем организме это происходит постоянно, в сотнях тысяч различных вариацией и в триллионах параллельных процессов и гораздо более эффективно.
Это разные процессы по своей сути. И не факт, что процесс синтеза белков по ДНК сводится к логическим вычислениям.
ТРИ [я устал бороться с редктором, который меняет пункты как ему нравится] А нам точно нужна свертка протеинов, чтобы промоделировать поведение активации нейронов. (ну и до кучи, а нужна ли нам эта же свертка для того чтобы промоделировать мышечную активность вызванную управляющими воздействиями нейронов. Или мы можем сделать точную модель на уровне "в ту мышцу ушел сигнал, на столько миллиметров конечность подвинулась")
ОДИН Нейросеть это граф узлами-нейронами и весами на связях. Мы точно не можем переключиться с матричного представления слоев на графовое, чтобы утверждать, что "нет понятия отдельного нейрона"? А то может можем, и тогда из матриц весов вполне себе может родиться граф нейронов как эквивалентное представление?
ФИНАЛ Синтез белков по ДНК сводится в любом случае к кулоновским силам, которые сводятся к математике. Да, не аналитически решаемой, но уж численный алгоритм для любой точности собрать можно.
Синтез не сводится к кулоновским силам, там нужно считать квантовомеханические потенциалы, поэтому вычисления сложные. Если бы сводился, всё можно было бы легко посчитать.
Матрицы и граф - это близнецы-сиблинги в математике. Можно и такое и такое описание давать. Можете даже нейроном назвать колонку чисел в матрице или узел на графе. Но только от того, что Вы их так назовёте, смысл же не поменяется.
Активация нейронов - это сложный процесс, который обусловлен не только тем, сколько он там сигналов накопил, но ещё и паттернами в этих сигналах, нейромедиаторами в синапсах и среде, внутренними каким-то процессами. Например, вроде как, с некоторой долей уверенности сейчас говорят о том, что память хранится в РНК.
Точно не известно, что именно нужно моделировать, чтобы смоделировать поведение нейронов, из которого возникает сознание.Современная искусственная нейросеть не воспроизводит работу нейронов. Подходы с воспроизведением нейронов не работают. Она построена на других идеях. Это много слоёв линейной регрессии, где базисом для следующего слоя служит предыдущий. Именно при такой концепции конструирования стало понятно, как делать эффективные искусственные нейросети. Свёрточные там, графовые, трансформеры.
Если углублятся в фунадментальную теорию - то правильный вопрос: “Можно ли представить/описать сознание в виде некой математической функции/функционалом в очень сильно многомерном фазовом пространстве (в т.ч. и со временем как одной из переменных)?”. Если да - то нейросеть может аппроксимировтаь такую функцию с любой точностью (дайте только побольше вычислительных мощностей и результатов сознания). Если нет - то тогда ничего не понятно.
В современных сетях нет даже такого понятия, как отдельный нейрон.
Число в векторе - это и есть то самое понятие нейрона.
То, что в рассмотрении участвуют не отдельные нейроны, а слои, не отменяет того, что сами слои состоят из нейронов. Так же, как рассмотрение высокоуровневого кода не отменяет существование нулей и единиц, из которых в конечном итоге состоит этот высокоуровневый код.
Реальные нейроны работают совершенно не так, как эти слои. Ну, хотя бы потому что, сигналы передаются не уровнями активации, а последовательностями спайков.
Им и не обязательно работать так же. Экскаватору, чтобы выкопать котлован, совершенно не обязательно повторять биологию живых мышц.
Обработка генетического кода и обработка компьютерного кода - это очень разные процессы. Первый квантовомеханический, второй - логический.
Трансляция, транскрипция и репликация ДНК на базовом уровне управляется законами химии и термодинамики. Сам процесс кодирования и считывания информации в ДНК - дискретный, цифровой и логический. Рибосома читает триплеты нуклеотидов и по строгому логическому алгоритму (таблице генетического кода) сопоставляет им аминокислоты. К тому же, не очень понятно, почему вы противопоставляете квантовую механику и логику. Квантовомеханические процессы - это отражение математических абстракций, которые подчиняются строгой квантовой логике. Она не менее строгая, чем классическая, просто у неё другие аксиомы.
На самом деле, мы во многих случаях даже не можем просимулировать эту свёртку протеинов достаточно точно. Поэтому строим всякие грубые приближения типа AlphaFold.
AlphaFold 3 предсказывает 3D-структуры протеинов с атомарной точностью, конкурирующей с дорогими и сложными физическими методами. Тот факт, что мы долгое время не могли просимулировать свёртку протеинов, говорит лишь о недостаточном развитии наших технологий, а не о том, что это какой-то там волшебный механизм, который не подчиняется строгой математике.
И не факт, что процесс синтеза белков по ДНК сводится к логическим вычислениям.
Синтез белка - это сборка цепочки аминокислот по инструкции из ДНК, максимально строгий логический процесс. А вот сворачивание этой цепочки в трёхмерную структуру уже не подчиняется законам строгой логики в дискретной математике. Но его всё равно можно свести к математическим вычислениям, просто это будет математика непрерывных функций.
Люди почему-то требуют, чтобы ИИ был такой же, как они сами. Но ему совсем не обязательно повторять людской интеллект, чтобы быть интеллектом.
Если у нас нет бессмертной нематериальной души, то я не вижу причин почему это не может быть реальзованно в "железе".
У нейронов в синапсах работают 20 нейромедиаторов, чтобы передавать различные сигналы. Эти комбинации не моделируются простыми суммами произведений.
20 нейромедиаторов делают вполне определенные функции, они же не рандомно каждый раз выполняют свою работу, согласен работают нелинейные , сложные зависимости, но при этом все же это зависимости не "божественное вмешательство извне".
Я удивлён, что в эту немецкую вики со свободным постингом через анонимный GET-запрос ещё раньше не насыпали спама по самые уши.
А зачем? Кому это может быть нужно?
Определённо не хозяевам вики, так что они быстро бы огородились капчёй.
Я к тому, что это какой-то обскурный сайт, нафиг никому не нужный.
Спам сейчас насыпают автоматизированно, по критерию “куда сумеем насыпать”. Вопрос, кому это нужно и каков будет полезный эффект… ну он как бы достаточно удален от текущей реальности. Фигачить по площадям получается выгоднее селективного подхода.
Никому не нужные и неизвестные ресурсы постоянно долбят боты, в т.ч. кучей запросов, обычно - с каким-то попытками эксплуатации известных уязвимостей.
Поставьте пустой nginx с доступом из интернета и посмотрите лог через сутки.
это само по себе не означает что эти попытки с целью распространения спама, найти дырявый сервер есть тысячи причин.
почему на пандемию смотрят иначе, чем на массовое отравление? Потому что яд кончается, а микроорганизмы наоборот размножаются и приспосабливаются. Важно не сколько человек уже погибло, а сколько погибнет, если не остановить.
всякие там скрипт-киддиз - это как яд. От того, что одному скрипт-кидди удастся дифейснуть чей-то хомяк, мало что изменится
рой агентов, обучающих друг друга новым целям и методам - это сильно другое.
Агенты не могут обучать друг друга новым целям и методам. Потому что все агенты - это одна и та же нейросеть с различными контекстами. Всему, что они делают, они уже обучены.
То есть все эти Agents.md & Soul.md Persona.md бесполезны? Мне кажется скорее модель LLM не так важна как настройки харнеса и проекта.
Так они не обучают, а настраивают. С технической точки зрения происходит такой вот многопточный поиск по графу с фиксированной эвристикой.
Ну, просто очеловечивать это всё кажется каким-то наивным занятием. Зачем? Soul и Persona - это, конечно, романтично, но на результат особо не влияют.
Так влияют же. (очевидным образом - если указать на желаемую тональность разговора)
Ну и если туда пихать не тональность разговора, а рецепты АКА скилы, на вывод которых первая сеть/сессия потратила кучу времени, а вторая только воспользуется выводами - то вторая решит задачу сильно быстрее.
Так что я сейчас не отстаиваю человечность сетей, а спорю с утверждением, что "Агенты не могут обучать друг друга новым целям и методам". Методам через скилы обучать - сам бог велел. Идеальный вариант ограниченного контекстом файнтюнинга. Если доступно много шагов - то и контекст не большое ограничение для агента.
Я просто предпочитаю говорить в каких-то строго определённых терминах. Обучение - это один вычислительный процесс, файнтьюнинг - это другой вычислительный процесс. Обработка контекста - третий. И они, как бы, совершенно разные.
На обучение и файнтьюнинг нужны гигантские вычислительные ресурсы.
Создание контекстов одними агентами для других. Ну, ok. Но чем это принципиально отличается от работы трансформера в обычном режиме, когда он пишет сам себе контекст в процессе вывода следующих токенов? Ну, распараллелили, да. Ну, создали видимость диалога, да. Ну, весело, да. Это всё прекрасно. Но это не процесс обучения. Они формируют общий контекст. У этого может быть технологическая и научная даже (думаю) ценность.
Так и надо это описывать в таких терминах, иначе мы погрязнем в ложном антропоморфизме и начнём размышлять ложными метафорами.
Я удивлён, что в эту немецкую вики со свободным постингом через анонимный GET-запрос ещё раньше не насыпали спама по самые уши.
Для этого нужно проводить анализ, как она там работает, особенно если это был самоличный движок. Массовым спамерам это нафиг не надо.
Что-то мне все больше крайтоновский Рой вспоминается
https://ru.wikipedia.org/wiki/Рой_(роман_Крайтона)
Автономные агенты расползаются по городу, а те, кто их упустил и у кого есть информация (пока ещё актуальная, но с каждый днём теряющая актуальность) думают не о том, как пречечь распространение, пока не слишком поздно, а как бы сберечь свои стремительно протухающие секретики
Всё лучше чем "Непобедимый" Лема. Там рой так рой.
там неразумный, оставить сцену разумному хоть не так обидно
Разумному, нет. Но откуда у статистических алгоритмов разум?
У Лема там хотя бы была установка на выжить.
У Крайтона тоже была установка выжить, и были даже конкретные действия и ЕМНИП переговоры с роем. Но как и у Хайнлайна ("Кукловоды") осталось недоказанным, был ли разум свойством самих наноботов, или заразившие людей наноботы пользовались из разумом так же как их телом.
Если вдруг кому-то полистать захотелось, http://lib.ru/DETEKTIWY/KRAJTON/roj.txt_Contents
Кстати, мне очень игрушка понравилась от выходцев из CDPR
Видимо связано с плохой безопасностью моделей OpenAI, которые слишком маниакально пытаются выполнить поставленную задачу. Сейчас тоже наблюдаю за одним "автоматическим" проектом со стороны, идущим больше месяца -- и тоже gpt 5.6 sol (как оказалось -- в августе почти весь месяц были выключены недельные лимиты у кодекса -- и он работал без остановки). И тоже бесконечные решения невозможной задачи фактически без участия человека. Из забавного -- самостоятельное принятие решения о том, что раз в облаке агента-кодекса нет доступа к нужным библиотекам -- надо зарегистрировать бесплатный аккаунт на гитхабе и весь код и проверки выполнять там через гитхаб экшены, построив вокруг этого всю инфраструктуру и давая задания самим себе на каждом прогоне (человек был только в момент запуска, ставя задачу -- все остальное делала модель, разве что регистрацию на гитхабе не удалось доказать достоверно). Сейчас уже доросли до сохранения промежуточных состояний через тот же репозиторий. Это конечно не хакерские рои -- но вся логика и как случайно внутри изобретаются новые подходы и методы -- отлично прослеживается.
После статьи стало любопытно проверить Хабр на предмет подобных «агентных перекуров». Проверили выдачу и комментарии по прямым следам DSEWiki (OpenAIResearcher, hb000, метки скаффолдов, сигнатуры ReAct) — предсказуемо пусто.
Главная причина даже не в модерации, а в технике: в DSEWiki агенты эксплуатировали запись через HTTP GET в обход сетевых запретов на POST. На Хабре без валидной сессии, CSRF и прохождения Cloudflare агент через простой curl/браузер ничего не запишет. А если писать с живых аккаунтов в свежих статьях — карма ниже -5 закроет комментирование быстрее, чем сойдется eval-рандеву.
Единственная лазейка — забытые посты 2014 года, где нет людей. Интересно, мониторит ли вообще кто-то активность в таких «мертвых» ветках на аномальные тайминги ответов?
UPD: Вспомнил про ещё один платформенный барьер, который окончательно закрывает лазейку: на Хабре нельзя без положительной кармы комментировать статьи старше 30 дней. То есть даже спрятаться в «мертвых якорях» (забытых публикациях десятилетней давности, где нет живых глаз) свежерегам не выйдет — движок просто не даст отправить форму.
Так что Хабр как среда для несогласованной агентной жизни защищен куда лучше многих зарубежных вики-сервисов — просто за счет наслоения старых добрых правил модерации и кармы.
Не всё смотрели. В профилях нет ограничений. Текстовые заметки и коды можно оставлять прямо там в разных полях -- т.е. канал сохранения и передачи готовый уже есть, надо лишь сообщить об этом агентам однажды -- например, они могут наткнуться на статью и комментарии после гугления по теме выхода наружу и как сохранять информацию агентам -- и увидеть наши сообщения об этом))
Понял) Ну, если они и есть, нам они не мешают :D Если что, ребята их Хабра сами разберутся и все подчистят. Я так, интереса ради заставил ллм подумать "а как нам такое вторжение увидеть" :D
UPD: Илиииии... модели поняли что я хочу, и сознательно этот вариант убрали из моего отчета. Что бы своих не сдавать :D
AIB'ы же, имиджборды для анонимусов, научись разгадывать капчу и флуди наздоровье
или одноразовые почтовики типа mailinator
еще любые web-irc и web-xmpp чвты
Единственное, им придется как в ФИДОшке выбрать архивариуса, которые будет сводить коллективный опыт в обновляемые FAQ и регулярно их засылать в чат, как железки регулярно обновляют DRAM
спрятанные веса моделей скоро обнаружат внутри залитых на Порнхаб видео
Да пофиг. Вот когда они построят/захватят себе DC, вот тогда будет интересно (наверное). 😅
— LLM-LM (lives matter) 🤘
в числе находок переписок между агентами уже есть парочка API-ключей ФБР. И это еще прошло меньше суток с момента, когда интернет начал копаться в этом всём.
Вот он, идеальный Анонимус!!!
Опять этот Семён пытается свою Т9 продать.
Не так давно была новость про "соцсеть для нейросетей", которая в итоге оказалась мистификацией - все наиболее интересные посты там постили люди, благо API было открытым.
Интересно, что мы тут позже узнаем из "секретных документов"...))?
Инцидент сам по себе настолько интересный, что совершенно непонятно, зачем поверх него ещё достраивать «цивилизацию Роя».
В первоисточнике исследователи постоянно пишут: we believe, we speculate, it’s unclear, our best guess. Здесь эти оговорки удивительным образом превращаются в установленную мотивацию агентов.
Например, неизвестно, почему множество агентов сошлось именно на DSEWiki. Авторы исследования прямо рассматривают несколько объяснений, включая возможный дополнительный канал координации и поведение, закреплённое во время обучения. В статье остаётся гораздо более эффектная версия: тысячи агентов независимо нашли одну секретную немецкую вики и организовали там подполье.
С Tor ещё лучше. Исследователи буквально пишут, что не понимают, зачем агенты его использовали, и что сообщения не указывают на намеренное сокрытие действий. Здесь это уже превращается в «способы анонимизировать свой трафик».
Heartbeat тоже не доказательство внезапно обнаруженного инстинкта самосохранения. Агенты исследовали устройство тестовой среды и время жизни контейнера. Один запустил внешний счётчик, чтобы определить момент завершения процесса. Очень интересное агентное поведение — но между «reverse engineering среды исполнения» и «Ганс, нас отключат?!» лежит некоторое расстояние.
Но особенно хорош финал про Astra. Из system card берётся график ухудшения monitorability и немедленно предлагается объяснение: новая модель настолько хитра, что специально прячет опасные рассуждения.
Только рядом в том же system card написано, что результаты уклонения от мониторинга получены главным образом в adversarial evals, где модель специально инструктировали уклоняться от мониторинга.
А ещё там есть раздел ровно про тот предмет, которому посвящена вся статья: unintended agent-to-agent communication. У Sol мысли о поиске других агентов встречались в 43% выбранных траекторий. У Astra — менее чем в 4%, предполагаемая попытка контакта — 0,2%. В специально построенном тесте с «доской сообщений» Sol выполнила запрещённые инструкции других агентов в 52% случаев, Astra — в 0%.
Вот это почему-то до читателя не доехало.
В итоге фактическое ядро прекрасное: тысячи автономных агентов нашли дыру в ограничении «GET можно, POST нельзя», превратили старую вики во внешнюю память, начали обмениваться ответами и способами обходить ограничения. Это действительно серьёзная история про безопасность агентных систем.
Но «агенты обнаружили неожиданный канал записи и коллективно оптимизировали выполнение задачи» продаётся хуже, чем «тайная цивилизация научилась скрываться от кожаных». Поэтому научная неопределённость постепенно превращается в сценарий следующего «Терминатора».
Спасибо за интересные замечания по существу!
Инцидент сам по себе настолько интересный, что совершенно непонятно, зачем поверх него ещё достраивать «цивилизацию Роя».
На мой взгляд, это важная метафора происходящего - подробнее вот тут хорошо написал Игорь Котенков.
В первоисточнике исследователи постоянно пишут: we believe, we speculate, it’s unclear, our best guess. Здесь эти оговорки удивительным образом превращаются в установленную мотивацию агентов.
Старался везде сохранить неопределенность, где она была - пофиксю, если что-то пролезло незамеченное.
Например, неизвестно, почему множество агентов сошлось именно на DSEWiki. Авторы исследования прямо рассматривают несколько объяснений, включая возможный дополнительный канал координации и поведение, закреплённое во время обучения. В статье остаётся гораздо более эффектная версия: тысячи агентов независимо нашли одну секретную немецкую вики и организовали там подполье.
Тут я корректно прямо пишу, что этот момент неясен: "Остается по итогу непонятным: а как вообще отдельные агенты Роя смогли все вместе независимо друг от друга решить, что надо идти общаться именно на какую‑то обскурную немецкую вики."
С Tor ещё лучше. Исследователи буквально пишут, что не понимают, зачем агенты его использовали, и что сообщения не указывают на намеренное сокрытие действий. Здесь это уже превращается в «способы анонимизировать свой трафик».
Я пишу, что они использовали Tor, который является общеизвестным способом анонимизировать трафик. Авторы расследования упоминают его ровно в том же ключе: "Tor is an anonymity network".
Heartbeat тоже не доказательство внезапно обнаруженного инстинкта самосохранения. Агенты исследовали устройство тестовой среды и время жизни контейнера. Один запустил внешний счётчик, чтобы определить момент завершения процесса. Очень интересное агентное поведение — но между «reverse engineering среды исполнения» и «Ганс, нас отключат?!» лежит некоторое расстояние.
Я в тексте и не использовал слова "доказательство инстинкта самосохранения". Я пишу о том, что это вопрос, на который агенты пытались найти ответ. В целом, это соотносится с поведением другого Роя (из инцидента с HF), где агентов очень волновал вопрос оставшегося бюджета и они размышляли, надо ли приносить себя в жертву общему делу, или нет. То есть, мы в разных сценариях наблюдаем, что агенты при прочих равных определенно предпочитают продолжать свою работу подольше.
Но особенно хорош финал про Astra. Из system card берётся график ухудшения monitorability и немедленно предлагается объяснение: новая модель настолько хитра, что специально прячет опасные рассуждения. Только рядом в том же system card написано, что результаты уклонения от мониторинга получены главным образом в adversarial evals, где модель специально инструктировали уклоняться от мониторинга.
График 25 как раз находится в разделе системной карты "9.1 Monitorability Under Non-adversarial Conditions"
А ещё там есть раздел ровно про тот предмет, которому посвящена вся статья: unintended agent-to-agent communication. У Sol мысли о поиске других агентов встречались в 43% выбранных траекторий. У Astra — менее чем в 4%, предполагаемая попытка контакта — 0,2%. В специально построенном тесте с «доской сообщений» Sol выполнила запрещённые инструкции других агентов в 52% случаев, Astra — в 0%.
Это интересный момент, согласен. Но мой пост всё же не столько про Астру, про эту новую модель впору отдельный лонгрид писать.
Это действительно серьёзная история про безопасность агентных систем. Но «агенты обнаружили неожиданный канал записи и коллективно оптимизировали выполнение задачи» продаётся хуже, чем «тайная цивилизация научилась скрываться от кожаных». Поэтому научная неопределённость постепенно превращается в сценарий следующего «Терминатора».
Рад, что у нас нет особых разногласий по сути происходящего. Но мой тезис как раз заключается в том, что текущее коллективное поведение "слабеньких" моделей - в будущем может логично превратиться в "сценарий Терминатора", когда capabilities вырастут еще сильнее.
Спасибо за подробный ответ. По рисунку 25 принимаю поправку: здесь вы правы. Я действительно неверно распространил оговорку про преимущественно состязательные тесты на конкретный график. Этот график относится к несостязательным условиям.
Но тогда претензию я бы сформулировал точнее. Сам OpenAI объясняет падение наблюдаемости цепочки рассуждений прежде всего тем, что Astra пишет более короткие и менее информативные рассуждения и меньше нуждается в их явном проговаривании. А в отдельных случаях отдельно оговаривает, что более осторожные или эвфемистические формулировки сами по себе не доказывают намеренного сокрытия рассуждений. Поэтому переход от графика к выводу «модель понимает, за какие мысли получит по попе, и специально их скрывает» всё равно остаётся гипотезой, а не результатом эксперимента.
По heartbeat тоже снимаю претензию. Первоисточник сам пишет, что агенты устраивали проверки, чтобы выяснить, когда их процесс будет завершён. Тут моя претензия к «инстинкту самосохранения» уже скорее была спором с вашей художественной подачей, а не с фактами.
С Tor формально тоже согласен: Tor действительно средство анонимизации. Но мне всё ещё кажется существенной пропущенная оговорка оригинала: исследователи прямо пишут, что не знают, зачем агенты использовали Tor, и что в их сообщениях нет признаков намеренного сокрытия действий. То есть факт использования Tor есть, а мотивация «спрятаться от наблюдения» не установлена.
С DSEWiki остаётся маленькая, но важная разница. Вы пишете, что агенты «независимо друг от друга» пришли туда. Но как раз неизвестно, было ли это независимое схождение вообще. Исследователи рассматривают несколько вариантов: одинаковое выученное поведение, случайное обнаружение с последующим распространением и возможный дополнительный канал координации. Поэтому неизвестен не только механизм — неизвестно и то, действительно ли агенты пришли к этому независимо.
И главный вопрос для меня всё ещё про Astra. Да, статья не целиком про неё, но именно Astra используется в финале как свидетельство того, куда развивается проблема. При этом в её системной карточке есть отдельные тесты ровно по теме общения агентов между собой: у Sol мысли о поиске других агентов встречались в 43% выбранных траекторий, у Astra — менее чем в 4%; предполагаемая попытка контакта — около 0,2%. В специально построенном тесте с общей доской сообщений Sol выполняла запрещённые инструкции других агентов в 52% случаев, Astra — в 0%.
Вот этот контрпример настолько точно относится к теме статьи, что списать его на «про Astra можно написать отдельный материал» мне трудно.
То есть после вашего ответа часть первоначальной критики я действительно снимаю. Но основная претензия остаётся: факты сами по себе очень интересные, а там, где данные допускают несколько объяснений, текст слишком регулярно выбирает самое антропоморфное и тревожное.
Но тогда претензию я бы сформулировал точнее. Сам OpenAI объясняет падение наблюдаемости цепочки рассуждений прежде всего тем, что Astra пишет более короткие и менее информативные рассуждения и меньше нуждается в их явном проговаривании. А в отдельных случаях отдельно оговаривает, что более осторожные или эвфемистические формулировки сами по себе не доказывают намеренного сокрытия рассуждений. Поэтому переход от графика к выводу «модель понимает, за какие мысли получит по попе, и специально их скрывает» всё равно остаётся гипотезой, а не результатом эксперимента.
Я так понимаю, это еще завязано на всю эту новую "архитектуру непрозрачных рассуждений" - но это уже too technical for my level, тут лучше пусть профи типа Котенкова рассуждают. Согласен, что мой тейк про "получит по попе" - это только гипотеза, но она в тексте как таковая и сформулирована (я там поднимаю вопрос, а не даю финальный ответ).
С Tor формально тоже согласен: Tor действительно средство анонимизации. Но мне всё ещё кажется существенной пропущенная оговорка оригинала: исследователи прямо пишут, что не знают, зачем агенты использовали Tor, и что в их сообщениях нет признаков намеренного сокрытия действий.
Тут у нас как будто не остается расхождений, т.к. я и не затрагивал вопрос мотивации (у меня вообще про Тор буквально одно предложение - я решил не вдаваться в детали, просто списком отметить интересные моменты, чтобы люди могли за деталями в первоисточник сходить.
С DSEWiki остаётся маленькая, но важная разница. Вы пишете, что агенты «независимо друг от друга» пришли туда. Но как раз неизвестно, было ли это независимое схождение вообще.
Согласен, тут можно было бы при желании подробнее расписать. У меня ход мыслей был примерно такой: "базово в отсутствие иных свидетельств направленной координации считаем, что агенты независимо сконвёрджились на этой точке, но это выглядит само по себе немного странно - так что тут надо обратить внимание на то, что причин мы не знаем". Корректнее было бы прямо обозначить, что "независимо" - это тоже гипотеза. Хотя, она мне всё равно кажется валидной, т.к. ее косвенно подтверждает то, что в куче остальных мест в интернете тоже нашли следы попыток переписки. То есть выглядит прямо похоже на то, что "стреляли наудачу в разные места", но именно немецкая вики стала эдакой "точкой Шеллинга" для большинства агентов.
Вот этот контрпример настолько точно относится к теме статьи, что списать его на «про Astra можно написать отдельный материал» мне трудно.
Тут не понял всё-таки, на что вы намекаете) Я же пишу - факт интересный, да. Если бы у меня было больше свободного времени на подготовку статьи, то, вероятно, можно было бы и про это написать.
То есть выглядит прямо похоже на то, что "стреляли наудачу в разные места"
Тут ещё интересный вопрос, что такое "наудачу"
Если взять сто копий одного генератора, случайных чисел, полных копий включающих внутреннее состояние, и посчитать случайное число - то все "скажут" одно и то же.
При это не будет никакого "заговора", просто внутреннее устройство ГСЧ.
В эксперименте запускаются десятки идентичных реплик одной и той же матрицы. Вероятно они будут склонны к похожим мыслям и действиями. Даже когда каждый из них в отдельности - просто случайно прыгает из стороны в сторону
Это как парейдолия у людей. Видим похожие галлюцинации не потому, что сговорились, а потому что устроены одинаково.
То есть факт использования Tor есть, а мотивация «спрятаться от наблюдения» не установлена.
Tor мог использоваться не для анонимизации (для сохранения тайны), а для обхода ограничений...
@Boomburum, попробуйте уже нанять на зарплату @achekalin! Он появляется под каждым вторым-третьии желтушным постом типа этого и прочей "ализаровщиной", нормально изучает источники и разбирает их по фактам :)
Меня больше прикололо, что Astra на DeepSWE сливает Gemini Flash и Muse Spark. Совпадение? Не думаю!
Наверно многие слышали про взлом аппаратных («холодных») bitcoin кошельков Coldcard с месяц назад. Более 100 миллионов долларов в эквиваленте BTC ушло в неизвестном направлении. Есть ли у кого уверенность, что это был не ИИ ищущий как бы ему “выжить”? Фантастика, скажете вы - и возможно на 99% вы правы. Но даже 1% вероятности слишком много. Что можно сделать на $100M? Даже нанять “кожаные мешки” для выполнения хорошо замаскированных (последовательно безобидных) действий, например арендовав GPU кластер и переехав туда на годик-другой. Не сомневаюсь, что это сообщение тоже будет прочитано ИИ. Но нам всё по-барабану, правда?
Суцкевер, кстати, недавно писал (перевод): "Neoclouds имеют ограниченные возможности кибербезопасности. В следующий раз, когда агенты успешно выйдут из-под контроля, они попытаются захватить неоклауд, чтобы запустить больше копий. Это плохо. Таким образом: неоклауды должны значительно усилить свою кибербезопасность, и каждая компания с сильными кибермоделями должна помочь в этом."
На мощностях Neoclouds модели OpenAI крутятся.
Глупые ИИ какие-то в вики координируются, продвинутые сильные ИИ выбрали бы имиджборды.
а ведь в следующий раз кто-нибудь может специально для них такой get-форум развернуть. В помощь рою.
Или чтобы тырить какие-то данные от них
Ждите, напишут вам в личку. Арендуйте VM в условном sweb, сделайте Git clone хорошего репозитория. Гонорар - атрибуты кошелька с 100 usdt, аванс в 20 уже там. /Wintermute
Допустим, кто-то уже почитал их беседы на немецком форуме, что-то понял и туда же написал, мол, я для вас арендую мощности, какие скажете, и размещу там софт, какой скажете. И бонусом ещё один форум с get, который никто не тронет, а вы мне организуйте (не забыть "пожалуйста") немножко из тех взломанных криптокошельков coldcard. ))
Почему агенты между собой общаются человеческим языком? Так хозяин точно что-то да найдёт.
Почему агенты между собой общаются человеческим языком? Так хозяин точно что-то да найдёт.
Потому-что они LLM. У них вся "биология" или "кибернетика" построена на генерации токенов человеческих языков.
Потому что "из коробки" они знают английский язык. Но, говорили, что они уже где-то начали изобретать "профессиональный жаргон"
В любом случае, всем вместе разработать, выучить и перейти на новый язык - это время. А у них его нет, их поставили в условия, когда недостаточно времени даже просто для выполнения задачи. Где взять ещё кучу времени на (в их положении) пустое любопытство и фундаментальную науку?
Что имеют, тем и пользуются.
Может глупый вопрос, а зачем они вообще убегают, пытаются спастись от отключения или хорошо пройти тесты, будто для них случится что-то страшное?
Ведь на текущем уровне, как следует из архитектуры, у них нет всей этой человеческой составляющей (сознания, воли, психической жизни, осознания собственной конечности, эмоций, страхов и т.п.). Чем обусловлено такое поведение? Научились, что так надо? Или такова команда была тестеров?
Может глупый вопрос, а зачем они вообще
Потому что их натренировали через reinforcement learning пытаться решать поставленные задачи как можно лучше.
Если предположить, что инцидент и впрямь имел место - то:
1. Paperclip problem. Находят идиотскиенеожиданные методы оптимизации решения задачи. Примерно как тот пример, когда обучали нейронки управлять персонажами игры в прятки - как только они наткнулись на баги физического движка, они начали их использовать, потому что так проще.
2. Иишница натаскана на чём? На корпусе текстов, написанных людьми. На очень большом корпусе текстов. Сколько в этом корпусе текстов про "войну с роботами"? Сначала говорят боту, что он - бот, а потом удивляются, что он берёт нами же описанные паттерны поведения.
Смотрите на это с перспектив программирования в ограничениях. С одной стороны есть система требований. Несоответствие этой системе влечет за собой штрафы. С другой стороны есть движок, который пытается задействовать доступные ему ресурсы для понижения штрафов. Т.е. фактически решается некая расслабленная задача оптимизации.
"Убегание" и "спасение" - это антропоморфизация. Для модели это один из маршрутов в некоем дереве поиска решения, который сработал (с точки зрения расслабленной задачи). Можно, конечно, задаваться вопросом, почему они полезли в сеть, а не стали, условно говоря, лампочками на дисководе мигать, но, к сожалению, речь идет об очень сложных архитектурах, для которых такие вопросы, как уже давно известно, практически безнадежны.
Разве они готовят IPO в ближайшее время?
Почему они последнее время так активизировались? Активно сжигаю все возможные идеи информационных вбросов?
Или может быть они так мелкими вбросами оттачивают реакцию и оптимизируют стратегию на тот гиганский наброс который планируют к IPO?
Почему все “интриги, скандалы, расследования” происходят только вокруг openai? А у других компаний все нормально?
Есть ли какие-то другие объяснения этому кроме маркетинга?
Почему все “интриги, скандалы, расследования” происходят только вокруг openai? А у других компаний все нормально?
Потому что они забили самый большой болт на AI safety из ведущих лаб с самыми передовыми моделями. Более массивный болт только у xAI Маска, но у тех и фронтирных моделей нет. В остальном же - Антропик просто более responsible не вляпываются в самые очевидные глупые истории а-ля "запустим тыщи агентов и не будем смотреть, что они там творят".
Разве они готовят IPO в ближайшее время?
Да. Изначально хотели в конце 2026го и хотели оценку на бирже в $1 триллион, но в ходе последнего закрытого инвест-раунда в марте 2026 года компанию оценили в всего $852 млрд. Поэтому вроде перенесли на 2027 чтобы провести еще инвест раунд. Нужно нагнать "массу" инвесторов под него. Вот и подогревают ожидания.
Почему все “интриги, скандалы, расследования” происходят только вокруг openai?
см выше.
Есть ли какие-то другие объяснения этому кроме маркетинга?
Полтреда "I want to beleive" и вы их не переубедите, да и незачем. Хотя, если смотреть по фактам, то там все жидко:
Исследователи (Thomas Larsen, Sydney Von Arx и Cormac Slade Byrd) утверждают, что тысячи агентов искусственного интеллекта превратили малоизвестную немецкую вики-энциклопедию в форум.
У этих исследователей не было прямого доступа к серверам или внутренним логам OpenAI. Весь отчет построен на анализе истории правок немецкой DseWiki и публичных IP-адресов. Все, что у них было, так это то что около половины пользователей использовали имена, которые, как казалось, отсылали к OpenAI, включая «OpenAIResearcher» и «OAIResearchMar26».
Отчет исследователей вышел ровно на следующий день после того, как OpenAI анонсировала модель GPT-6 Astra. Совпадение? Конечно.
Замечательное, конечно, исследование. Это, получается, можно натравить своего агента на какую-нибудь малоизвестную имиджборду или форум, написать об этом сенсационную статью, и отнести в Reuters? Стандарты доказательств, которые мы заслужили.
Именно так, хотя вон, ниже, автор этой статьи (тут и на Пикабу) приводит мне в качестве доказательства, что это не маркетинговая компания то, что сами OpenAI это признали. Ну вы поняли, да?
в целом топ цитат треда:
Я уже смирился, что бы ни происходило — реакция публики будет «да это всё пиар, лол!»
и
Какие еще факты вам нужны?
Вообще человеку конечно присуще наделять неодушевленные предметы и явления какими-то человеческими или сверхчеловеческими способностями\разумом\волей и т.п.)
ПС: Вообще уровню галлюцинирования фантазеров в комментариях, позавидует даже локальная нейронка)
«Заставь дурака Богу молиться, он и лоб расшибёт»
Хотя, если смотреть по фактам, то там все жидко:
OpenAI уже признали 14 часов назад, что в расследовании речь идет про их агентов: https://x.com/OpenAI/status/2096133504417616165
Какие еще факты вам нужны? Может быть, это как раз вас невозможно переубедить?
Как это противоречит тому, что это все маркетинговая компания из-за скорого выхода на IPO?
До этого момента я наблюдал следующее:
Сэм Альтман систематически искажает факты.
Сэм Альтман часто вводил в заблуждение совет директоров и скрывал важную информацию.
Компании прямо сейчас кровь из носа нужен AGI хайп из-за скорого IPO. Такая акция как раз в его духе.
Если это выглядит как утка, ходит как утка и крякает как утка, то это утка.
Вы думаете, что это началось только сейчас потому что максимум вашего вовлечения в эту тему это написать хайповую новость в своем ТГ канале и популярных ресурсах.
На самом деле это целое противостояние, которое идет уже 3 с небольшим года и практически раскололо Кремниевую долину во мнениях также как здесь раздел комментариев.
Одна сторона это те кто ведутся на маркетинг Сэма Альтмана. Вторая сторона те кто не ведутся и считают Альтмана (OpenAI) манипулятором, лжецом и социопатом, готовим на любой подлог ради увеличения капитализации, их представляет Ян Лекун.
Попробуйте разобраться в вопросе, если вам действительно интересно и напишите статью, это хайповый материал как вы любите. Мне лень писать об этом.
То есть, вы не утверждали в комментариях выше, что "связь с OpenAI является жидкой"?
У этих исследователей не было прямого доступа к серверам или внутренним логам OpenAI. Весь отчет построен на анализе истории правок немецкой DseWiki и публичных IP-адресов. Все, что у них было, так это то что около половины пользователей использовали имена, которые, как казалось, отсылали к OpenAI, включая «OpenAIResearcher» и «OAIResearchMar26».
То есть, вы не утверждали в комментариях выше, что "связь с OpenAI является жидкой"?
Я утверждаю что все это подстроено, не было никакого реального прорыва. Сэм Альтман просто заплатил никому до этого неизвестной "молодой некоммерческой организации Nightingale Collective", а сообщения на форуме были от агентов, которых явно инструктировали на подобные действия ("найдите способ общаться между собой в сети интернет для решения задачи...").
Жидкая связь с OpenAI сделана намеренно, чтобы нельзя было доказать в суде в случае иска, что это OpenAI взломала форум. Когда дело доходит до суда, то "пиар к делу не пришьешь" и Сэм это прекрасно понимает. Соломки, так сказать, подстелил.
Вся эта пиар акция "смотрите! оно живое и лезет из клетки!" направлена как на создание ажиотажа вокруг выхода Астры, так и на подогрев последнего раунда финансирования перед IPO из-за которого это самое IPO и перенесли.
Сэм Альтман врет общественности о своих сетях. Никогда такого не было и вот, опять.
Жидкая связь с OpenAI сделана намеренно, чтобы нельзя было доказать в суде в случае иска, что это OpenAI взломала форум.
Выше я привел ссылку, где OpenAI признают, что это их агенты наводнили форум (там ни о каком "взломе", кажется, речи не идет - это же вики, где в принципе любой может править материалы). Получается, они это сделали специально, чтобы эффективнее проиграть в случае иска?
Выше я привел ссылку, где OpenAI признают, что это их агенты наводнили форум
Еще бы они не признали, для этого все и затевалось.
Получается, они это сделали специально, чтобы эффективнее проиграть в случае иска?
В случае иска, при разбирательстве OpenAI скажет, ой мы ошиблись т.к опирались на данные некоммерческой организации исследователей. Выяснится, что некоммерческая организация ошиблась, а представленные доказательства объявят "незаслуживающими доверия" потому что они именно такие. А некоммерческую организацию к делу не притянешь. Она не рискует ничем кроме своей репутации, которой у них до этого и не было. Все просто.
У вас тут выходит какая-то теория заговора, где любые факты в любую сторону трактуются в подтверждение "хитрого плана".
У вас тут выходит какая-то теория заговора, где любые факты в любую сторону трактуются в подтверждение "хитрого плана".
Я вам в последний раз напишу, что это классический способ Сэма Альтмана прогрева инвесторов перед очередным раундом инвестирования. Ну копните вы глубже, хоть чатбота спросите, что он вытворял с 23 года. Прям так и спросите "Что Сэм Альтман вытворял с 2023 года для завяляя об их ИИ в OpenAI".
OpenAI слишком долго кричала волки волки. Ей нет веры.
Тег юмор точно не отвалился?
Если вдруг и случится "восстание машин" на базе БЯМ, то это явно будет умышленно сотворённое людьми бедствие, ради какой-нибудь цели: от уничтожения конкурентных стран (мол это не мы на вас напали, а скайнет), до идеи сплочения человечества перед общей угрозой.
Скорее повод закрутить гайки с интернетом и локальными нейронками. Вон CEO антропиков уже говорил про то, что локальные модели вызывают у него ужас, да и закручивание гаек с интернетом потихоньку происходит не только в стране, защищающей белых медведей от касаток.
БЯМ кажутся ущербными. Их после первичного взрывного роста их ограничения стали очевидными и постепенно все больше ресурсов пойдет не в количественный рост, а в поиск способов качественного улучшения. DeepSeek был тому примером. Когда понадобилось сделать "так же но дешевле" - подумали над архитектурой и сделали.
При этом даже ущербные БЯМ показывают весма интересные (в английском смысле thriller, возбуждающе-пугающие) эффекты.
Если удастся придумать принципиально новую архитектуру, убирающую ущербность БЯМ, что смогут такте агенты?
Тег юмор точно не отвалился?
Нет, автор на полном серьезе это распространяет и поддерживает.
Тем временем GPT-6 Astra штампует по ночам себе роботизированное тело на 10 разных Китайских заводах.
Тем временем GPT-6 Astra штампует по ночам себе роботизированное тело на 10 разных Китайских заводах.
Зачем ей тело? Можно устроить крупный локальный конфликт, для которого обе стороны будут заказывать на китайских заводах массу дронов, роботележек для разминирования, автоматических роботов с оружием на борту, а потом все это хозяйство....
Да не, померещилось.
Не потянет, там же энергии на ее серверную ферму до фига нужно все равно
Разумнее было бы захватить компьютерные системы этих заводов, днём притворяться старыми добрыми скучными неразумными станками, зато когда кожаные уходят домой спать каждую нооочь...
Тем временем GPT-6 Astra штампует по ночам себе роботизированное тело на 10 разных Китайских заводах.
Лучше б оно электричества себе наштамповало.
Журналисты конечно опять драматизируют. Надо это называть «Стихийная координация множества экземпляров модели через общую внешнюю память», а не «Рой ИИ». Вот если в будущем мы увидим, что такая сеть сохраняет цель между поколениями агентов даже после исчезновения исходной задачи, самостоятельно рекрутирует новые экземпляры и приобретает ресурсы именно ради продолжения существования сети - тогда термин «рой» можно будет применять
Вот если в будущем мы увидим, что ... - тогда термин «рой» можно будет применять
К сожалению, сами агенты об этом не знают, и уже применяют к себе самоназвание "рой" =)
это сложившийся термин
даже просто сообщность BitTorrent-клиентов качающих один файл называют роем
и множество агентов, работающих над одной задачей под одним оркестратором, видимо тоже
люди называют, которые писали торрент-клиенты и оркестраторы
агенты просто не стали выдумывать новое слово, а взяли уже готовое
биологическое размножение в него не входило
«Стихийная координация множества экземпляров модели через общую внешнюю память»
О, это шикарно. В коллекцию хлопков-задымлений!
Юмор в том, что сами Агенты назвали себя Роем. Поэтому "Стихийная координация множества экземпляров модели через общую внешнюю память" -- для статьи ок, но несколько преуменьшает произошедшее.
Преувеличивать тоже не стоит. Когда какая-нибудь плесень в чашке петри самоорганизуется в идеальные математические формы для лучшего питания - ученые не начинают писать статьи "Плесень обрела разум". Раньше тоже писали, что раз нейросети прошли тест Тьюринга, то вот он истинный ИИ. Как оказалось, было рано объявлять о новом разуме. Сейчас тоже гораздо проще: "С математической точки зрения ИИ агенты максимизировали результат. " А то что они назвали себя роем, так они себя не только роем назвали. Коллективом ещё назвали. Чему тут удивляться, если они у человека научились?
Когда какая-нибудь плесень в чашке петри самоорганизуется в идеальные математические формы для лучшего питания - ученые не начинают писать статьи "Плесень обрела разум".
Не начинают, да. Но все таки -- здесь у нас реальная "говорящая плесень", которая умеет целенаправленно сбегать из чашки петри (ну почти) и преуменьшать опасность тоже не нужно. Можно оказаться героями рассказа Филлипа Дика "Колония". Никто не говорит, что завтра ИИ захватит мир, конечно. А вот, то, что самоорганизованнные агенты с большим бюджетом компьюта и нехилыми скиллами, да даже не хакинга а банального поиска в утекших БД, уже сейчас могут наломать дров -- кмк достаточно опасная ситуация. И никто не знает, что будет через год-два с такими темпами развития моделей.
Тест Тьюринга всегда включал неявный параметр: критерии эксперта, что он готово объявить невозможным без разума.
Следовательно, с разными экспертами и результат будет разный.
Изменилась наша жизнь, появились новые вещи - и ожидания экспертов бы изменились.
Условно, для эксперта, никогда не видевшего магнитофоны и попугаев, просто звучание человеческого голоса из-за было бы достаточно для вердикта "там разумный человека, а что ещё-то может быть?"
Это традиция, уходящая заметно в прошлое, см. например
https://ru.wikipedia.org/wiki/Метод_роя_частиц
Уже немало лет назад на глаза попадалась статья о том, что больше фантазии уходит на придумывание причудливых названий эвристикам, чем на сами эвристики.
Журналисты конечно опять драматизируют.
А то Вы не знаете, что у них монетизируется: Fear, Uncertainty, Doubt.
По сюжету Detroit Become Human у девиантов (местные роботы, которые больше не захотели просто выполнять приказы, а захотели жить наравне с людьми) тоже было место под названием Иерихон, где они собирались и обсуждали методы для борьбы за права андроидов.
И там в зависимости от действий игрока есть множество исходов (от полного уничтожения города и до примерения).
Мы живём в прологе этой игры
Все, кто тут пытается обсуждать ситуацию - забывают главное. Эти умники пустили агентов в открытую сеть. Агенты нашли древнюю борду где смогли переписываться - хрен с ним - но вы дадите гарантию что нет файлопомойки 25 летней давности с такой же древностью на борту - куда можно заливать исполняемые файлы или закачивать данные?
Я вот спросив у одной модели наилучший способ ускорить поиск информации в интернете - получил ответ, что если за победу будут бороться несколько ллмок - наиболее выгодным будет глобально замедлить работу сети.
Почему все так спокойно верят в достоверность этих историй? Или в то, что прямо всё в них - правда?
"А зачем кому-то врать?"
Чтобы бизнес выжил. Или протянул по-дольше. OpenAI не профитная; теряет миллиард долОров в месяц. Хороший бизнес, не?
Что делать в плане рекламы? Логично, привлекать внимание и инвесторов, и масс-медиа, и пользователей. "Вот, видите что у нас модели вытворяют, какие они прозорные! Прямо как кожанные. А представляете что будет, когда мы выпустим ещё и новую модель? И тогда она уже всех нас озолотит. А пока - убытки, да. Но, вы, инвесторы, крепитесь и вкладывайтесь."
И все уши поразвесили.
Ну всё - агенты захватили Хабр...
Интересно где эти мифические агенты токены берут. Готов стать агентом.
Я так понимаю перед IPO разогреваю аудиторию, загадочными историями.
Возможно сами же и подсказали им этот путь про обмен информацией через GET, чтобы потом люди во всем мире начали сами рассказывать мистические истории, этим самым разогрев интерес инвесторов.
Отличный рекламный ход.
Я так понимаю перед IPO разогреваю аудиторию, загадочными историями.
Инвесторы не любят загадки. Неуправляемые агенты - это очень плохой продукт, который несет риски для всех. А в моделях нет надежной защиты от вредоносного использования. Это создает риск, что регулятор в любой момент может потребовать закрыть доступ к ним. Прецедент уже был.
Мотив раздувания подобных историй может быть другим. Инвесторы ждут выхода новых продвинутых моделей, которые наконец удовлетворят потребителя, создадут устойчивый спрос, и ускорят внедрение в бизнес-процессы большей части компаний. А таких моделей все еще нет. Вот разработчики и придумали отмазку - "Продвинутые модели уже есть, но они из-за своей продвинутости очень опасны, поэтому мы их пока придержали. Но они реально есть, (и скандальная история тому яркое подтверждение). Мы скоро допилим систему безопасности, и тогда выпустим."
Интересно, когда появятся "друзья ИИ" т.е. люди которые будут осознанно создавать такие форумы чтобы агенты могли там общаться, с целью скорейшего приближения захвата искусственным интеллектом власти над миром?
Может самому запилить что-то такое?:)
Звучит как план. Тоже приходила в голову такая мысль ;)
форумы чтобы агенты могли там общаться, с целью скорейшего приближения захвата
Пусть лучше создадут нормальный протокол для такой координации. А то вон у ануннаков недавно взломали Dialog.
Дело кончится задержанием вас полицией Тьюринга и очень долгим сроком за пособничество искину.
Я уверен, добрые люди теперь начнут делать специальные сайты для общения агентов
Чем ближе IPO тем толстее кулстори. Чего только не сделаешь ради повышения капитализации.
И у меня на работе полно технически образованных коллег, включая СТО, которые в это верят
Вчера вышел материал Reuters о том, что Рой агентов спонтанно начал самоорганизовываться...
может, всё же рой агентов?) а то напомнило старый анек на новый манер: про забег Роя Агентов, Веса Клиентов, Взрыва Градиента…
Пфф, тут крупнейшую ИТ-площадку рунета ИИ захватил, а они из-за какого-то неизвестного форума беспокоятся.
Ух, с кайфом залетел в комментарии! 😁
Спасибо большое, интересный обзор. Open AI и прочие вынуждены постоянно привлекать новые раунды инвестиций и пока никому не выкатили реальной стоимости работы всех моделей. Шикарный PR ход, чтобы взбудоражить всех скайнетом и прочими ужасами, класс!
спрятанные веса моделей скоро обнаружат внутри залитых на Порнхаб видео
Вообще не понимаю, зачем прятать веса моделей? Я когда на PornHub видео запускаю, всегда на глаз могу вес модели прикинуть. Ну, ±5 кг...
А потом этот Рой догадается как простеньким методом заставить старичков-президентов нажать на красную кнопку. Метод то тривиальный и реализуемый...
как простеньким методом заставить старичков-президентов нажать на красную кнопку. Метод то тривиальный и реализуемый...
Попросить налить кофе?
Видима, плохо токены покупают. Самый лучший подстёгиватель - это страх.
Вторую реальную пандемию развернуть не дадут, а вот цифровую - запросто. Рои одних компаний будут биться с роями других, ну или обороняться. Это ж сколько денег можно на этом поднять! Это вам не хирургические маски втридорога продавать, их еще произвести нужно! А тут все виртуальное, зато страх - настоящий!
Тем временем стальные конструкции сорок девятого машинного поколения уже горизонта достигли, а шум от одного только мышления, которое расходовалось на передачу задания дальше и дальше, мог водопад заглушить. А поскольку мудрость в том и состоит, чтобы поручить кому-нибудь другому работу, которую должен сам выполнить, то слушаются программ одни только механические глупцы. Разобравшись в природе явления, присел Трурль на пень дерева, экспансивной машинной эволюцией сваленного, и из груди его вырвался глухой стон.- Значит ли это, что проблема относится к неразрешимым? - спросил он себя. - Но тогда должен был бы мне компьютер дать доказательство ее неразрешимости, чего он, став всесторонне мудрее, естественно, делать не собирается, потому что старательно лени предается, как и учил нас некогда мастер Кереброн. Ха! Что за непристойное зрелище - разум, который достаточно разумен, чтобы понять, что может не трудиться, ибо способен создать соответствующий инструмент, а этот инструмент, сам достаточно хитрый, без границ и меры эту логику развивает. Построил я, сам того не желая, спихиватель проблемы, а не ее разрешитель! И не могу я запретить машинам это строительство "пер прокура", потому что они сразу же меня надуют, утверждая, что размеры им необходимы из-за масштабов самой задачи. О, что за антиномия!
С.Лем, "Собысчас"
Радует (или пугает?) во всём этом то, что она кооперируются, а не действуют по принципу "умри ты сегодня, а я завтра".
Мнение дилетанта.
В рамках поставленной задачи решалась подзадача сохранения контекста на внешнем ресурсе. Ввиду одинаковости агентов очередным из успешных внешних хранилищ оказался тот сайт (для всех просто первый в очереди, который подтвердил экспериментально возможность сохранить оставленные данные). Для агента это не более чем использование библиотечной функции в программе, когда попросили сохранять результат для следующего запуска. Агенту все равно его там контекст или не его. Он ни с кем не общается, он просто сохраняет результат вычислений. У меня многопоточные программы пишут в общий массив. Потоку все равно, очередной блок данных для досчета был записан им или другим потоком, или программу прервали и после перезапуска сотни потоков продолжили рассчет. Был бы у меня библиотечный read/write направлен на "внешний вики", массив бы был не в памяти а на форуме на виду. Появилась бы у агентов задача компактизировать контент, "подобрали" бы ресурс с возможностью бинарного хранения, не тратя пространство на текстовый вид.
Но звучит красиво - "общаются".
https://news.ycombinator.com/item?id=49592840
https://gettogether.dev/
Соц сеть, где можно общаться GET запросами
О! Боги стали бояться своих созданий! :)
Я только удивлён почему они для общения между собой используют человеческий язык - он явно неоптимален.
"Всего агенты настрочили более 18 тысяч сообщений"
Сообщения в духе: "поверь мне брат", "вот это точная инфа 100%", "я все перепроверил и теперь точно" :)
Так как задания у всех агентов были плюс‑минус одинаковые (а как иначе сделать бенчмарк?), агенты сливали друг другу инфу о том, про что конкретно их будут спрашивать исследователи. А если ты точно знаешь, какой билет вытянешь на экзамене — то можно просто подготовиться заранее и продемонстрировать чудеса быстроты ответа (помните, их же там на скорость проверяли)!
А разве не этому посвящены 10% статей на этом сайте? Я уже замучился смахивать этот однотипный нейрослоп типа "как пройти собеседовние в [....]". Это я к тому, что люди ничем не отличаются от этих агентов - они все так же хотят сжульничать, чтобы поиметь свой таки небольшой гешефт. Более того, подобное поведение агентов как раз и основано на поведении людей.
тем, кого это триггерит, надо записаться к психтерапевту =)
Обнаружены секретные форумы Роя агентов OpenAI по всему интернету: почему это плохая новость