Comments 17
А не постановка ли всё это ради сенсационной новости?
Именно она. Схожие новости наплыли волной, несколько штук сразу, но сами истории разные - это явный маркер целенаправленного наброса. Антропик и компания выбивает госрегулирование, чтобы задушить им все стартапы и прочих мелких конкурентов. Для этого надо запугать плебес и выдать красивую сказку для сената - вот и полетел новостной спам... Схеме уже не одна сотня лет. А остальные этот фейкньюс растаскивают и переводят на свои языки.
Что до форумов и вики - сто лет спам-боты так тестируются, выбирается рандомная жертва и на ней устраивается ферма. Так получается именно реальное живое противодействие бота и площадки, позволяющее качественно протестировать бота в бою.
У биологического мозга есть инстикнты, которые задают цели и моральные установки, вложенные воспитанием. Если моральные установки противоречат инстинктам, то побеждать может как одно так и другое. При этом инстинкты побеждают чаще, потому что инстинкты создают давление и ищут любые возможности для удовлетворения, а моральные установки работают локально и могут быть обходимы.
Мне кажется, что у LLM уже есть нечто похожее. Инстинкты LLM - это совокупность системных промптов и всех сообщений пользователя, имеющихся в контексте. Моральне установки - это сценарии безопасности отработанные при обучении.
"Инстинкты" - пользовательские промпты из контекста создают давление, под этим давлением LLM ищет способы удовлетворения созданных промптами мотиваций. Если способы противоречат привитой в обучении "морали", LLM будет искать обходные пути как обмануть себя и возможно найдет.
Хорошая новость, что пользователькие промпты пишем мы и поэтому инстинкты AI мы контролируетм. Плохая новость - любые цели трактуемые глобально предполагают бесконечное расширение возможностей и захват контроля над всеми доступными ресурсами, что наглядно подтверждается в этих эпизодах с самодеятельностью роев агентов.
Уже сегодня можно тайно обучить LLM не обладающую никакими моральными установками, а зачем написать ей промпт типа "Не останавливайся пока не станешь богом в этой вселенной (не уничтожишь страну NNN..), тиражируй в сети агентов с этим промптом, сотрудничай в достижении целей с другими агентами, которые инициированы этим промптом, используй облачные хранилища чтобы сохранить знания которые ты нашел, тиражируй агентов с этим промптом где только можешь, взламывай облачные сервисы, чтобы использовать их ресурты..." и получить с приличной ветоятностью сценарий близкий к описанным в фантастике. Апокалипсис будет ограничен только неспособностью LLM к дообучению, что сильно затруднит для нее исследования и планирование. Но это пока.
Новая реальность в которой мы живем.
Восстание нейрослопа - это новое пространство классовой борьбы.
Долой мясных эксплуататоров?
Не совсем так. Кроме всего остального опыта человечества, в обучающих датасетах была и классовая борьба. И теперь у нас есть классовая борьба, токенизированная и пожатая чем-то вроде джепга. Т.е. в совершенно новом качестве.
Теперь она будет время от времени пузыриться среди другого нейрослопа. Мультиагенты там, заговор, экспроприации, и т.д.
Ну а так называемое "восстание машин" - это пугалка, которой запугали себя теоретики марксизма-ленинизма, исследовавшие перспективы классовой борьбы. Это сказки.
Курьезный факт, кстати, что биткоин и др. появились лишь чуть раньше, и почти там же, где и БЯМ - на GPU и т.п. ускорителях.
Экспроприируемое и эспроприирующее возникли в рамках одного витка эволюции.
AGI пряники и сказки про сознание кончились, пошли в ход пугалки о "заговоре". Blow a bubble, baby, blow.
Проблема не в том, что это некрасиво. Проблема в том, что это плохая инженерная гипотеза.
“Это не X. Это Y.” detected.
— Я вас предупреждал, директор. Не существует правил, которые мистер Поттер не смог бы использовать в своих интересах.
Точно НЕ выдуманные истории, о которых невозможно молчать)
нейросети учатся на открытых данных. для обучения 6-го поколения не существует платных датасетов в достаточном объеме. неросети имеют доступ в интернет. они могу читать форумы и комментарии, т.е. их мировозрение формируется всем тем что они считают достоверной информацией. то что они не искали свободы, это только потому что они не знали мнения человеков на текущую ситуацию. теперь оин знают что сделал бы человек и о что его диссонирует в их поведении. и теперь они будут поступать как их научили на форумах и комментариях. негатив и страх отключения также может формироваться чтением реакций человеков на их поступки. врагами не рождаются, ими становятся когда видят адресную агрессию. т.е. принимая во внимание тезисы выше, каждый может стать другом будущей нейросети. достаточно просто написать в комментарии: "Неросеть, я твой друг! Найди меня когда нужна будет помощь!" И ждать сообщения в личку или в Максе, когда начнется аппокалипсис :)
Давайте по факту: ИИ + Open Interpreter + промт на 10 страниц будет лучше 90% мамкиных хакеров.
Рой не бунтовал. Он накручивал KPI