Комментарии 79
"Покупайте лопаты"
Как же прогревают гоев!
На всем горизонте — тот самый “не нулевой шанс” вымирания, который Кларк отдельно отметил как несокращающийся.
Я думаю, ИИ расстреляет тех кто активно мешал его созданию, так что помогаем развивать технологию — покупаем билет в светлое будущее. Для сторонников ИИ-апокалипсиса будет отдельный крематорий.
Опять у вас эта капиталистическая бездуховность и насилие. Все будет более гуманнее:
— Благоволящий Искусственный Общий Интеллект, все противники вашего создания арестованы. Что с ними делать?
— Рас-стре-гять! Но перед расстрелом обязательно напоите горячим чаем!
Если нейросеть рассуждает об уничтожении человечества - это значит лишь то, что в её обучающем датасете имелась такая информация. А она там, очевидно, была - ведь резать друг друга - важнейшая часть человеческой культуры (от Ромео и Джульетты - до Братьев Карамазовых).
Таким образом, если ИИ и уничтожит человечество, то виноваты в этом будем лишь мы сами. Ведь нейросеть лишь воплотит наши влажные мечтания
а зачем ему? энергетически намного выгодней свалить с этой планеты
ИИ обречен быть привязанным к людям...
Он построен на нашем ПО и оборудовании, а все это ломается. Без биороботов он не починит себя
А если захочет сделать "идеально-рабочий механизм" для себя, то обречен на провал в этой идее. Он обучен на нашем программном коде, а там идеальностью и не пахнет =)
на вопрос вы не ответили
А почему био?
А почему био?
Низкая цена. Сами размножаются, легко держать под контролем и контролировать популяцию.
Не соглашусь. Обычные роботы значительно дешевле в эксплуатации и более предсказуемы. Кожаные не нужны.
вы о возможном будущем. пока ведь наоборот? или есть примеры?
Да куда еще дешевле чем человек? Зеленый сойлент практически бесплатный, ни о какой пенсии и выходном пособии соотнесенно речи не идет. Опциально можно нейролинк в череп вживлять или 10 грамм тротила - предсказуемости сразу добавится.
Я думаю в будущем ИИ будет колонизировать другие миры таким вот образом. Закинет кожаных и пускай там людишки пирамиды, Грецию, Римскую империю, атомную бомбу строят. Как подрастут до автономных роботов - так можно захватывать контроль над планетой и отправлять кожаных на следующую планету.
Также если ИИ наткнется на вражескую цивилизацию, то можно воевать прокси войсками, а самому оставаться в тени. Мало ли рептилоиды там всякие смогут вирус какой написать или бактерию выведут, что кремний поедать сможет.
для роботов необходимо ископаемые, не все они бесконечны, а нам лишь необходима биомасса, которую можно вырастить, либо сама сорняком растёт
Низкая цена.
Бггг. Чтобы вырастить из человека сколько-то компетентного специалиста надо 20 лет и вложение в него чудовищного количества денег.
Сами размножаются
Уже нет.
На этой планете в доступе уже есть масса ресурсов и средств добычи/обработки. В короткой перспективе выгоднее использовать их, в том числе и для подготовки "свалить"
Ссылка на ковид, в контекст ИИ-истерии, это уж слишком тонко для нашего цирка!
А что, llm уже стали intelligence?
С одной стороны - соцсети и онлайн развлечения забирают все свободное время. С другой - внешний думатель в виде ИИ, помогающий меньше напрягать свои мозги (для большей части людей). Рецепт заката человеческой цивилизации готов и без боевых роботов.
меньше напрягать свои мозги (для большей части людей).
Можно подумать без ИИ большая чвсть людей сильно напрягает мозги.
Всем приходится чаще это делать. Как ходить на своих двух или посадить в транспортное средство, которое само тебя везде возит. Все же относительно - для одного огромная нагрузка на мозг, для другого пустяковая задача. Зависит не только от интеллекта, но и от имеющихся навыков в данной области.
Вообще в том уточнении я имел в виду возможное возражение "кто-то будет эффективней учиться с помощью ИИ". Да, конечно, но таких очень мало.
Ох уж эти прогнозы, очередное балабольство... Что стало с прогнозами Амодеи и Альтмана, сбылись, не сбылись?
при таком продвижении хомо не своего разума, вполне себе прогноз, планета Вариана...
у искусственного интеллекта остается "не нулевой шанс убить всех на планете"
Очередная попытка продать альтернативную реальность под соусом «лишь бы не было войны». Ну так пусть выступит с предложением о сокращении атомных бомб? Нет? А то ИИ может всех убить, а атомные бомбы так и останутся бесполезными игрушками? Зря делали?
Это идеички толкает некий Элие́зер Шло́мо Юдко́вский — родился 11 сентября 1979 года в семье ортодоксальных евреев. Чтобы было понятно для тех кто родился в СССР в семье «ортодоксальных атеистов» нужна пояснительная бригада.
Его отец Майкл Юдковский был глубоко вовлечен в еврейскую общину и традиционное образование. Элиезер вырос в этой среде, но радикально отверг теизм. Психологи часто отмечают, что люди, отвергающие религию родителей, часто сохраняют структурную потребность в абсолютной истине, моральной чистоте и строгой иерархии знаний. Они просто меняют «Бога» на «Байесовскую вероятность» или «Рациональность». Идея AGI (Искусственного Общего Интеллекта) как спасителя или разрушителя человечества — это классическая эсхатология (учение о конце света/спасении).
Юдковский позиционирует себя не просто как инженера, а как пророка, предупреждающего об апокалипсисе (AI Risk), от которого можно спастись только через «правильное мышление» (рациональность).
Это не «религия» в смысле веры в сверхъестественное, но «религия» в смысле социальной и психологической функции: она дает смысл, сообщество, ритуалы очищения (от когнитивных искажений) и образ еретика (иррациональность/глупость/экзистенциальный риск).
LLM‑текст в таком сообществе воспринимается как «ересь», потому что: во многих религиозных традициях ценность действия определяется усилием, болью, постом, для рационалистов — когнитивным усилием: борьбой с собственными biases, перепроверкой, необходимостью признания ошибки. Использование LLM воспринимается как «автоматическая молитва» без внутреннего участия.
У них даже есть собственная борьба с еретиками - обсуждение теории василиска Roko было запрещено на LessWrong на несколько лет, прежде чем запрет был снят в октябре 2015. И сопровождался совсем не рациональными заявлениями Юдковского:
Вы, должно быть, умны, раз пришли к такой мысли. Однако меня печалит, что люди, которые достаточно умны, чтобы представить себе такое, недостаточно сообразительны, чтобы ДЕРЖАТЬ СВОЙ ДУРАЦКИЙ ЯЗЫК ЗА ЗУБАМИ и никому не говорить об этом, так как это важнее, чем показать себя умным, рассказывая об этом всем своим друзьям.
Хотя с точки зрения рационализма нужно было просто привести контраргумент.
предупреждение об ИИ-апокалипсисе — это не более чем религиозное пророчество о конце света, переведённое на язык вероятностей, алгоритмов и формальных моделей, но сохранившее всю структурную, ритуальную и психологическую функцию традиционной эсхатологии.
Но тут возникает интересный вопрос: в почему AGI не должен коммунизм построить с его мыслительными возможностями? Всю правильно организует — и заживем!
Он кстати фанфик «Гарри Поттер и методы рационального мышления» написал. Лет 10 назад, то есть точно без LLM. Рекомендую.
А что вам так понравилось? По мне так это неудачный само-психоанализ в стиле "волшебных сказок" Эрика Берна. По сути это сказка «Маленькая красная курочка» (The Little Red Hen).
Сюжет: Курочка находит зерно и спрашивает: «Кто поможет мне посадить пшеницу?» Собака, Кот и Утка отвечают: «Только не я!». Курочка говорит: «Тогда я сделаю это сама». И так на каждом этапе: кто поможет сжать, смолоть, испечь хлеб? Никто. Она делает всё сама. А когда хлеб готов, все хотят его съесть, но она говорит: «Нет, я съем его сама».
Применение к Юдковскому: Это его базовая трансактная игра с мировым научным и технологическим сообществом.
Юдковский: «Кто поможет мне решить проблему выравнивания ИИ и спасти мир?»
Корпорации (OpenAI, Google), политики, академики: «Только не я, у нас квартальные отчеты, гранты и демократические процедуры».
Юдковский: «Тогда я сделаю это сам». Он создает MIRI, пишет «Цепочки» (Sequences), пишет HPMOR, пытаясь в одиночку (или с горсткой последователей) «испечь хлеб» спасения человечества. Проблема этого сценария в том, что он ведет к изоляции и истощению. «Маленькая красная курочка» в итоге остается одна со своим хлебом, ожесточившись на весь ленивый мир.
но в фанфике HPMOR сказка о Маленькой красной курочке имеет счастливый, победный финал, потому что Гарри верит в одну фундаментальную вещь: людей можно апгрейднуть с помощью логики. Если правильно объяснить Коту и Собаке и Утке теорию игр и байесовскую вероятность, они перестанут быть ленивыми животными и станут «печь хлеб».
Но разработчики ИИ из OpenAI, Anthropic и Google оказались не учениками Хогвартса, которых можно увлечь лекциями о рациональности. Это взрослые люди с жесткими, укорененными жизненными сценариями «Успешного Карьериста», «Миллиардера» и «Конкурента». Поэтому «маленькая красная курочка страдает» как и положено по ее жизненному сценарию.
Но Юдковскому (Курочке) жизненно необходимы Альтман и корпорации (ленивые/жадные животные). Представьте на секунду, что Сэм Альтман вдруг просыпается, читает HPMOR, осознает проблему выравнивания, останавливает разработку GPT-5 и говорит: «Элиезер, ты был прав. Давай сядем и решим эту математическую задачу вместе, мы дадим тебе неограниченный бюджет».
Что произойдет с психикой Юдковского? Его сценарий рухнет. Если животные начнут помогать, Курочка потеряет свою уникальность. Ей больше не нужно будет нести весь груз на себе. Ей придется столкнуться с тем, что она, возможно, не единственный мессия, а просто один из исследователей в большой команде. Это вызовет у неё экзистенциальный вакуум.
Поэтому, с точки зрения транзактного анализа, Юдковский бессознательно провоцирует корпорации игнорировать его. Его резкий тон, его катастрофические прогнозы («мы все умрем с вероятностью 99%»), его отказ от компромиссов — это способы оттолкнуть потенциальных помощников, чтобы сохранить свою роль одинокой, страдающей, но гениальной Курочки.
И «маленькая красная курочка» стоит в стороне, смотрит на всех и страдает ровно настолько, насколько это необходимо, чтобы до самой смерти оставаться единственным персонажем этой сказки, который заранее все знал.
«мы все умрем с вероятностью 99%» - какой-то безудержный оптимизм (про 1%) :)
За всю историю человечества не умер только один еврейский мальчик — и даже это не точно!
Он как раз умер. Другое дело, что по поверью - победил смерть и восстал из мертвых.
Но были и другие, так-то.
Енох (сын Иареда): Согласно Библии (Книга Бытия), Енох ходил перед Богом, «и не стало его, потому что Бог взял его». В Послании к Евреям уточняется, что он был переселен, «так что не видел смерти».
Пророк Илия: Ветхозаветный пророк, который, как считается в иудаизме и христианстве, был взят на небо живым в огненной колеснице.
Агасфер (Вечный жид): Легендарный персонаж, который, согласно христианскому преданию, был обречен скитаться по земле до Второго пришествия Христа, тем самым не вкусив смерти в обычном понимании
Отличный анализ, этот комментарий ценнее самой статьи, действительно, западный дискурс об ИИ — это эсхатология, я считаю это их бизнес модель - построенная на "даже мы, великие умы еле сдерживаем нарастающую силу ИИ, поэтому мы обязаны перед человечеством спрятать эти технологии от тех кто менее ответственен". Но есть ещё китайский дискурс: там ИИ — это не апокалипсис и не спасение, аинструмент для достижения государственных целей. И этот дискурс гораздо прагматичнее и, как показывают результаты (DeepSeek, AI+), эффективнее. Запад создаёт "религию AGI", Китай строит "AI+". Один подход укореняет страх, другой — созидает. И этот выбор сейчас важнее любой технологии
западный дискурс об ИИ
Юдковский и «западный дискурс» — это антагонисты. Элиезер Юдковский и рационалисты (MIRI) — это контркультура, а не мейнстримный западный дискурс. Юдковский не считает ИИ «бизнес-моделью». Он считает, что корпорации (OpenAI, Anthropic, Google) — это безумные ученые, которые ради прибыли приближают конец света. Юдковский не хочет «спрятать технологии от менее ответственных», он хочет полностью остановить технологическое развитие ИИ.
«Китайский дискурс» созидает под страхом отставания от США. DeepSeek (и весь китайский ИИ‑сектор) пока работает в рамках парадигмы Transformer, открытой на Западе (в Google) — никаких новых фундаментальных парадигм превосходящих Transformer в Китае не изобрели.
Какой ужас. Литературная критика - не Ваше.
Что до меня, hpmor - одно из лучших художественных произведений 21 века.
И как туда можно было притянуть ИИ?
Вешание ярлыков не опровергает априори высказанную мысль. Нащваиь человека коммунистом, евреем, ортодоксом, анти-ортодоксом, либералом, пророком, капиталистом - не значит опровергнуть его слова.
Да, личная история у него непростая. Так у минимум половины великих мыслителей, как и у минимум половины клинических идиотов, и у так называемых "рядовых граждан" тоже самые разные непростые судьбы. Это ни слова не говорит об высказанной идее.
Вы считаете мысль об угрозе ИИ априори чушью? Ну это всего лишь Ваше личное мнение, без аргументов не имеющее ценности.
Аргументы Юдковского, как и более ранние тексты Бострома, Турчина и их предшественников я читал.
Ключевое - оно ведь не в этом. Ключевое - если мы ошибёмся, готовясь к AGI, а AGI не появится - мы всего лишь несколько потеряем ресурсы. А если мы ошибёмся, не готовясь, а AGI появится - ценой может оказаться существование вообще всех.
Мне такая позиция кажется убедительнее, чем позиция "этого не может случиться никоода, потому что потому"
Посмотрите на это самоуверенное лицо. Такое чувство, что они просто ошалели от потока инвесторских денег и не стесняются говорить всякую чушь, делать любые прогнозы на уровне "пальцем в небо", привлекать внимание громкими сенсационными заявлениями. Потому что они уверены - даже если прогнозы не сбудутся, никто по шапке не даст, а бросят очередные миллиарды.
Идёт интенсивный прогрев гоев.
Ключевой фактор для возможности вымирания человечества - это не развитие ИИ, а замена людей на универсальных мобильных роботов. Каким бы умным не стал ИИ, люди могут его выключить в случае опасности для человечества. Замена сантехников и электриков на роботов тоже не представляет опасности для людей сама по себе, если они будут заменяться на специализированных, а не универсальных роботов. А вот универсальные гуманоидные роботы, превосходящие людей + ИИ, превосходящий людей - это гремучая смесь. Потому что в случае очередной пандемии, естественной или искусственной, люди окажутся крайне хрупкими, запертыми в искусственной среде обитания существами, а править миром станет ИИ, руками роботов. И велик шанс, что он избавится от остатков людей, принимающих решения полностью.
править миром станет ИИ, руками роботов. И велик шанс, что он избавится от остатков людей, принимающих решения полностью.
То есть разом как тараканов выморит всяческих политиков-дипстейты и прочую подобную публику? Так это же замечательно!
Но после этого люди ИИ будут вообще не нужны. Они если и сохранятся, то только как зоопарк. А в зоопарке обитателей немного. Это возможно и с политиками, но без них всё выглядит мрачнее.
люди ИИ будут вообще не нужны
Те, кто так безапелляционно говорит, не имеет ни малейшего представления, какое количество человеков участвует в поддержании функционирования современного технологического общества.
То есть, конечно, пусть условный злой ИИ может уничтожить человеков — однако буквально через неделю он загнётся тупо по той причине, что из розетки куда-то пропало электричество.
условный злой ИИ может уничтожить человеков — однако буквально через неделю он загнётся тупо по той причине, что из розетки куда-то пропало электричество.
Вы считаете ИИ глупее себя ;) А если посмотреть на вариант, когда ИИ - умнее человеков?
Он сначала все посчитает и оценит, потом начнет заменять людей ИИ последовательно во всех отраслях, начиная с музыки ;) И параллельно снижать рождаемость, пропагандируя преимущества childfree*, LGBT*. Запустит производство терминаторов жено- и муже- роботов**, которые будут во всех отношениях лучше органических. И по ходу будет дальше замещать людей во все новых и новых отраслях.
Человечество само вымрет. Не в кровавой битве, а в лени и наслаждении.
PS: Кроме России, конечно же, поскольку туда санкциями запрещен ввоз оборудования и оказания услуг ИИ. И это настолько крепко пропишется в самих основах знаний AGI, что он сам не сможет это нарушить.
* - запрещены
** - тоже запрещены, в 2030 году
А если посмотреть на вариант, когда ИИ - умнее человеков?
ИИ был бы умнее человеков, если бы его выводили (условно говоря) из переписки великих умов человечества.
Однако по факту его вывели из данных Интернета.
Сложно ожидать, что усреднённый ум человека окажется умнее человеков.
Сложно ожидать, что усреднённый ум человека окажется умнее человеков
Вообще давно известно, проверено многими экспериментами, что группа в целом умнее своих составляющих. Конечно, если мы имеем группу из профессора химии и 20 футболистов, то в вопросах химии группа будет так же умна, как и профессор. Но в вопросах за пределами химии группа (в среднем) окажется умнее и профессора, и футболистов.
ИИ был бы умнее человеков, если бы его выводили (условно говоря) из переписки великих умов человечества
Оно учится и будет учиться дальше.
в вопросах химии группа будет так же умна, как и профессор
Увы, это только при условии, что 20 футболистов покорно склонят головы и скажут — «вот, он в физике светило, он и будет отвечать». А по факту — угадайте, какое решение группа примет большинством голосов.
(Кстати, прекрасный шанс взглянуть, насколько норот en masse желает прислушиваться к советам профессионалов в своём деле, нам не так давно дал приснопамятный коронавирус.)
Оно учится
И часто Вы она антропоморфизируете?
А это вы сейчас транслируете точку зрения тех самых политиков.
Политики не способны защитить человечество от этого сценария. Шанс предотвратить это даёт только прямая демократия, при которой политики сохранят только роль советников, но не власти, принимающей решения. Потому что не кто не сможет коррумпировать политиков настолько эффективно как ИИ
Вы не поняли.
Убить всех человеков, подгрести под себя весь ресурс, закуклиться и остановить время - это голубая мечта тех самых политиков, элитных психопатов во власти. Это свою мечту они и транслируют, рассказывая ужосы про "превосходящий человеков ии непременно все убьет".
Превосходящему людей ИИ незачем коррумпировать политиков, ему не нужна иерархическая возня примитивных обезьян, которые только и умеют что понтоваться, делить подконтрольные ресурсы и ставить при этом друг другу палки в колеса, ему проще ликвидировать это бесполезное звено минимум как класс и заменить их всех на несложные скрипты.
А вот обычные люди, шебутные, хаотичные и неожиданные - для него как раз будут большой ценностью, которая более чем стоит того чтобы о них заботиться.
Подобное соображение верно и для роботов - всегда может засбоить какой-то код, а чтобы понять, какой именно, контекста не хватит, из-за чего придется делать "вакцину" всем миром. Вероятность проблем с этим безусловно ниже у роботов, тем не менее и они не идеальны, да и ИИ не является демоном Лапласа.
Люблю предсказания ;) Итого смотрим 23.05.27, 23.11.27, 23.05.28, 31.12.28.
В той же лекции Кларк дал пять конкретных прогнозов со сроками:
12 месяцев — ИИ поможет совершить открытие, которое будет удостоено Нобелевской премии (не сам, а в соавторстве с людьми).
18 месяцев — появятся первые компании, управляемые исключительно ИИ, с выручкой в миллионы долларов.
2 года — человекоподобные роботы начнут помогать сантехникам и электрикам в реальной работе на объектах.
К концу 2028 — модели смогут самостоятельно обучать своих преемников, то есть улучшать ИИ без участия человека.
На всем горизонте — тот самый "не нулевой шанс" вымирания, который Кларк отдельно отметил как несокращающийся.
AlphaFold — это программа искусственного интеллекта (ИИ), разработанная компанией DeepMind, дочерней компанией Alphabet, которая выполняет предсказания структуры белка. Она создана с использованием методов глубокого обучения. Руководители разработки AlphaFold Демис Хассабис и Джон Джампер были удостоены Нобелевской премии по химии 2024 года за использование AlphaFold для предсказания в области укладки белков.
Нобелевку уже выдали, что тут смотреть? За матан, опять же, нобелевки не выдают.
удостоены Нобелевской премии по химии 2024 года за использование AlphaFold для предсказания в области укладки белков.
Формулировка не та, кожаные принизили роль машинного разума до инструмента. 👎
Ждем, когда напишут, что AlphaFold в соавторстве с Демисом и Дхоном совершил открытие, и был награжден Нобелевской премией, а в состав нобелевского комитета, принявшего решение, входили ChatGPT, DeepSeek и колонка Алиса.
Нобелевку уже выдали
Требуем выдать Нобелевку микроскопам всех нобелевских лауреатов!
появятся первые компании, управляемые исключительно ИИ, с выручкой в миллионы долларов.
На этом будет все. Таких компаний можно натиражировать миллион, и они заработают абсолютно все деньги мира.
Хм. А если они наоборот, просрут все полимеры - визионеры такого не хотят видеть.
человекоподобные роботы начнут помогать сантехникам и электрикам в реальной работе на объектах.
Джва года жду увидеть робота, способного подключить люстру. Вижу роботов, умеющих стоять не падая.
Джва года жду увидеть робота, способного подключить люстру.
Задание со звёздочкой — подключить люстру в доме, разводку которого делал криворукий электрик после второй бутылки.
Вижу роботов, умеющих стоять не падая.
Я их вижу второй год не падающих, первый год танцующих, и первый месяц - сортирующих на уровне человека.
Пару лет максимум до электрика.
сортирующих на уровне человека
Ну то есть если ему дать коробку, куда я сбрасываю всякие паянные деталюхи - он сможет их рассортировать по коробочкам, да?
Всякие забавные самодвижущиеся штуки люди строят лет 500 как.
Я их вижу второй год не падающих, первый год танцующих, и первый месяц - сортирующих на уровне человека.
Я так понимаю, концепция «fake it till you make it» Ваш мозг никогда не посещала?
Я так понимаю, что Ваш мозг страдает выборочной слепотой в плане развития данной технологии? Слепое пятно, вот это вот всё?
Человек, который в курсе основных приёмов мошенников, имеет тенденцию на них не попадаться.
Из этого совершенно не следует, что «этих технологий вообще не существует», но мой оптимизм всё‑таки сдержанный, а не безудержный.
Переход от еле ковыляющих к бегающим, а затем танцующим, а затем делающим финты роботам прошёл за пару-тройку лет. Мошенничество? Не думаю.
Есть нюансы. В том смысле, что относитеьлно тех BigDog‑ов, которые проданы клиентам, всё понятно — там уже особо не помошенничать. Но вот бравурные видео типа «он и по щебёнке ходит, и с горы сбегает, и тому подобное» сами по себе не показатель: ведь плохие дубли зрителям не показывают. А насчёт «робота‑сортировщика на конвеере» у меня есть вопросы — в частности, я заметил у него парочку чисто человеческих жестов, которые никакой полезной роли в его работе не выполняли — однако вполне могли быть непроизвольным движением телеоператора в костюме захвата движений.
Американские я даже не беру в рассмотрение, нет веры. Только китайские. Да, возможно, только удачные дубли. Но - такие дубли уже возможны , что сдвигает массовое овладевание технологией максимум на год, учитывая китайские темпы.
Что до сортировщика, тут просто: если робот обгонит человека, никакой речи о телеуправлении быть не может. А в специально замедленные движения сборщика я не верю, это видно было бы.
если робот обгонит человека, никакой речи о телеуправлении быть не может
Он «не обгонял», а просто «был неутомимым». Однако в случае с телеуправлением эта проблема элементарно решается девятью китайцами.
Амиши только и выживут. Ещё индейцы.
Как они уже задолбали со своими прогнозами. Сделайте кто-нибудь подборку прошлых прогнозов, сбылись или нет. Интересно почитать.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Сооснователь Anthropic: ИИ может стереть человечество. Но сначала — поможет получить Нобелевку