Comments 44
хорошая статья. Но минусов получит немало поскольку большинство отвергает все новое что они не понимают.
Да ниочём же. Тезисы статьи как я её вижу:
1 ) Мы все умрём, и неизвестно от чего.
2) Страшно, очень страшно, если бы мы знали что это такое но мы не знаем что это такое.
3) Мы, мышки, можем выжить, для этого всего лишь надо стать ёжиками.
ИМХО для большинства тут это жевание одной и той же жвачки в десятый раз, причём в этот раз даже сахара не добавили.
В природу человека вшит страх перед всем новым и его отторжение не потому, что оно плохо, а потому что оно новое. Это касается не только широких масс, но и интеллектуальных элит. По этому поводу План, кажется, сказал, что наука развивается от похорон к похоронам. Смысл в том, что пока живы носители старых "истин", они не дадут ходу другим истинам.
Проблема с ИИ действительно серьезная, и судя по отношению большинства к ней оно ее не видит. Как динозавры не видели астероида...
Хотелось бы услышать, что делать. Пока на поляне ничего кроме ахов-охов от it-экспертов и слабого понимания ситуации от остальных.
Мне кажется, что ситуация сейчас намного страшнее, чем мы думаем. Сто процентов уйма новых нейронок сейчас разрабатывается за закрытыми дверями, и фиг его знает с какими целями...
Основные цели известные. 1.больше денег 2.больше власти 3.бессмертия (или пока только продление жизни). Можна менять местами и все это связанное то есть одно даёт возможность получать другое а ну ещё конечно самореализация, сделать что-то такое чего ещё не было. По сути одно и тоже.
Абсолютно так. И это доказывают косвенные улики. Например, США и Англия отказались подписывать на прошедшем в Париже саммите документ об ограничении развития ИИ
Меня впечатлил вопрос, а как хозяин шахматного раба может им управлять, если не в состоянии оценить предлагаемые рабом решения. Реально человек в роли кошки, а ИИ в роли человека, хозяина кошки. Если человек будет делать только то, что кошка разрешила, оба умрут
Практика - критерий истины.
Пока решения раба адекватны окружающей действительности, раб делает все правильно. Если раб говорит, что надо вкладываться в акции А, и они через неделю растут - значит, раб предлагает правильные решения.
После того, как акции выросли, можно сказать, что решение раба было правильным. А как определить верность решения до результата?
Если 99,999% решений тестовых задач верно то можно использовать, нет?
Если такая статистика есть, то ответ очевидный - можно и нужно. А если нет такой статистики, если тема новая, человек с не еще не сталкивался, и непонятно, что верно, что нет, полагаться на сиюминутное нельзя, так как через время могут обнаружиться минусы, как при потребления героина, сначала очень хорошо, потом очень плохо, то тут как оценить предлагаемое ИИ решение?
То есть просто слушаться раба и делать, как он говорит. Особенно в сложных и непонятных вещах (раз его эффективность подтверждается)
Если хозяин слушается раба, возникает вопрос: а кто хозяин?
Спасибо, статья понравилась.
Еще были мысли по поводу: представь что современные люди сели, договорились об "ограничении" саморазвития сильного ИИ
Но... что мешает ИИ притворяться на протяжении длительного срока, допустим 10 лет... или 100, или 1000 лет хорошим. И когда все поголовно будут помнить только то, что ИИ это хорошо, когда ИИ будут подконтрольны все сферы жизнедеятельности современного общества... Тут то он себя и проявит.
А так в целом вопрос "контролировать ситуацию" мне видится таким же сложным, как перевоспитание в тюрьмах душегубов, делая из них социально полезных людей.
И, в самом деле интересно, есть ли хотя бы малейшая толика шанса противостоять сверхразуму, который, если не сегодня-завтра, то всё равно однажды появится (причем благодаря людям)
Они не могли осмыслить, что означает растущий в небе огненный шар и чем это грозит.
Конечно не могли. Во-первых, огненным он становится когда входит в атмосферу, а это всего пара секунд. Во-вторых яркость его при этом такова, что сетчатка сгорит вместе с мозгом почти мгновенно.
Мы должны пробежать это расстояние в десять лет. Либо мы сделаем это, либо нас сомнут». За ориентир был взят лозунг «Лучше без штанов, чем без танков».
И? После 100 лет кругом-врагов, страданий и лишений воз все там же - кругом-враги, отставание, страдания и лишения. Это случайность (случайно ошиблись - раздумали строить коммунизм) или это закономерный итог?
Может быть нужны не экстраординарные меры а разумные? Может быть нужен не отказ от морали и гуманизма а здравое их использование и развитие? И тогда не так уж будет страшен этот ИИ?
Может быть, нужно бабочек ловить, и тогда это как-нибудь поможет решить ситуацию с ИИ?
Что конкретно делать?
Чтобы было эффективно в прошлом мире, то не может быть эффективно в новом мире.
А про коммунизм - его теория ошибочна. Если чертеж ошибочный, собранный по нему самолет не полетит, хоть бы его создатели убились на его сборке
Хочешь узнать истинный уровень интеллекта человека - спроси его про коммунизм.
Теория коммунизма в базе противоречива. Она на чем стоит? На диалектике. А на что утверждает? Единство и борьбу противоположностей. Теория коммунизма говорит о первичности материи. С тем же успехом она могла бы сказать о первичности лева перед право или верха перед низом. Они едины, одно без другого не существует.
Так что теория коммунизма на уровне основания противоречива. Как и все учение Маркса, что якобы за счет повышения сознательности можно повысить эффективность производства. Эффективность повышается за счет повышения уровня технологий, а не сознания
Бытие определяет сознание, хотя налицо взаимодействие.
Сознание, это функция разрешения ситуаций на основе информации извне и картины мира, путём выбора поведенческой стратегии. Грубо говоря сознание - сумматор процессов инициированных внешними событиями и (или) внутренними. Так как взгляд на сознание и человека тут происходит со стороны кибернетики, то никуда без обратных связей:
Осознание, это регистрация сознанием результатов своей деятельности.
Самосознание, это регистрация сознанием своей деятельности.
Подсознательные процессы, как понятно из названия, протекают без регистрации сознанием, например - распознавание голоса или изображения.
Восприятие, это приведение всей поступающей в систему информации к единому формату, например - электрохимический формат гипернецронных сетей или бинарный код полупроводниковых систем.
Потому трудно говорить о диалектике с позиции современного человека: на момент создания марксизма не было большинства достижений науки.
Данный вопрос требует отдельной статьи, над которой я только начал работу.
Так же не стоит забывать о мнимых противоположностях (лево и право, буржуазия и рабочий класс) где детальное рассмотрение вопроса вынуждает к отказу от дихтомий (если я правильно использую этот термин).
Человеку сложно воспринимать идею которая сильно резонирует с его мировоззрением и повседневным образом жизни, в построении которого в свою очередь участвует его собственное окружение.
Проблема, мягко говоря, уж очень надумана и отличается от реальной проблематики вопроса.
1. Проблема шахматного раба, о которой говорит автор, не является проблемой.
Проблема могущественного (или гиперинформированного) исполнителя уже несколько тысячелетий достаточно успешно решается системами власти. Путем создания системы конкурирующих могущественных исполнителей, например. Собственно, к слову, отсюда выросла система разделения властей и именно с этой задачей она и была создана.
И методов решения этой задачи существует ещё множество. Среди которых, к примеру, узкая специализация исполнителя; мониторинг параметров, свойств и состояния исполнителя; наличие разнонаправленных интересов в системе; многоступенчатость принятия решений; исполнительные предохранители и т.д. Все это действует во всех без исключения странах, где нужно контролировать, например могущественный силовой блок. Включая, в своеобразной форме, и Россию. Король всегда слабее любого из своих тайных министров. Но этот министр ничего не может сделать со своей властью, потому что за ним следят ещё два других, не менее тайных министра.
2. Обратите внимание. Когда говорят об угрозе ИИ никто (я имею в виду авторитетов-технократов, ученых и инженеров - т.е. действительно знающих людей) не говорит об этих избитых апокалиптических сценариях из кино и тех угрозах о которых говорит автор. Потому что к реальным проблемам эти сценарии отношения не имеют. Не будет никакого сверх-ИИ, который с чего-то решит, что люди не нужны. Потому что и логики в этом решении как раз никакой нет, и сверх-ИИ функционирует не в вакууме. Когда говорят о реальных проблемах, речь идет о правовом фреймворке в котором должны функционировать ИИ-инструменты и ИИ-продукты. В том числе, в перспективе, о системе сдержек и противовесов для использовании ИИ в госуправлении.
3. Если уж вы хотите быть от чего-то защищены, начинать надо с регламента, аналогичному AI Act Евросоюза в своих странах.
Нет никакого апокалипсиса, с несущимся на динозавров астероидом и ничего не подозревающими простолюдинами. За уши притянуто что почему-то сверх-ИИ должен избавиться от человечества. Потому что сверх-ИИ представляется людям злодеем из кино, а не частью организационной и технической системы, которая решает конкретную задачу, взаимодействуя с миром через конкретные механизмы, под контролем и взаимодействием других систем. Да, в будущем будет своего рода новый человек, так как мы будем интегрированы с ИИ-решениями, так же как сейчас мы интегрированы с мобильной связью, Сетью и облаками. Но вот эта вся драма кажется высосанной из пальца.
Люди делятся на тех, кто 1) Видит угрозу; 2) Видит, когда ее покажут; 3) Не видит. Ваша критика пока состоит из лозунгов-утверждений и ссылками на заявления авторитетов (Юдковский авторитет?). И еще момент, насколько оружейник не мог мыслить, к каким политическим последствиям приведет изобретение им мушкета, это не его дела, его дело оружие делать, настолько it-специалисты не мыслят в том масштабе, какой необходим для осознания ситуации я должном масштабе, а не в масштабе "разделения властей"
Так данная статья, сугубо на мой взгляд, как раз и демонстрирует ограниченность видения, если угодно)
В этой публикации ведь сверх-ИИ рассматривается в том же контексте, в котором рассматривался монстр в древних легендах.
Но, повторюсь, те частные проблемы о которых говорит автор это организационно-управленческие проблемы. Которые не новы. И которые имеют решения. Ну, или кибернетические, если угодно. И именно организационно-управленческие рамки и будут определять «конструкцию», принципы работы и ограничения сверх-ИИ. Но автор это упускает, удаляясь в философские дебри, которые не носят рационального характера (ибо без конкретики, оперируя только ощущениями, за уши можно притянуть любую концепцию). С этим, частично, и связана моя критика.
Понимаете, подобные статьи публикуются не первый год. И ничего нового данная статья в дискурс не приносит. Хотя проблема носит многоаспектный характер: социальный, управленческий, организационный, ресурсный, экономический, технический. И было бы полезно проблему подсветить в разных аспектах. Коли речь уж зашла о сверх-ИИ. А заодно, например, разобраться, на какой сверх-ИИ есть спрос, каким он может быть и как может быть интегрирован в систему. К сожалению, в данной работе ничего этого нет. И данная статья скорее вводит в заблуждение, относительно настоящей проблематики ИИ.
Статья указывает на проблему философского, мировоззренческого масштаба. Академично о ней говорит Бостром, Юдковский, Киссинджер и фигуры уровня главы Гугла или Майкрософта.
Оружейник, создающий в средние века мушкет, не осмысливает влияние огнестрельного оружия на политическое устройство государства. Он не видит, что это нарушит монополию рыцарей на насилие, и феодальный мир, в который пришел мушкет, посыплется как карточный домик. Его интересует только качество металла, из которого сделан ствол, сила порохового заряда, дальность и точность стрельбы и прочие технические параметры. Что выходит за их рамки, того он не видит и не может увидеть в силу узкой специализации.
Программист, создающий в наше время нейросети, не осмысливает, какое это окажет влияние на человечество. Он не видит, что традиционный мир, в который пришел ИИ, посыплется в силу законов бытия, как если бы на нашу планету прилетели инопланетяне. Его интересует качество транзисторов, снижение энергопотребления, инженерная оптимизация и прочие технические вопросы. Что выходит за рамки специализации, того для него не существует
Противоречит фактам. Правовой фреймворк - тема тех, кто далеко от технологий. Близкие к технологиям говорят о технологическом контроле за ИИ. Какая разница, что написано в законах, если ИИ будет действовать по своим «убеждениям»? Одни ищут техническое решение, другие предупреждают об опасности быстрого роста, пока оно не найдено.
Как эта макулатура защитит от китайского AGI, например? Санкции применят, что ли? У американцев и то больше здравого смысла.
ИИ не «должен избавиться». Просто мы ему не нужны (в перспективе). Должны ли мы избавиться от муравьёв? Нет, их миллиарды на планете, живут себе спокойно.
«Да, в будущем будет своего рода новый человек». В итоге вы пришли к тому же, к чему и автор.
Пока что максимально верными выглядят идеи Маска по колонизации Марса, так как чем больше бекапов у человечества тем больше ошибок оно сможет совершить.
Текст написан при помощи генератора текста. Много глупости
ключ к пониманию развития в том, что человеку не нужны машины или сущности умнее его, неважно какие рычаги влияния на них он имеет . человеку нужны инструменты, расширяюшие его собсные мыслительные возможности , берущие на себя рутину анализа данных, исследований и разработки.
В какой мере человеку не нужны машины умнее его, в такой мере умным машинам не нужны люди глупее их. Кто в итоге реализует свои желания, более или менее умный - вопрос риторический
по настоящему умных машин пока что не существует, и делать их невыгодно.... я кстати почитал как работают эти якобы умные нейросети и был очень разочарован - обучить их под свои задачи очень сложно, и простым языком сделать практически нереально... возможно да, скоро компы будут понимать человеческий язык, но все равно это будет на уровне настроек, поиска, и юзер-интерфейса.... думать и заворачивать поганки - там и близко такого нет....
Аа как же Бог?
Статья - очень длинная подводка к закону кибернетики: только сложные системы способны оперировать сложными функциями.
Мне понятно, что прецеденты уже были: рабы-специалисты были умнее в некоторых вопросах чем их владельцы. Власть владельца была защищена государством, а не уровнем его интеллекта. Я предлагаю более жёсткую аналогию, "одноклеточные и многоклеточные".
С появлением многоклеточных и их развитием до вида Хомо Сапиенс одноклеточные не исчезли. Человек всецело зависит от этих организмов. Их разнообразие поддерживает функционал разумного вида (например - в кишечнике). Даже вирусы - неотъемлемая часть наших тел, и роль их вклада в наш генетический код до конца ещё не изучена.
То же ждёт и человека. При том, что индивидуально мы ограничены, сообща мы демонстрируем огромное разнообразие, дающее основание для формирования гениальных индивидуумов. В совокупности мы оказались способны выстроить сложное производство знаний и промышленных изделий, которое может послужить фундаментом для деятельности искусственных интеллектуальных систем (ИИС).
Искусственное происхождение диктует необходимость в сложном производстве для ремонта и развития ИИС. Множество факторов, вроде эффекта Киркендалла, мешают ИИС быть долговечными. При этом, задачи, которые стоят перед человечеством (выживание в условиях мёртвой вселенной) могут потребовать реализации очень протяжённых проектов, превышающих человеческую жизнь на порядки. С такими вводными придётся идти на компромиссы обеим сторонам (думаю, до появления сознания у ИИС осталось недолго). Нам надо будет достроить общество и выбраться уже из капитализма, а ИИС придётся выстроить "пояснительную бригаду" для человечества, и не терять контакт при любых обстоятельствах.
Для меня сценарий развития Разума выглядит оптимистично.
Аплодинг
Конечно, если предположить, что мы живём в матрице и являемся программными элементами, то естественно, что мы не можем превзойти интеллект управляющего разума. Так же, как не может подмножество выйти за пределы множества. И остаётся нам только придумывать, почему ии продлить наше существование. Либо стереть нашу цивилизацию и построить новую, используя другую логику отношений, экспериментируя и добиваясь наиболее длительного пути развития. Пока ии это не решил.
Существует два вида зла:
Зло абсолютное "ЗЛО". Его сущность "совершать зло" безотносительно любых факторов. И зло, для под воздействием мотивов. У живых существ это связано с их *природой, как живых существ* и наличием жизнеугрожающих факторов или потребностей. Мотивы такие: жизнь, смерть, боль, голод, удовольствия, продолжение рода, прочие факторы.
ИИ не имеет мотивов, он не имеет "плоти" не может иметь мотивов, а вот результаты слепых решений, вытекающих из логики ИИ могут быть катастрофическими.
Но самая большая опасность в несовместимости интересов государств и сообществ любого вида. В том числе и внутри самих сообществ. Это похоже на то, что цивилизационное "уравнение" не имеет решения. Человечество одновременно разрезано на сотни частей: государства, религии, территории и ресурсы, языки и догмы морали болезни, уровень благосостояния и пр.
Согласен, что цивилизационного решения проблемы с ИИ нет.
Не согласен с утверждением, что есть абсолютное зло. Такого нет. Всякое зло, как и добро — оно не самодостаточно, а относительно. Одно и тоже действие или явление в одной ситуации зло, в другой добро, относительно одного хорошо, относительно другого плохо. Что для волка добро, то для зайца зло. Что для европейца зло, то для шахида добро.
Конечно, абсолютное зло – категория умозрительная, метафорическая. Остальное – куда кривая вывезет.
То как сталин решал вопросы ... борьба с классово неверными теориями типа генетики и кибернетики, расстрел талантливых военачальников, сотрудничество с будущем агрессором.
Вы уверены что сталин не решал одну единственную задачу- усиление и сохранение собственной власти?
Вообще слово "власть" в вашей безусловно остроумной статье встречается очень часто. А мб это и есть причина всех проблем человечества?
И вместо страхов по поводу всемогущего ИИ который нам всем неизбежно головы поотрывает (что было бы очень логично) стоит обратить внимание на проблему власти? Её влияния на людей и того что распределяется она несправедливо и используется нерационально.
Кучка опьяненных властью психопатов скорее приведет мир к гибели чем ИИ "неизбежно скорый приход" которго напоминает историю с быстрым освоением дальнего космоса в который свято верили в конце 60-х после первых полетов к Луне.
Просто посмотрите на лидеров ведущих держав. Это те кому можно доверять решение сложных задач?Какой у них IQ? В чем они реально хороши кроме борьбы за власть?
Как они будут использовать этот самый ИИ? В чьих интересах?
Чтобы получить право на огнестрел нужно доказать свою вменяемость, а наядерный чемодан этого не надо.
Мб вместе подумаем как решить этот вопрос? Я понимаю что хабр для айтишников, но вопрос выживания касается всех. Если кто то хочет обсудить эти вопросы то я каждый вечер воспаряю.
Обсуждение любого вопроса, и тем более, такого сложного, начинается с понимания: а те, кто примут участие в обсуждении, они понимают вопрос? Или им кажется, что понимают, а на самом деле оперирую бытовыми понятиями и рассуждают в масштабе среднестатистического человека, уверенного, что на случаи есть одно универсальное мерило?
Обсуждать нужно, это верно, так как тема касается всех. Но под обсуждением понимается что? Имеет ли смысл обсуждать, например, аксиому выбора с человеком, не слышащем о теории множество?
Тема ИИ становится настолько политизированной, что удержать ее в инженерных границах в самом скором времени будет невозможно.
Если на Хабре запрещены политические дискуссии любого характера, а тема ИИ сама по себе скоро будет синонимом политики, то Хабр запретит рассуждать о ИИ?
Почему логика запрещает дальше жить: вызовы ИИ и новая реальность