Допустим у нас есть два варианта.
Что хуже? Если хоть чуть-чуть подумать, то второй вариант намного хуже. Почему? Ну, вымрет человечество и что с того? Not a big deal. Проблема не в этом, а проблема в том, что если погибнут последние 1000 человек, то мы потеряем триллионы и триллионы жизней, которые могли бы рождаться и жить начиная с сегодняшнего дня и кончая тепловой смертью Вселенной. Останется не исследованной и не заселённой наша Солнечная система, Млечный Путь, Суперкластер Вирго и вообще вся Вселенная.
Мы живём в интересный момент истории. У нас есть возможность эпически облажаться и уничтожить человечество за считанные часы. Если всё пойдёт хорошо, то рано или поздно человечество выйдет за пределы Земли и колонизует сотни и тысячи миров. Тогда будет уже невозможно просто так взять и уничтожить человечество. Т.е. мы, как человечество, сейчас проходим самую опасную фазу роста и взросления, и если мы её проскочим, то человечество ждёт интересное и прекрасное будущее.
Чтобы попасть в это большое и светлое будущее, нам нужны технологии, новые открытия, оптимизации потребления ресурсов. Самая большая надежда в этих вопросах на помощь искусственного интеллекта. Сейчас тысячи и тысячи людей бьются над проблемами создания ИИ. На данный момент есть существенный прогресс. ИИ оторвался от нулевой метки и начал набирать мощь. До человека ему ещё очень далеко, но не стоит расслабляться. ИИ уже прошёл гораздо больший путь, чем разделяет тупицу и гения. На абсолютной шкале интеллекта человек очень умён, но относительная разница между особями не такая уж и большая. Если (когда) ИИ придёт к уровню интеллекта тупого человека, он очень быстро станет умнее гения и мы станет не венцом творения, а только вторыми. Большой плюс ИИ состоит в том, что он физиологически намного быстрее человека. Тактовая частота нашего мозга всего-навсего около 100 Герц. Всё держится на массированной параллельности. Если просто тупо повторить человеческий мозг на транзисторах, он будет работать в тысячи раз быстрее. Второй плюс ИИ состоит в том, что он способен к самомодификации. Человек умеет обучаться, но не умеет перестраивать свой мозг. ИИ на это будет способен и обязательно этим займётся. Таким образом, когда ИИ достигнет интеллектуального уровня своих создателей, он сможет переписать себя лучше, чем это сделали его создатели. Перепишет, станет умнее, и найдёт способ, как переписать себя ещё лучше. Получается петля с положительной обратной связью, которая позволит ИИ выстрелить в космические дали интеллекта. Это явление называется «взрыв интеллекта».
ИИ обретёт власть, пусть даже и через текстовую консоль, но он сможет управлять внешним миром. К нам придёт старший брат. Что сделает этот ИИ? Мы не можем этого предсказать, потому что мы недостаточно умны. Возможно, он решит уничтожить человечество, возможно он решит осыпать нас всеми благами, какие мы только можем придумать. Возможно, именно он выведет нас в Космос и откроет нам путь во Вселенную. Вопрос в том, как мы его запрограммируем. И вот тут наступает самое интересное.,
Нельзя просто так взять и запрограммировать ИИ на счастье для всех людей даром. Это может кончиться тем, что ИИ сделает всем людям лоботомию. Мы будем счастливы, но это не то, что мы бы хотели. Стандартный подход в машинном обучении, это программирование на максимизацию какого-то набора функций. f(счастье) -> max, f(ИРЧП) -> max. Но мы не можем перечислить все параметры того, что мы хотим, чтобы ИИ это максимизировал. Мы не можем перечислить эти параметры даже для себя. Кроме того, наше представление о том, чего мы хотим, и какое мироустройство нам подходит, претерпевало множество изменений. Только за последние 200 лет человечество отменило рабство, уравняло женщин в правах, придумало права человека и т.п. Было бы глупо взять наш сегодняшний моральный кодекс и запрограммировать ИИ следовать ему. ИИ должен следовать вектору нашего морального кодекса, а не самому кодексу. Как его этому обучить — совсем не ясно. Разве что через наблюдение за людьми и обучение.
Существует огромное пространство возможных ИИ. И нам нужно сделать именно такой, который не приведёт нас к уничтожению и не сделает из нас лоботомированных идиотов. Оказывается, в мире существуют люди, которые думают над этой проблемой, устраивают конференции и целые институты.
- погибнут все люди, кроме 1000 человек. Это 7 миллиардов смертей.
- погибнут последние 1000 человек. Это всего 1000 смертей.
Что хуже? Если хоть чуть-чуть подумать, то второй вариант намного хуже. Почему? Ну, вымрет человечество и что с того? Not a big deal. Проблема не в этом, а проблема в том, что если погибнут последние 1000 человек, то мы потеряем триллионы и триллионы жизней, которые могли бы рождаться и жить начиная с сегодняшнего дня и кончая тепловой смертью Вселенной. Останется не исследованной и не заселённой наша Солнечная система, Млечный Путь, Суперкластер Вирго и вообще вся Вселенная.
Мы живём в интересный момент истории. У нас есть возможность эпически облажаться и уничтожить человечество за считанные часы. Если всё пойдёт хорошо, то рано или поздно человечество выйдет за пределы Земли и колонизует сотни и тысячи миров. Тогда будет уже невозможно просто так взять и уничтожить человечество. Т.е. мы, как человечество, сейчас проходим самую опасную фазу роста и взросления, и если мы её проскочим, то человечество ждёт интересное и прекрасное будущее.
Чтобы попасть в это большое и светлое будущее, нам нужны технологии, новые открытия, оптимизации потребления ресурсов. Самая большая надежда в этих вопросах на помощь искусственного интеллекта. Сейчас тысячи и тысячи людей бьются над проблемами создания ИИ. На данный момент есть существенный прогресс. ИИ оторвался от нулевой метки и начал набирать мощь. До человека ему ещё очень далеко, но не стоит расслабляться. ИИ уже прошёл гораздо больший путь, чем разделяет тупицу и гения. На абсолютной шкале интеллекта человек очень умён, но относительная разница между особями не такая уж и большая. Если (когда) ИИ придёт к уровню интеллекта тупого человека, он очень быстро станет умнее гения и мы станет не венцом творения, а только вторыми. Большой плюс ИИ состоит в том, что он физиологически намного быстрее человека. Тактовая частота нашего мозга всего-навсего около 100 Герц. Всё держится на массированной параллельности. Если просто тупо повторить человеческий мозг на транзисторах, он будет работать в тысячи раз быстрее. Второй плюс ИИ состоит в том, что он способен к самомодификации. Человек умеет обучаться, но не умеет перестраивать свой мозг. ИИ на это будет способен и обязательно этим займётся. Таким образом, когда ИИ достигнет интеллектуального уровня своих создателей, он сможет переписать себя лучше, чем это сделали его создатели. Перепишет, станет умнее, и найдёт способ, как переписать себя ещё лучше. Получается петля с положительной обратной связью, которая позволит ИИ выстрелить в космические дали интеллекта. Это явление называется «взрыв интеллекта».
ИИ обретёт власть, пусть даже и через текстовую консоль, но он сможет управлять внешним миром. К нам придёт старший брат. Что сделает этот ИИ? Мы не можем этого предсказать, потому что мы недостаточно умны. Возможно, он решит уничтожить человечество, возможно он решит осыпать нас всеми благами, какие мы только можем придумать. Возможно, именно он выведет нас в Космос и откроет нам путь во Вселенную. Вопрос в том, как мы его запрограммируем. И вот тут наступает самое интересное.,
Нельзя просто так взять и запрограммировать ИИ на счастье для всех людей даром. Это может кончиться тем, что ИИ сделает всем людям лоботомию. Мы будем счастливы, но это не то, что мы бы хотели. Стандартный подход в машинном обучении, это программирование на максимизацию какого-то набора функций. f(счастье) -> max, f(ИРЧП) -> max. Но мы не можем перечислить все параметры того, что мы хотим, чтобы ИИ это максимизировал. Мы не можем перечислить эти параметры даже для себя. Кроме того, наше представление о том, чего мы хотим, и какое мироустройство нам подходит, претерпевало множество изменений. Только за последние 200 лет человечество отменило рабство, уравняло женщин в правах, придумало права человека и т.п. Было бы глупо взять наш сегодняшний моральный кодекс и запрограммировать ИИ следовать ему. ИИ должен следовать вектору нашего морального кодекса, а не самому кодексу. Как его этому обучить — совсем не ясно. Разве что через наблюдение за людьми и обучение.
Существует огромное пространство возможных ИИ. И нам нужно сделать именно такой, который не приведёт нас к уничтожению и не сделает из нас лоботомированных идиотов. Оказывается, в мире существуют люди, которые думают над этой проблемой, устраивают конференции и целые институты.
