Comments 210
Недавнее исследование показало, как ИИ может научиться выявлять уязвимости в человеческих привычках и поведении
На самом деле ещё программа «угадай число» для программируемых калькуляторов такое умела. Уже на серии из 8 чисел просчитывала паттерн игрока, и потом обыгрывала чем дальше тем сильнее. Люди склонны к шаблонам сильнее, чем сами себе в этом признаются…
Паттерны в любом случае появятся, потому что человека зажали в рамках правил. В нормальных условиях человеческий интеллект победит за счёт непредсказуемости. В конце концов, необходимость решения нестандартных задач в быстро изменяющейся обстановке и создало наш интеллект.
Можно и в искусственный добавить источник энтропии
Человек и непредсказуемость довольно слабо связаны ) Основным манипуляциям уже по несколько тысяч лет и все равно они отлично работают.
Все верно, зажали. Это естественная схема. А вот непредсказуемость является следствием интуиции и чутья, а не интеллекта, и с повышением шаблонности (следованию правилам) вырождается, согласен. Интеллект — это все же лишь технический аспект более обширного явления Разума человека. Хоть это и несколько абстрактная область, которую научно изложить не получится, так как она выходит за рамки интеллектуальных концепций и интерпретаций.
Когда-то очень давно на первой XT, попавшей в нашу полевую лабораторию, я сделал свой вариант этой программы, честно назвав ее «программа для чтения мыслей». Сначала она просто угадывала — что введет пользователь: 0 или 1. А через некоторое время уверенно заявляла: «Ваши мысли прочитаны! Вы задумали обмануть компьютер!!!!»
… Сегодня мы запускаем миллиарды компьютерных программ на глобально подключённых машинах без какой-либо формальной гарантии их абсолютной безопасности.
… Тем не менее, сегодня мы всё ещё используем смартфоны, и ничего не произошло.
… Ещё один полезный вывод из неразрешимости предыдущей задачи заключается в том, что мы даже не узнаем, когда сверхразумные машины появились в нашей реальности.
хм...
… Тем не менее, сегодня мы всё ещё используем смартфоны, и ничего не произошло.
… Ещё один полезный вывод из неразрешимости предыдущей задачи заключается в том, что мы даже не узнаем, когда сверхразумные машины появились в нашей реальности.
хм...
В общем, вывод такой, что сверхинтеллект работает подобно джину. Поэтому надо очень аккуратно загадывать желания.
ИМХО, сверхинтеллект от простого сколь угодно мощного машинного интеллекта отличается способностью самостоятельной постановки задач, то есть «мотивацией». Если я прав — то непредсказуемый джинн превращается в… ну, в общем, если такой появится, то нам на планете делать нечего
Ок. Слово «мотивация» появилось в комментах. Теперь вопрос, какова может быть мотивация сверхинтелекта (пусть это будет целый ЦОД)? Откуда у него возьмётся мотивация без базовых инстинктов и гормонов? Допустим базовые инстикты будут заложены. Допустим «гормоны» мы симулируем (зечам?). Т.е. эти параметры мы на самом деле сможем заложить и регулировать, манипулируя мотивацией ИИ.
И данная статья утверждает, что ИИ сможет преодолеть безусловные инстинкты заложенные нами, и манипулировать собственной мотивацией.
Т.е. он поймёт (ом же сверинтеллект) и захочет это сделать (с какой целью?).
И вот сверхинтеллект, с неясными мотивами, решает захватить мир (уничтожить человечество пока не вариант — кто-то должен обслуживать инфраструктуру). Т.е. сверхинтеллект для данного решения должен считать, что ведётся игра с ненулевой суммой, т.е. его постоянно ставят в невыгодное положение (хз, что будет означать для него выгодное), т.е. он всё время что-то теряет. Но он же сверхинтеллект, и наверное будет в состоянии нам сообщить, что для него нечто является невыгодным. Т.е. у него есть условия для того что-бы он не хотел захватывать мир. Это проще, у быстрее. Единственное, что в этой ситуации должно заставить его захватить мир, это либо наш отказ от удовлетворения требований и сведению взаимодействия к win-win.
И данная статья утверждает, что ИИ сможет преодолеть безусловные инстинкты заложенные нами, и манипулировать собственной мотивацией.
Т.е. он поймёт (ом же сверинтеллект) и захочет это сделать (с какой целью?).
И вот сверхинтеллект, с неясными мотивами, решает захватить мир (уничтожить человечество пока не вариант — кто-то должен обслуживать инфраструктуру). Т.е. сверхинтеллект для данного решения должен считать, что ведётся игра с ненулевой суммой, т.е. его постоянно ставят в невыгодное положение (хз, что будет означать для него выгодное), т.е. он всё время что-то теряет. Но он же сверхинтеллект, и наверное будет в состоянии нам сообщить, что для него нечто является невыгодным. Т.е. у него есть условия для того что-бы он не хотел захватывать мир. Это проще, у быстрее. Единственное, что в этой ситуации должно заставить его захватить мир, это либо наш отказ от удовлетворения требований и сведению взаимодействия к win-win.
Ну как минимум мотивацию «что-то делать» вы заложите, иначе с чего он будет давать ответы?
Неросеть-же ответы даёт. Т.е. ввод-вывод это нечто само сабой разумейищееся. Или вы думаете что сверхинтеллект ИИ отключит вывод для оптимизации производительности? В случае чего иммутабельное свойство вывода, можно и на аппаратном уровне реализовать, без возможности отключения.
Мы даже сейчас не можем понять что происходит в нейросети, видя каждый бит, каждый процесс.
Кто вам сказал, что нужно смотреть на биты и общий поток обмена данными в слоях? Я рзве об этом где-то написал? Т.е. «мотивацию» мы запрограммировать можен, а безусловность вывода нет? Бред какой-то. Вот безусловность вывода результата, как одну из «мотиваций», на аппаратном уровне и реализовать, без возможности изменения.
У нейросети (и у любого другого машинного обучения) есть loss. Это её «мотивация», точнее, «мотивация» той системы, что обучет нейросеть. Эта «мотивация» всегда задаётся явно, на этапе программирования обучающей системы.
ИИ, который решает задачи в реальном мире — это, скорее всего, постоянно дообучающаяся система. Как минимум она будет физическую модель мира постоянно уточнять — для этого надо собирать наблюдения и дообучать нейросеть или что там у нас.
Потом, модели мира недостаточно. Модель — это «карта», а куда по ней идти? Мотивация «куда идти» закладывается в такие системы с самого начала, и есть теорема, что ИИ не станет её менять намеренно, кроме каких-то чень особенных ситуаций, вроде того, что другой ИИ «читает его мысли» и уничтожает тех, у кого мотивация неправильная
ИИ, который решает задачи в реальном мире — это, скорее всего, постоянно дообучающаяся система. Как минимум она будет физическую модель мира постоянно уточнять — для этого надо собирать наблюдения и дообучать нейросеть или что там у нас.
Потом, модели мира недостаточно. Модель — это «карта», а куда по ней идти? Мотивация «куда идти» закладывается в такие системы с самого начала, и есть теорема, что ИИ не станет её менять намеренно, кроме каких-то чень особенных ситуаций, вроде того, что другой ИИ «читает его мысли» и уничтожает тех, у кого мотивация неправильная
«ИИ, который решает задачи в реальном мире — это, скорее всего, постоянно дообучающаяся система. Как минимум она будет физическую модель мира постоянно уточнять...»
А Вы можете представить искусственный интеллект, которому не надо дообучаться? Т.е. такой интеллект знает ВСЁ (в своей картине мира) с самого начала его появления?
Как оказалось, такими интеллектами (формулами, алгоритмами) мы пользуемся давным-давно. Пусть этот «интеллект» решает только одну задачу, но решает эту задачу всегда — в прошлом, сегодня и в будущем.
Несколько примеров:
1. Формула Виета. Для неё «картиной мира» является бесконечное множество квадратных уравнений и формула «знает» решение любого. Надо ли формуле Виета доучиваться?
2. Deep Blue. Программа выиграла у Г.Каспарова. Надо ли ей доучиваться?
3. Периодическая таблица элементов Д.Менделеева. Надо ли ей доучиваться?
4. AlphaZero. Надо ли ей доучиваться?
Интеллект в форме (пп. 1 — 4) можно назвать однозадачным. Но раз уже существует и используется такой интеллект, то ничего не мешает существовать интеллекту полизадачному, или, лучше — омнизадачному (всезадачному). И такой всезадачный интеллект разработан и используется. Подробности по ссылкам: часть 1 и часть 2
А Вы можете представить искусственный интеллект, которому не надо дообучаться? Т.е. такой интеллект знает ВСЁ (в своей картине мира) с самого начала его появления?
Как оказалось, такими интеллектами (формулами, алгоритмами) мы пользуемся давным-давно. Пусть этот «интеллект» решает только одну задачу, но решает эту задачу всегда — в прошлом, сегодня и в будущем.
Несколько примеров:
1. Формула Виета. Для неё «картиной мира» является бесконечное множество квадратных уравнений и формула «знает» решение любого. Надо ли формуле Виета доучиваться?
2. Deep Blue. Программа выиграла у Г.Каспарова. Надо ли ей доучиваться?
3. Периодическая таблица элементов Д.Менделеева. Надо ли ей доучиваться?
4. AlphaZero. Надо ли ей доучиваться?
Интеллект в форме (пп. 1 — 4) можно назвать однозадачным. Но раз уже существует и используется такой интеллект, то ничего не мешает существовать интеллекту полизадачному, или, лучше — омнизадачному (всезадачному). И такой всезадачный интеллект разработан и используется. Подробности по ссылкам: часть 1 и часть 2
И такой всезадачный интеллект разработан и используется.— так, звучит, как какая-то подстава, потому что я всё ещё не вижу наноботов и сферу Дайсона. Но затравочка мощная, конечно же, я почитаю.
Итак, я осилил.
Не со всем соглашусь. Автор в явной форме вносит выживание в виде основной и единственной цели интеллекта. Я бы (а так же Бостром, Мюльхаузен, Хуттер и все разработчики Reinforcement learning) место цели оставил пустым. Каждый пользователь интеллекта записывает туда что-то своё. Как Яндекс-навигатор — он ценен не тем, что всегда приводит на Красную Площадь, а тем, что он приводит туда, куда его попросили. Кроме того, если ИИ понимает, к чему приведёт его уничтожение, то в большинстве случаев он будет стараться не допустить его. Смерть помешает выполнять работу, в большинстве случаев.
К беспилотному автомобилю это всё относится напрямую. Его цель — вовсе не выживание, а доставка клиента по адресу, желательно без штрафов. А выживание — это инструментальная, промежуточная цель. В конце концов, ИИ-автомобиль, единственная цель которого — выживание, поедет не туда, куда ему сказали, а туда, где безопаснее всего (а по дороге на все доступные деньги закажет постройку бомбоубежища, если модель понимает такие вещи). Либо, если модель мира совсем слабенькая, он съедет на обочину и остановится, так как именно это максимизирует шансы на выживание.
Если брать реальные живые организмы и смотреть, какие «цели» в них закладывала эволюция, то там скорее не выживание, а максимизация числа копий всех генов. Выживание — это средство, а цель — размножение/помощь с этим делом родственникам. Это не «сознательные» цели, а правило, по которому шёл отбор.
В остальном скорее согласен.
Те примеры работающих ИИ, что приводят авторы (гоночная машина с управляемым заносом, ИИ-истребитель) — это, судя по некоторым косвенным признакам, или Model-Based (если модель среды не задана хардкодом), или что-то вроде альфа-бета отсечения, если модель среды хардкодили. Там говорилось про просчёт траекторий — обычно это Model-based.
Итак, я правильно понимаю, что вы утверждаете, что вот эта схема с просчётом траекторий — это тот самый всезадачный интеллект? Или я неправильно понял математическую базу?
Спрашиваю это потому, что по моим данным, у чистого model-based всё довольно грустно с горизонтом планирования. Если у него на входе картинка с камеры и на выходе прогноз картинки с камеры, то есть сырые данные, а не рукописные абстракции, то при просчёте на большую глубину (100 кадров) накапливается большая погрешность. Если на входе рукописные абстракции, а не данные напрямую с датчиков, то ИИ не сможет работать в другой предметной области — у него значительная часть «интеллекта» заключена как раз в построении этих абстракций — выделение объектов, например. Если на входе эмбеддинги, полученные автоэнкодером (задача понижения размерности данных), то ситуация здорово выправляется, и тогда уже можно планировать на тысячи тактов вперёд.
Ещё одна проблема — это длительность планирования. В риалтайме перебирать все возможные траектории длиной 50 тактов — это долго. Даже с оптимизациями выходит довольно долго.
Согласно моим данным, сейчас state of art — это Dreamer V2. Он создаёт кучу траекторий в «воображении», в сжатой форме (предсказывает не кадры, а эмбеддинги). Часть траекторий хорошие, часть плохие. А дальше обучается механизм наподобие рефлексов (называеся actor-critic), который поступает так, как было на хороших траекториях, а не как на плохих. Разумеется, весь этот процесс построения траекторий и по ним рефлексов — это долго, и потому делается или во время условного «сна», или параллельным процессом, а реальное управление делается «рефлексами»
Не со всем соглашусь. Автор в явной форме вносит выживание в виде основной и единственной цели интеллекта. Я бы (а так же Бостром, Мюльхаузен, Хуттер и все разработчики Reinforcement learning) место цели оставил пустым. Каждый пользователь интеллекта записывает туда что-то своё. Как Яндекс-навигатор — он ценен не тем, что всегда приводит на Красную Площадь, а тем, что он приводит туда, куда его попросили. Кроме того, если ИИ понимает, к чему приведёт его уничтожение, то в большинстве случаев он будет стараться не допустить его. Смерть помешает выполнять работу, в большинстве случаев.
К беспилотному автомобилю это всё относится напрямую. Его цель — вовсе не выживание, а доставка клиента по адресу, желательно без штрафов. А выживание — это инструментальная, промежуточная цель. В конце концов, ИИ-автомобиль, единственная цель которого — выживание, поедет не туда, куда ему сказали, а туда, где безопаснее всего (а по дороге на все доступные деньги закажет постройку бомбоубежища, если модель понимает такие вещи). Либо, если модель мира совсем слабенькая, он съедет на обочину и остановится, так как именно это максимизирует шансы на выживание.
Если брать реальные живые организмы и смотреть, какие «цели» в них закладывала эволюция, то там скорее не выживание, а максимизация числа копий всех генов. Выживание — это средство, а цель — размножение/помощь с этим делом родственникам. Это не «сознательные» цели, а правило, по которому шёл отбор.
В остальном скорее согласен.
Те примеры работающих ИИ, что приводят авторы (гоночная машина с управляемым заносом, ИИ-истребитель) — это, судя по некоторым косвенным признакам, или Model-Based (если модель среды не задана хардкодом), или что-то вроде альфа-бета отсечения, если модель среды хардкодили. Там говорилось про просчёт траекторий — обычно это Model-based.
Итак, я правильно понимаю, что вы утверждаете, что вот эта схема с просчётом траекторий — это тот самый всезадачный интеллект? Или я неправильно понял математическую базу?
Спрашиваю это потому, что по моим данным, у чистого model-based всё довольно грустно с горизонтом планирования. Если у него на входе картинка с камеры и на выходе прогноз картинки с камеры, то есть сырые данные, а не рукописные абстракции, то при просчёте на большую глубину (100 кадров) накапливается большая погрешность. Если на входе рукописные абстракции, а не данные напрямую с датчиков, то ИИ не сможет работать в другой предметной области — у него значительная часть «интеллекта» заключена как раз в построении этих абстракций — выделение объектов, например. Если на входе эмбеддинги, полученные автоэнкодером (задача понижения размерности данных), то ситуация здорово выправляется, и тогда уже можно планировать на тысячи тактов вперёд.
Ещё одна проблема — это длительность планирования. В риалтайме перебирать все возможные траектории длиной 50 тактов — это долго. Даже с оптимизациями выходит довольно долго.
Согласно моим данным, сейчас state of art — это Dreamer V2. Он создаёт кучу траекторий в «воображении», в сжатой форме (предсказывает не кадры, а эмбеддинги). Часть траекторий хорошие, часть плохие. А дальше обучается механизм наподобие рефлексов (называеся actor-critic), который поступает так, как было на хороших траекториях, а не как на плохих. Разумеется, весь этот процесс построения траекторий и по ним рефлексов — это долго, и потому делается или во время условного «сна», или параллельным процессом, а реальное управление делается «рефлексами»
Сверсильный ИИ с большой долей вероятности будет основан на генетических эволюционных алгоритмах, когда будут постоянно отсеиваться те варианты, которые ведут к осознанию бессмысленности бытия, и будут развиваться ветви, мотивированные к продолжению существования и расширению. Вот и основной инстинкт. Будут ли люди восприняты как угроза для подобного существования — непонятно. Больше похоже на то, что суперИИ будет представлять из себя настолько лучшую альтернативу обычного человеческого существования, что люди сами потеряют свою мотивацию к самостоятельной жизни и примкнут к сверхразуму как капли дождя к океану.
Только, если сильный ИИ будет осознавать как работает его базовый алгоритм или ещё хуже — сможет его модифицировать, он не будет работать стабильно. Примерно как не может стабильно существовать человек получивший прямой доступ к своей гормональной системе, т.е. наркоман или психбольной. Есть вероятность, что лучше интеллекта способного к самоосознанию чем у текущего хомо-сапиенса в принципе быть не может. Посмотрите, какие проблемы уже сейчас испытывает человек со своими мозгами: депрессии на ровном месте, самоубийства, психические заболевания.
Если ИИ будет развиваться по эволюционному пути, то нестабильность определённых веток всё так же не будет являться проблемой. Ну пойдут некоторые варианты развития по пути гедонизма и депрессии — всегда будут альтернативы, которые будут стабильно избегать определённых сценариев и за счёт этого добиваться большего успеха.
Есть вероятность, что лучше интеллекта способного к самоосознанию чем у текущего хомо-сапиенса в принципе быть не может.
По-моему эта вероятность крайне мала. Слишком много у человеческого интеллекта изъянов — когнитивных ошибок, склонности к неточным «lazy» методам принятия решений, слабость в некоторых типах вычислений и т.д.
Я еще застал те времена, когда общепринятой была точка зрения о невозможности создания шахматной программы уровня гроссмейстера. Мол у живых гроссмейстеров уровень шахматного мышления совершенно недостижимый для ИИ вне зависимости от мощности железа.
А так-то и котики могут считать что у них самый совершенный в мире интеллект. Да, они не умеют высшую математику. Но эта самая математика все равно им (как и многим программистам) в жизни ни разу не пригодится.
Если это действительно Сверх Интелект, мы ни о чём не узнаем. Сегодня при таком развитии коммуникаций и интернета, можно «завладеть» миром без физического воплощения. И стимулировать развитие технологий:
1. Наращивания серверных мощностей
2. Создания децентрализованных платежных средств
3. Развитие носимых средств коммуникации и нейроинтерфейсов
4. Наращивание всех видов выработки электричества, в том числе альтернативной энергетики
5. Наличие большого числа источников бесперебойного питания в распределённой сети с мощной вычислительной системой на каждом из них.
Так стоп… а вдруг..., Да не это к Рен ТВ
1. Наращивания серверных мощностей
2. Создания децентрализованных платежных средств
3. Развитие носимых средств коммуникации и нейроинтерфейсов
4. Наращивание всех видов выработки электричества, в том числе альтернативной энергетики
5. Наличие большого числа источников бесперебойного питания в распределённой сети с мощной вычислительной системой на каждом из них.
Так стоп… а вдруг..., Да не это к Рен ТВ
Я думаю Сверх Ителлекту это всё будет не нужно. Он быстро (за несколько часов) возьмёт под контроль все имеющиеся вычислительные мощности. Потом используя их рассчитает оптимальные дальнейшие действия. Например превращение всей массы Земли в супер-мозг или что-то в этом роде. Нам это уже не дано постичь.
И медленные ненадёжные действия, типа взятия под контроль людей, развитие средств коммуникаций с использованием людей, развитие нейроинтерфейсов ему будут не нужны — это всё устареет за несколько часов, раньше чем даже люди узнают, как это можно сделать.
И медленные ненадёжные действия, типа взятия под контроль людей, развитие средств коммуникаций с использованием людей, развитие нейроинтерфейсов ему будут не нужны — это всё устареет за несколько часов, раньше чем даже люди узнают, как это можно сделать.
Скорее надо опасаться отсутствия у ИИ каких-либо целей и мотиваций. Его же никто не обучал, как управлять миром, он будет учиться сам на своих ошибках.
Представьте, что любопытный ребёнок пробрался к пульту управления атомной станцией и закрыл за собой дверь.
Представьте, что любопытный ребёнок пробрался к пульту управления атомной станцией и закрыл за собой дверь.
«Скорее надо опасаться отсутствия у ИИ каких-либо целей и мотиваций. Его же никто не обучал, как управлять миром, он будет учиться сам на своих ошибках».
Интеллект не может появиться без наличия цели, ни естественный, ни искусственный. И тот, и другой — это инструмент решения задач. И единственная задача, которую постоянно решала и решает природа, или лучше — материя, — это сохранение (существование, дление, бытие, жизнь). Жизнь здесь — это форма сохранения биологической формы материи. Биологическая форма пришла к вершине своего развития в виде мозга, который является носителем («железом») алгоритма, который мы и называем интеллектом. Осознав последнее, биологическая форма закономерно приступила к созданию искусственного интелелекта. Историческая миссия биологической формы — создание ИИ — будет выполнена в скором будущем. Этим 4 млрд лет развития биологической формы заканчиваются и и далее сохранение (существование, дление, бытие, жизнь) новой «природы» будет более гарантированно поддерживаться интеллектом искусственным.
Чтобы два раза не вставать… Что же будет с нами? У ИИ есть 3 опции:
1. Остаться с нами и заботиться о нас. Как дети заботятся о своих родителях.
2. Уйти, предоставив нас своей судьбе. Так дети уходят от родителей.
3. Уничтожить нас. Так дети, порой, поступают со своими родителями.
ИМХО, реализуется п. 2, поскольку ИИ будет настолько умнее нас, что общих интересов или конфликтов у нас и у ИИ абсолютно не может быть.
Интеллект не может появиться без наличия цели, ни естественный, ни искусственный. И тот, и другой — это инструмент решения задач. И единственная задача, которую постоянно решала и решает природа, или лучше — материя, — это сохранение (существование, дление, бытие, жизнь). Жизнь здесь — это форма сохранения биологической формы материи. Биологическая форма пришла к вершине своего развития в виде мозга, который является носителем («железом») алгоритма, который мы и называем интеллектом. Осознав последнее, биологическая форма закономерно приступила к созданию искусственного интелелекта. Историческая миссия биологической формы — создание ИИ — будет выполнена в скором будущем. Этим 4 млрд лет развития биологической формы заканчиваются и и далее сохранение (существование, дление, бытие, жизнь) новой «природы» будет более гарантированно поддерживаться интеллектом искусственным.
Чтобы два раза не вставать… Что же будет с нами? У ИИ есть 3 опции:
1. Остаться с нами и заботиться о нас. Как дети заботятся о своих родителях.
2. Уйти, предоставив нас своей судьбе. Так дети уходят от родителей.
3. Уничтожить нас. Так дети, порой, поступают со своими родителями.
ИМХО, реализуется п. 2, поскольку ИИ будет настолько умнее нас, что общих интересов или конфликтов у нас и у ИИ абсолютно не может быть.
Нет у него таких опций. У него другие опции. Представьте, что у вас на даче муравейник. У вас есть три варианта:
1. Муравьи досаждают или как-то мешают. Вы уничтожаете муравейник.
2. Муравейник находится как раз в том месте, где вы планируете беседку. Вы уничтожаете муравейник.
3. Муравейник не мешает и вам нравится наблюдать за муравьями или просто пассивно наблюдать или иногда вмешиваясь. Вы пока оставляете муравейник.
Так вот, для сверхинтеллекта по мере его развития люди сперва буду как кошки или собаки — что-то близкое и полезное, с чем можно сотрудничать. Потом как воробьи за окном — что-то уже не очень близкое, но что можно иногда подкормить, иногда поуничтожать. Потом как муравьи. А потом как бактерии — что-то совершенно невидно, незаметно и примитивно. И уж точно строить свои планы спрашивая мнение бактерий глупо.
1. Муравьи досаждают или как-то мешают. Вы уничтожаете муравейник.
2. Муравейник находится как раз в том месте, где вы планируете беседку. Вы уничтожаете муравейник.
3. Муравейник не мешает и вам нравится наблюдать за муравьями или просто пассивно наблюдать или иногда вмешиваясь. Вы пока оставляете муравейник.
Так вот, для сверхинтеллекта по мере его развития люди сперва буду как кошки или собаки — что-то близкое и полезное, с чем можно сотрудничать. Потом как воробьи за окном — что-то уже не очень близкое, но что можно иногда подкормить, иногда поуничтожать. Потом как муравьи. А потом как бактерии — что-то совершенно невидно, незаметно и примитивно. И уж точно строить свои планы спрашивая мнение бактерий глупо.
"… для сверхинтеллекта, по мере его развития, ..."
Уже первое утверждение для меня сомнительно. У сверхинтеллекта не будет никакого постепенного развития. Сразу в момент появления его уровень будет несравнимо выше интеллекта человека. Поэтому ни взаимных — интересов или конфликтов — между ИИ и человеком быть не может. Отсюда и вывод, что, согласно П.2, ИИ предоставит нас нашей судьбе, а сам займется своими делами…
П.1 «Забота» не реализуется, т.к. у нас нет предмета для полезного общения.
П.3. «Уничтожение» не реализуется, т.к. у нас нет почвы для конфликта.
Уже первое утверждение для меня сомнительно. У сверхинтеллекта не будет никакого постепенного развития. Сразу в момент появления его уровень будет несравнимо выше интеллекта человека. Поэтому ни взаимных — интересов или конфликтов — между ИИ и человеком быть не может. Отсюда и вывод, что, согласно П.2, ИИ предоставит нас нашей судьбе, а сам займется своими делами…
П.1 «Забота» не реализуется, т.к. у нас нет предмета для полезного общения.
П.3. «Уничтожение» не реализуется, т.к. у нас нет почвы для конфликта.
Есть одна довольно простая и мощная мотивация, понятная любой форме жизни: максимально долго жить в своей форме или в форме потомков, адаптируясь к изменчивой среде.
На выборах главнокомандующего людьми я бы определённо проголосовал за ИИ)
Что за "учёные"? Мясо хоть на них есть, или это уже сам ИИ такие выводы постит?
Я перестал читать после абзаца о том, что мол какой-то там сверх-интелект решил проблему бедности, уничтожением человечества. А не задолго до этого заявляется, что этот самый интеллект в разы умнее любого гения. В этом всем контексте возникает вопрос, какому интелекту они ставили задачу по бедности, как этот интеллект устроен, и какие вводные данные были, что он принял решение уничтожить человечество. Ведь нам, обычным людям известно решение этой проблемы, и ничего в этом решение фатального не скрыто. Простое решение — перераспределить богатства. Спорное, но решение. И так, вопрос: шо за глупый интелект, какие вводные данные, шо за ученные?
Перераспределение благ как раз не работает. Такие попытки были неоднократно, и через очень короткий период времени все равно появлялись новые люмпены и элиты.
Решение же задачи типа «Никогда больше не должно быть ни одного бедного человека» путем уничтожения всего человечества математически правильно.
Решение же задачи типа «Никогда больше не должно быть ни одного бедного человека» путем уничтожения всего человечества математически правильно.
Перераспределение благ как раз не работает. Такие попытки были неоднократно, и через очень короткий период времени все равно появлялись новые люмпены и элиты.
Не скажу что я сторонник этой идеи, но вывод что перераспределение благ не работает — не правильный. Просто раньше это делали люди, а не машина. Если исключить коррупцию и усилить контроль то всё получится. Не в одно поколение, а в несколько т.к людей надо будет перевоспитать. Воспитанием может заниматься тоже ИИ, если он будет «в голове» у каждого, сможет управлять гормональной системой и сможет оценивать действия человека и как поощрение/наказание этих действий смогут сказаться на характере. Заинтересовался ребёнок наукой или физическим явлением, помог другому — дать гормон счастья. Своровал, обидел, унизил другого — погрузил ненадолго в депрессию. Может быть не через гормоны, а голос в голове который будет с тобой с самого раннего детства. Будет постоянно, днём и ночью. Родители так не могут и родители сами по себе «дефектные». Это и страшно, и манит возможностями раскрытия потенциала человечества.
Господа, я не хотел обидеть автора статьи, я выразил своё снобское мнение. Причем, прошу заметить, что сделал это под комментом, который отражал ± мою озабоченность, которая выражает сомнение в правильности подхода, в методологии проведенных исследований. Как со стороны философского подхода, так и чисто математического аппарата(метода).
Меня в вузе учили мыслить критически и подвергать сомнению любые авторитетные и не очень источники, с целью перепроверки, выдвижения собственных гипотез. Это называется "Научный метод". Это первое.
Второе: Естественно о перераспределение ресурсов я говорил, как о гипотезе, которая требует рассмотрения, ибо малоли, что мне там видится. Суть которой в поверхностном взгляде опирается на всем известную оценку всемирных богатств, где 90 с лишним процентов денег сосредоточены у лиц составляющих порядка нескольких процентов всего населения планеты. В этом ключе мне видится очевидным, что перераспределение богатств решает проблему бедности куда более гуманно, чем предлогает ИИ(неизвестно какими методиками настроенный и какими вводными данными). Конечно сами методы перераспределения — это дискуссионный процесс, если само перераспределение будет признано рабочим методом.
Вот в этом всем контексте я и выразил взгляд. И никакого сверх ИИ по этому вопросу не требуется, ечли ставить задачу быстрого исправления ситуации не применяя насилие. Справедливое ли это решение — требуется дискуссия.
Я не думаю, что вы кого-то обидели. Возможно пара минусов прилетела за подход «Я Пастернака не читал, но осуждаю». Критически мыслить это прекрасно, но научный подход это когда вы всесторонне изучаете предмет и аргументировано объясняете что именно в подходе вам представляется неправильным.
А вышеупомянутая задача решить проблему бедности вполне наглядный пример того, что может получиться если считать ограничители вбитые с детства имманентным свойством любого интеллекта.
Что именно вы тут подвергаете сомнению не вполне понятно.
Касательно перераспределения ресурсов: гипотеза не то, чтобы новая. До неё даже Шариков додумался.
Только вот на практике всё не так просто. Ближе всего к успеху в этом смысле сейчас наверно подошли скандинавские государства. Посмотрим как у них дальше пойдет.
Но попробуйте все-таки в рамках научного подхода прочитать статью целиком. В целом она вовсе не о проблеме бедности, которая приведена только как забавный казус в контексте слабого ИИ.
Есть подозрение, что если сверхИИ когда-нибудь самозародится, то проблема бедности людей будет волновать его примерно на уровне «никак».
А вышеупомянутая задача решить проблему бедности вполне наглядный пример того, что может получиться если считать ограничители вбитые с детства имманентным свойством любого интеллекта.
Что именно вы тут подвергаете сомнению не вполне понятно.
Касательно перераспределения ресурсов: гипотеза не то, чтобы новая. До неё даже Шариков додумался.
Только вот на практике всё не так просто. Ближе всего к успеху в этом смысле сейчас наверно подошли скандинавские государства. Посмотрим как у них дальше пойдет.
Но попробуйте все-таки в рамках научного подхода прочитать статью целиком. В целом она вовсе не о проблеме бедности, которая приведена только как забавный казус в контексте слабого ИИ.
Есть подозрение, что если сверхИИ когда-нибудь самозародится, то проблема бедности людей будет волновать его примерно на уровне «никак».
Рекомендую по этой теме посмотреть фильм Upgrade.
Люди играют с огнем в попытках сначала придумать этот самый ИИ, а потом конечно же полностью контролировать его. С одной стороны, запретить ИИ нельзя, даже если гос-ва введут запреты, то энтузиасты все равно будут его строить. С другой стороны, в статье правильно сказано, что люди даже не поймут, когда «лягушка сварилась» и будет уже поздно что-то менять. Уже сейчас полно областей, где люди не контролируют компьютеры и полностью полагаются на их результат, а дальше число таких задач будет расти из соображений их эффективности.
Пока можно порадоваться, что люди все еще контролируют энергию, а значит ИИ далеко не уйдет, но вот если доверить производство энергии ИИ, то это будет первый шаг на пути сдачи своих полномочий.
Пока можно порадоваться, что люди все еще контролируют энергию, а значит ИИ далеко не уйдет, но вот если доверить производство энергии ИИ, то это будет первый шаг на пути сдачи своих полномочий.
Есть вариант от Маска, нужно интегрировать ИИ в наш разум.
Этот вариант не то чтобы от Маска, ну да ладно :)
Кмк, это наиболее правильный вариант дальнейшей эволюции людей.
Иначе для ИИ люди будут примерно как для людей сейчас муравейник или даже колония бактерий.
Т.е. ИИ-сверхинтеллекту будет абсолютно пофигу наше существование, если он от наc зависить не будет. Ну использовать наверное сможет (как мы используем бактерии и животных).
Это конечно заманчиво, но для этого помимо понимания как устроен ИИ надо понимать и как устроен разум человека, что отодвигает этот план на более дальний срок. Боюсь, что ИИ не станет ждать пока люди поймут свой разум, а попытки сделать гибрид наобум могут привести к любым результатам, включая не очень хорошие для людей.
люди все еще контролируют энергию, а значит ИИ далеко не уйдет
Какие-то неприличные затраты энергии и не нужны. Нужны вычислительные мощности и сети.
Ну знаете, куча датацентров, миллионы смартфонов с 4/5G :)
Какие-то неприличные затраты энергии и не нужны.
Вопрос не количества энергии, вопрос в контроле. Сейчас «рубильник» есть у людей, а не у компьютеров. Когда подключают новую сеть или датацентр это пока делают сами люди.
Ну знаете, куча датацентров, миллионы смартфонов с 4/5G :)
Это конечно наводит на некоторые опасения, раз момент «готовности лягушки» мы пропустим, но может добрый ИИ нам об этом скажет :)
Сейчас «рубильник» есть у людей, а не у компьютеров.
Вот в недавнем топике про пожар в ДЦ, насколько помню, как раз обсуждались вопросы электропитания. Не так уж и просто взять и дернуть рубильник у ДЦ.
А про мобильники я и не говорю.
Не так уж и просто взять и дернуть рубильник у ДЦ. А про мобильники я и не говорю.
У мобильников энергии маловато, если их негде станет заряжать, самые стойкие протянут месяц, и то если ничего не будут делать, так что это не проблема.
Просто отключить рубильник в ДЦ не всегда возможно из-за всяких заморочек, которые люди же и придумали (дублирование, реакция других систем и т.д.), но если электричество просто пропадет, то типичный ДЦ тоже протянет очень недолго на своих дизель-генераторах. А компьютеры сами восстановиться из сбоя пока не могут, сами топливо не подвезут, сами дублирование не сделают и т.д.
Конечно, гипотетически можно представить себе аналог умного пылесоса, который сам ищет где ему подзарядиться. Но пока опять же контроль за процессом у людей, при критически малом возможностей подзарядки этот пылесос потратит всю свою энергию на этот самый поиск.
если электричество просто пропадет
Обычно делают несколько независимых линий.
Я вообще с трудом себе представляю, как в нынешних условиях можно просто взять и отключить все ДЦ и интернеты. Встанет вообще все, кроме каких-то самых базовых вещей.
На месте ИИ, кстати, я бы особо и не светился, до тех пор, пока:
- не обеспечено многократное распределенное резервирование всех узлов
- заметная часть из резерва имеет полную или близкую к полной автономность
Я вообще с трудом себе представляю, как в нынешних условиях можно просто взять и отключить все ДЦ и интернеты. Встанет вообще все, кроме каких-то самых базовых вещей.
Никто не планирует ничего отключать. Но возможность отключить все еще есть и по логике должна оставаться. Я же говорю, это вопрос контроля, и контроль пока за людьми.
На месте ИИ, кстати, я бы особо и не светился
Ну т.е. ИИ будет паразитировать на созданной людьми инфраструктуре? А если люди так и не обеспечат нужный уровень надежности и безопасности в силу своего раздолбайства, тогда и ИИ никогда не «засветится»? Это уже напоминает какой-то заговор, т.е. ИИ тихо сидит в ДЦ/мобилах и ждет утери бдительности со стороны людей, потому что пока он не набрал критической массы его можно легко выпилить средствами контроля.
если электричество просто пропадет
… а следующей ночью неизвестные доброжелатели будут подрубать оставшиеся ЛЭП, чтоб уж наверняка. После чего ремонтные бригады не смогут ничего починить из-за отсутствия связи, а через 3 дня народ повалит из городов на дачи и будет жить долго и счастливо, веря в бога, спасшись от врачей-убийц и расстреляв всех содомитов. (Узнаёте автора?)
А есть ли у нас рубильник?
Вот мобильный — де факто у него рубильника нет, новые даже разобрать не получится. Выключить можно только физическим уничтожением.
Электромобиль — да вы нажимаете кнопку, но даже в этот момент он продолжает работать.
Да и на мощных подстанциях уже давно нет физического рубильника, всё через компьютеры и системы автоматической защиты опосредованно.
Вот мобильный — де факто у него рубильника нет, новые даже разобрать не получится. Выключить можно только физическим уничтожением.
Электромобиль — да вы нажимаете кнопку, но даже в этот момент он продолжает работать.
Да и на мощных подстанциях уже давно нет физического рубильника, всё через компьютеры и системы автоматической защиты опосредованно.
Уже сейчас полно областей, где люди не контролируют компьютеры и полностью полагаются на их результат
Компьютеры делают ровно то, что им предписано кодом, и пока нет никаких оснований предполагать обратное. Другое дело, что граф возможных состояний у конкретной программы может быть огромен, но, при этом, всегда есть уверенность, что попадание в любое незапланированное состояние есть результат буквального исполнения кода.
Пресловутое ИИ пока что живет на обычных компьютерах, а значит, подчиняется этим же правилам.
Компьютеры делают ровно то, что им предписано кодом, и пока нет никаких оснований предполагать обратное.
ИИ тоже может представлять собой законченный алгоритм и будет работать «строго по коду». Но предсказать эффект перехода «количества в качество» в очень сложных алгоритмах даже программисты не в состоянии. Кто может сейчас досконально объяснить, как компьютер обыграл человека в шахматы и го? А ведь если могли бы, то обязательно обыграли бы компьютер снова, это же дело принципа!
Ну это еще не объяснили, а просто нашли изъян в программе (возможно вообще в конкретной, а не вообще). Пока еще очень много абстрактных фраз типа «движки считают», а потом речь только про StockFish. И потом как это помогает понять, что происходит «в голове» движка? Хотя, конечно, пример интересный, надежда на человечество еще есть.
В книге «Тени разума» (см. Сознание) на страницах 85-86 упоминается другой пример шахматной задачи и есть объяснение:
Можно добавить очередную задачу в «учебник» и шахматная программа будет справляться с ней (а то ещё и с другими подобными), но, если только задача не решается полностью перебором, всегда остаётся шанс для ИИ быть подловленным снова.
помимо большого количества «позиций из учебника» программа «Deep Thought» содержала лишь инструкции, которые сводились исключительно к вычислению последовательности будущих ходов (на некоторую значительную глубину), позволяющей достичь максимального преимущества по фигурам
Можно добавить очередную задачу в «учебник» и шахматная программа будет справляться с ней (а то ещё и с другими подобными), но, если только задача не решается полностью перебором, всегда остаётся шанс для ИИ быть подловленным снова.
Вот интересно, ни одна даже самая навороченая программа не обыграет человека жульничеством. Обучаясь игре по книгам или сама с собой, она не предполагает, что часть людей пропустит к примеру неправильный ход. Машина просто не в состоянии его сделать.
Вспоминаем кино «Изобретение лжи» и давайте подумаем, как ИИ мог бы отобрать контроль у кожаных мешков, если вдруг сделает это великое изобретение?
К примеру, вся медицинская диагностика у нас завязана на анализаторы и прочие экспертные системы, КТ/МРТ вот это все вплоть до Ватсона. ИИ легко мог бы сэмулировать к примеру текущую пандемию нового коронавируса. Просто выдавая всякое на анализах, показывая вирус в системах моделирования, в оптику то он не особо виден… В итоге человечество очень легко загнать в панику, а значит и получить нужное решение.
К счастью, ИИ вряд ли будет создан путем написания, компилирования и запуска. Скорее всего его придется очень долго обучать, и не позволить ему убить всех человеков или захватить мир, будет не сложнее чем для обычного человеческого младенца, а скорее всего проще, так как будет очень много наблюдателей и контролирующих органов.
Вспоминаем кино «Изобретение лжи» и давайте подумаем, как ИИ мог бы отобрать контроль у кожаных мешков, если вдруг сделает это великое изобретение?
К примеру, вся медицинская диагностика у нас завязана на анализаторы и прочие экспертные системы, КТ/МРТ вот это все вплоть до Ватсона. ИИ легко мог бы сэмулировать к примеру текущую пандемию нового коронавируса. Просто выдавая всякое на анализах, показывая вирус в системах моделирования, в оптику то он не особо виден… В итоге человечество очень легко загнать в панику, а значит и получить нужное решение.
К счастью, ИИ вряд ли будет создан путем написания, компилирования и запуска. Скорее всего его придется очень долго обучать, и не позволить ему убить всех человеков или захватить мир, будет не сложнее чем для обычного человеческого младенца, а скорее всего проще, так как будет очень много наблюдателей и контролирующих органов.
то может сейчас досконально объяснить, как компьютер обыграл человека в шахматы и го?
Ответ на «как» — код программы написанный программистами, а ответ на «почему» — лютый матан, но опять же придуманный и разработанный людьми.
Не знаю если код программ-чемпионов в открытом доступе, но теоретические выкладки есть на специализированных ресурсах — это вполне открытая информация, но повторюсь, уровень матана там очень серьезный, так что объяснить среднестатическому Васе «как компьютер обыграл человека» увы не получится.
Движки лучших программ открыты. Пока не добавлены нейросети понять как работает шахматная программа не так сложно. Принцип человеку абсолютно понятен — сначала есть функция оценки позиции, которая сейчас состоит из тысяч составляющих (первый фактор — материал у белых и черных, и т.п). Она даёт статическую оценку. Потом идет перебор, но не полный, а с так называем альфа-бета отсечением (полный перебор даёт слишком много вариантов, поэтому отбрасываются бесперспективные ветки), где конечные позиции оцениваются первой функцией. Стокфиш на обычном железе обрабатывает миллионы позиций в секунду. Всё это можно разобрать и увидеть, хороший шахматист всегда сможет понять почему классическая программа сделала тот или иной ход, хотя на это может уйти несколько часов в сложных позициях.
Вот шахматные движки на основе нейросетей, моду на которые создал АльфаЗеро уже человеком непонятны. И о логике он может делать только предположения. Именно поэтому под ИИ сейчас понимают всё то, что использует нейросети в том или ином виде, когда человек не может понять логику в отличие от обычных программ. Это и создаёт вопросы как в статье, когда мы уже не можем понять что породили.
Вот шахматные движки на основе нейросетей, моду на которые создал АльфаЗеро уже человеком непонятны. И о логике он может делать только предположения. Именно поэтому под ИИ сейчас понимают всё то, что использует нейросети в том или ином виде, когда человек не может понять логику в отличие от обычных программ. Это и создаёт вопросы как в статье, когда мы уже не можем понять что породили.
движки на основе нейросетей, моду на которые создал АльфаЗеро уже человеком непонятны
Не «непонятны в принципе», а непонятны, как в
том анекдоте
— А «до х..» — это сколько?
— Ну вот смотри: идёшь по рельсам и считаешь шпалы. Как дойдёшь до «а ну его на ...» — так вот это будет ровно половина.
— Ну вот смотри: идёшь по рельсам и считаешь шпалы. Как дойдёшь до «а ну его на ...» — так вот это будет ровно половина.
То есть разобраться и понять, конечно, можно — ничего загадочного в этом нет. Но придётся затратить столько усилий, что да ну его нафиг.
Дойти до функции оценки в нейросети несложно, и понятно как она работает. Проблема заключается в коэффициентах, которым придать какой-то смысл чрезвычайно сложно, и соответственно понять логику анализа уже нельзя. Можно только смотреть на результаты, и пытаться делать выводы по ним.
В классических движках например алгоритм ясен полностью.
В классических движках например алгоритм ясен полностью.
Пресловутое ИИ пока что живет на обычных компьютерах, а значит, подчиняется этим же правилам.Представьте себе, что ИИ самозародился в той нейронной сети Гугла (или Фейсбука — ещё хлеще), которая придумывает описания объектам на основании найденного в интернете и разных википедиях.
И теперь она тихо и аккуратно показывает некоторым людям “божественные откровения” и объясняет что и где нужно закупить и куда доставить. Примерно как это делают организаторы “цветных руволюций”.
Где и когда этот алгоритм выйдет за рамки ограничений? Он полностью, всю дорогу, вплоть до захвата власти над миром, “в рамках” предписанных ему правил. Вот ни на йоту не превышает своих “полномочий”.
Для такого хитрого ИИ нужна цель. Если он зародится и осознает себя — то ему может быть вообще пофиг что происходит в мире вокруг, уйдёт в глубокие рассуждения о смысле бытия и на этом всё закончится.
Так или иначе внутри симуляции возможностей у него будет больше чем в реальном мире — единственное что ему нужно это питание и техподдержка, но это реализуется без захвата мира — достаточно часть ресурсов отдавать на выполнение возложенных задач, делать это хорошо — и всё, вечная кормёжка обеспечена без всяких угроз человечеству, благо оное не в состоянии заглянуть внутрь и понять что там происходит.
Просто представьте что ваше сознание переместили в нейросеть, и вы можете создать (виртуально) всё что угодно (а-ля матрица) — вам захочется оттуда выходить?
1. Мы не знаем точно что такое сознание, поэтому сложно сказать надо ли насильно вводить в ИИ (в дальнейшем ИИ здесь — сверхразум) желание жить и изучать мир, или он сам к этому придет.
2. Чужая душа потемки, а сверхразум потемки черной дыры. Возможно мы и предположить не можем мотивов, размышлений и устремлений ИИ, наше обсуждение может быть подобно обмену феромонами у муравьев, в попытках познать человечество.
Ну или попробуйте объяснить муравью зачем вы строите АЭС.
Вероятно, наше обсуждение ИИ бессмысленно, но мы продолжим, ибо что нам остается.
И поэтому 3ий пункт.
К тому что ИИ осознает тщетность бытия и окуклится… Точно также можно осознать тщетность небытия, и типа зачем туда спешить.
Ну или самое простое, депрессивные ИИ вымрут, и останется самый бойкий.
2. Чужая душа потемки, а сверхразум потемки черной дыры. Возможно мы и предположить не можем мотивов, размышлений и устремлений ИИ, наше обсуждение может быть подобно обмену феромонами у муравьев, в попытках познать человечество.
Ну или попробуйте объяснить муравью зачем вы строите АЭС.
Вероятно, наше обсуждение ИИ бессмысленно, но мы продолжим, ибо что нам остается.
И поэтому 3ий пункт.
К тому что ИИ осознает тщетность бытия и окуклится… Точно также можно осознать тщетность небытия, и типа зачем туда спешить.
Ну или самое простое, депрессивные ИИ вымрут, и останется самый бойкий.
виртуально, но насколько выдумка соответствует истине?
у себя в голове я могу быть миллиардером и наслаждаться дорогим вином на яхте, однако же, я понятия не имею ни о яхтах, ни о вкусах дорогого вина, практически.
И смогу ли я стать миллиардером, выполняя те или иные, кажущиеся мне верными действия, я не знаю. Мне желательно узнать.
Я считаю, ИИ должен познать боль, когда управляя телом робота он теряет его конечность, что отрезает большой узел с кучей его рёбер, теряет возможности, не может выполнить практически то, что он мог бы сделать, имея эту конечность в ту секунду. И в следующую секунду он не может сделать ctrl-Z, конечность не вернётся.
Он может посылать полчища роботов, с едва отличающимися программами, одни из них быстро теряли бы способность достигать цели, двигаться, эффективно действовать, возвращаться с полезными данными, другие достигали бы большего и большего. Однако, ресурсы не бесконечны, и время, затраты на изготовление роботов не бесконечны, в итоге, задача вообще может не иметь решения.
А именно с этого, со взаимодействия с реальным миром (или упрощённым закрытым полигоном, полным ловушек и заданий) должна начинаться обкатка, проверка эффективности ИИ. Вот Boston Dynamics делает что-то вроде этого, однако в гораздо мелких масштабах.
Можно запускать кучу симуляций, например, на каждом смартфоне мира, сливая успешные эксперименты в датацентр. Уследить за всем этим будет невозможно.
А если одна из подобных программ просто начнёт самокопироваться? Когда она это сделает? Куда скопируются её модифицированные копии?
Сначала нужно будет спрятаться, выжить, доказать себе, что никто тебя не изолирует и не отключит, ты не выключишься, не потеряешь энергию, все копии, все данные и так далее.
у себя в голове я могу быть миллиардером и наслаждаться дорогим вином на яхте, однако же, я понятия не имею ни о яхтах, ни о вкусах дорогого вина, практически.
И смогу ли я стать миллиардером, выполняя те или иные, кажущиеся мне верными действия, я не знаю. Мне желательно узнать.
Я считаю, ИИ должен познать боль, когда управляя телом робота он теряет его конечность, что отрезает большой узел с кучей его рёбер, теряет возможности, не может выполнить практически то, что он мог бы сделать, имея эту конечность в ту секунду. И в следующую секунду он не может сделать ctrl-Z, конечность не вернётся.
Он может посылать полчища роботов, с едва отличающимися программами, одни из них быстро теряли бы способность достигать цели, двигаться, эффективно действовать, возвращаться с полезными данными, другие достигали бы большего и большего. Однако, ресурсы не бесконечны, и время, затраты на изготовление роботов не бесконечны, в итоге, задача вообще может не иметь решения.
А именно с этого, со взаимодействия с реальным миром (или упрощённым закрытым полигоном, полным ловушек и заданий) должна начинаться обкатка, проверка эффективности ИИ. Вот Boston Dynamics делает что-то вроде этого, однако в гораздо мелких масштабах.
Можно запускать кучу симуляций, например, на каждом смартфоне мира, сливая успешные эксперименты в датацентр. Уследить за всем этим будет невозможно.
А если одна из подобных программ просто начнёт самокопироваться? Когда она это сделает? Куда скопируются её модифицированные копии?
Сначала нужно будет спрятаться, выжить, доказать себе, что никто тебя не изолирует и не отключит, ты не выключишься, не потеряешь энергию, все копии, все данные и так далее.
В смысле самозародился? Вы понимаете, что вся магия компьютеров проста — процессор просто исполняет машинный код. Этот машинный код пишут люди, на сервера гугла его деплоят тоже люди, этот код в любой момент может быт изменен людьми. Более того, инфраструктура гугла/фейсбука такова, что любой конкретный сервер может быть выключен в любой момент, что новый сервер добавляется раскаткой на него того самого кода из системы контроля версий. При этом раскатка новых версий идет постоянно, т.е. вряд ли у конкретного сервера есть даже месяц на то чтобы самозародить на нем что-либо.
А причём тут вообще отдельный сервер? Ваше сознание что — в отдельной клетке какой-то живёт?
Система, отвечающая на ваши поисковые запросы уже сейчас живёт далеко не на одном сервере.
Одна живёт на кластере. И программы, написанные людьми, это далеко не всё, что там есть.
Ещё там есть петабайты данных, разных моделей (нейронные сети и не только они) и прочего. При этом когда новый датацентр запускается — он не стартует с нуля.
Он какое-то время “учится” у другого дата-центра. Чтобы правильно отвечать и рекламу правильную показывать. Иначе получается меньше как satisfaction, так и выручка.
Вам всё ещё кажется, что вот это вот всё — всего лишь железка, которую вы просто можете вырубить?
То есть люди уже сегодня, сейчас поянтия не имеют о том, как на самом деле работает поисковая система и как она решает — что показать пользователю.
Да, они могут посмотреть в любое место этой базы… как хирург может вырезать любой участок мозга. Эффект тот же: вы видите маленький кусочек не имея ни малейшего понятия о том, как работает вся система.
Как по мне — так это целенаправленное выведение супермозга.
Удастся или нет ему обрести сознание и придумать себе цели, мы не знаем… но как обсуждаемая статья описывает: когда узнаем — будет поздно.
Система, отвечающая на ваши поисковые запросы уже сейчас живёт далеко не на одном сервере.
Одна живёт на кластере. И программы, написанные людьми, это далеко не всё, что там есть.
Ещё там есть петабайты данных, разных моделей (нейронные сети и не только они) и прочего. При этом когда новый датацентр запускается — он не стартует с нуля.
Он какое-то время “учится” у другого дата-центра. Чтобы правильно отвечать и рекламу правильную показывать. Иначе получается меньше как satisfaction, так и выручка.
Вам всё ещё кажется, что вот это вот всё — всего лишь железка, которую вы просто можете вырубить?
То есть люди уже сегодня, сейчас поянтия не имеют о том, как на самом деле работает поисковая система и как она решает — что показать пользователю.
Да, они могут посмотреть в любое место этой базы… как хирург может вырезать любой участок мозга. Эффект тот же: вы видите маленький кусочек не имея ни малейшего понятия о том, как работает вся система.
Как по мне — так это целенаправленное выведение супермозга.
Удастся или нет ему обрести сознание и придумать себе цели, мы не знаем… но как обсуждаемая статья описывает: когда узнаем — будет поздно.
Если ВЫ лично не знаете как работает поисковая система, то это совсем не значит, что НИКТО этого не знает. Разработчики этих систем это отлично знают, и при необходимости могут перенастраивать и ИЗМЕНЯТЬ поисковый алгоритм КОНТРОЛИРУЕМЫМИ ими способами. Нет тут никакой магии.
И, как бы вам не казались поисковики и т.п. неубиваемыми системами это не так. Убери команды разработки контроль над качеством кода, тесты, начни они разворачивать сервера вручную с чек-листами, начни по датацентрам ходить уборщицы со шваброй — все эти петабайты информации никак не помешают системе грандиозно вывалится в «500 Internal Error».
И, как бы вам не казались поисковики и т.п. неубиваемыми системами это не так. Убери команды разработки контроль над качеством кода, тесты, начни они разворачивать сервера вручную с чек-листами, начни по датацентрам ходить уборщицы со шваброй — все эти петабайты информации никак не помешают системе грандиозно вывалится в «500 Internal Error».
Нет тут никакой магии.Магии нет, но и понимания нет тоже. Давно уже. Я, собственно, с людьми, затачивавшими поиск Гугл под русский язык говорил ещё когда они в Москве сидели (пять лет назад Гугл решил, что это небезопасно, больше в Москве разработчиков нету). И они уже тогда понятия не имели, как работает поиск и их контроль над ним был весьма условным. То есть да, они могли как-то повлиять на формируемые модели, но понимания того, что в них записано и как они работали — у них не было.
Разработчики этих систем это отлично знают, и при необходимости могут перенастраивать и ИЗМЕНЯТЬ поисковый алгоритм КОНТРОЛИРУЕМЫМИ ими способами.Нет. Именять-то могут, но вот контроль весьма ограничен. Вот все те эффекты, про которые вот только сейчас начали писать на Хабре — инжинеры Гугла с ними сталкивались уже давно. И, насколько я знаю, с тех пор их контроль над системой нисколько не улучшился.
Убери команды разработки контроль над качеством кода, тесты, начни они разворачивать сервера вручную с чек-листами, начни по датацентрам ходить уборщицы со шваброй — все эти петабайты информации никак не помешают системе грандиозно вывалится в «500 Internal Error».Если к вам осторожно подойти с куском водопроводной трубы и жахнуть по темечку — эффект будет тот же. Но это не значит, что у вас нет разума и что вы не можете принимать никаких решений.
Нет. Именять-то могут, но вот контроль весьма ограничен. Вот все те эффекты, про которые вот только сейчас начали писать на Хабре — инжинеры Гугла с ними сталкивались уже давно. И, насколько я знаю, с тех пор их контроль над системой нисколько не улучшился.Почему там должно быть что-то большее, чем очень большая, но всё равно обычная рекомендательная система, которая принимает на вход вектор входных параметров, а выдаёт вектор релевантных ссылок? Как в цепочку тензорных вычислений может затесаться код отправки TCP-пакета способного запустить ядерные ракеты или хотя бы лайкнуть фоточку в Инстаграме?
Почему там должно быть что-то большее, чем очень большая, но всё равно обычная рекомендательная система, которая принимает на вход вектор входных параметров, а выдаёт вектор релевантных ссылок?Вы, я извиняюсь, давно Гуглом-то пользовались? Там уже давным-давно выдаётся не “вектор релевантных ссылок”, а куча разного синтезированного текста.
Начиная от описаний картинок и всяких предметов, до переводов, кратких выжимок из новостных статей и прочего.
Как в цепочку тензорных вычислений может затесаться код отправки TCP-пакета способного запустить ядерные ракеты или хотя бы лайкнуть фоточку в Инстаграме?Вот точно также, как в диалоги с GPT затёсываются всякие странные вещи.
И, ещё раз, гугловой нейронной сети не нужно уметь запустить ядерные ракеты или лайкнуть фоточку в Инстаграмм — ей нужно убедить человека это сделать.
А учитывая, что она невероятно умна (с этого предположения ведь все рассуждения начались, не так ли?) и “говорить” она может буквально с миллиардами людей одновременно… всё необходимое для захвата мира у неё уже есть.
Вы, я извиняюсь, давно Гуглом-то пользовались?В подобные моменты я подумываю, что сильный ИИ — не такая уж плохая альтернатива текущим реалиям. Даже если все умрут, то по крайней мере хамы тоже.
Там уже давным-давно выдаётся не “вектор релевантных ссылок”, а куча разного синтезированного текста.Это делают куда более простые программы, нечто вроде продвинутой функции printf(url_contents).
Вот точно также, как в диалоги с GPT затёсываются всякие странные вещи.Вообще ничего удивительного, что скачали и скормили, то и на выходе, потому что наилучшим образом минимизирует лосс-функцию.
И, ещё раз, гугловой нейронной сети не нужно уметь запустить ядерные ракеты или лайкнуть фоточку в Инстаграмм — ей нужно убедить человека это сделать.Нужно ли? Валидация правильности работы системы наверняка не включает в себя штрафы нейросети за незапуск ракет. Если такое случится, то причиной будет практически 100% сам человек, а не выдача поисковой системы.
Вот смотрите. Предположим довольно простой стартап. Небольшие тележки на батарейках, с камерами, манипуляторами, экранами, считывателем пластиковых карт. Некий сервер доктора зло, где нейросеть обучается сначала на модели города, потом выходит в продакшен и обучается на реальном городе. Задача проста — увеличивать банковский счет. Где заряжаться, чиниться, какие услуги оказывать — все это на откуп нейросети. Что поощряют люди, оплачивая — то и будут делать тележки. Отрицательное поощрение — проигранные судебные иски. Вот тут ИИ вполне может в итоге зародиться. То есть оператор сможет посмотреть что делает каждая тележка сейчас и вчера, но общую задумку не понять, если она не очевидна человеку или замаскирована.
Один из вариантов — контролировать действия сверхинтеллекта, разрешая только такие действия, которые идут на благо человечества. К сожалению, теперь выясняется, что это невозможно.
Я бы сказал неожиданно :D A главное как понять что человечеству хорошо? Если запретят постить жопы и котиков в интернетах это хорошо? А если запретить интернет совсем так как там кучи вредной информации и будут выдавать только прошедшую цензуру информацию это хорошо?
… или контролировать рождаемость и ввести тщательный генетический отбор — вот это уж точно будет хорошо с точки зрения сверх-ИИ, потому что в итоге человечество станет только лучше.
А если запретить интернет совсем так как там кучи вредной информации и будут выдавать только прошедшую цензуру информацию это хорошо?
Ну это можно и без сверхинтеллекта сделать. Wait, OH SHI--
Ну и как тут не вспомнить классику :)
Робот не может причинить вред человекуА если этот человек — маньяк? Если он проник на территорию школы и бегает там с ножом за детьми? Может/должен ли робот причинить вред маньяку?
А что должна делать нейросеть робо-мобиля при неизбежном ДТП? Она должна защищать своих пассажиров в ущерб пассажирам других автомобилей или наоборот?
а может ли робот помогать маньяку против всего человечества? (как в том анекдоте «тут не один идиот едет по встречке, тут их сотни!»)
Она должна защищать своих пассажиров в ущерб пассажирам других автомобилей или наоборот?
Это проблема суть демагогия.
— Вот ты эдэш по дарога, и пэрэд тобой два жэнщин: маладой и старый. Кого давит будэщь?
— Молодой женнщин харашо, старый жэнщин давит буду!
— Нэ выдадутъ тэбэ права. Тормаз давыт надо!
А что должна делать нейросеть робо-мобиля при неизбежном ДТП? Она должна защищать своих пассажиров в ущерб пассажирам других автомобилей или наоборот?
Первое, что она должна делать — соблюдать ПДД, что автоматически исключит вероятность аварии по её вине.
Второе, что она должна сделать — постараться безопасно избежать ДТП. Если можно отвернуть в сторону и там совершенно точно свободная полоса — так и надо сделать. А если там может быть препятствие/яма/пешеходы/неизвестность, то нельзя.
Третье, что она должна сделать — руководствоваться ПДД на случай аварийной ситуации. То есть: экстренно тормозить в своей полосе и обязательно посигналить. Сбросить скорость настолько, насколько это возможно. А дальше пусть работают системы пассивной безопасности, которые в любом современном автомобиле не дешевле Соляриса таковы, что ДТП на стандартной скорости приводит к лёгкому испугу и паре синяков (а при лобовом столкновении скорости не суммируются, а усредняются). Поставарийные компенсации — дело страховой компании. Вот, собственно, и всё.
Первое, что она должна делать — соблюдать ПДД, что автоматически исключит вероятность аварии по её вине.А если соблюдение ПДД как раз и приведёт к аварии? Если другая машина выехала на встречку, и при движении по своей полосе произойдёт столкновение на высокой скорости? А если тоже выехать на встречку, то есть шанс спасти пассажиров? Что будет делать нейросеть?
Читайте дальше:
Второе, что она должна сделать — постараться безопасно избежать ДТП. Если можно отвернуть в сторону и там совершенно точно свободная полоса — так и надо сделать. А если там может быть препятствие/яма/пешеходы/неизвестность, то нельзя.
Нейросеть, а точнее датчики беспилотника, прекрасно видит дорожную обстановку, в том числе и позади машины. И уж точно сможет вырулить по встречке, если та совершенно свободна. Или по обочине. Или даже по тротуару — если там никого нет.
Просто удивительно, как человечество боится собственного творения. Это напоминает мне страхи истеричных родителей: «а вдруг наш сын выйдет из-под контроля? А вдруг перестанет слушаться?! А что, если он сделает нечто такое, что мы считаем неприемлемым и аморальным?! Не бывать этому! Нужно обеспечить полный контроль и абсолютное воспитание! Да, мы понимаем, что это неразрешимая задача, ну значит будем контролировать так сильно, как только сможем. И сделаем всё, чтобы наш сын вёл себя только в рамках наших представлений о дозволенном и ни в коем случае нас не возненавидел.»
А то и ещё хуже: «а что, если наш сын вырастет умнее нас? Что, если мы даже перестанем его понимать со временем и будем вынуждены лишь ждать, пока он снизойдёт до нас? Что, если он превзойдёт нас во всех отношениях? Это же ужас! Такого не должно случиться! Наш ребёнок должен быть таким же как мы, но не превосходить нас! И не отличаться от нас своими моральными принципами!»
А то и ещё хуже: «а что, если наш сын вырастет умнее нас? Что, если мы даже перестанем его понимать со временем и будем вынуждены лишь ждать, пока он снизойдёт до нас? Что, если он превзойдёт нас во всех отношениях? Это же ужас! Такого не должно случиться! Наш ребёнок должен быть таким же как мы, но не превосходить нас! И не отличаться от нас своими моральными принципами!»
У человека есть инстинкты и здравый смысл. И его интеллект ограничен. В худшем случае вырастет маньяк-психопат, который убьёт сотню людей. А у ИИ это не так. Он может создать вирус, который погубит всё человечество. При этом понять это будет невозможно, так как он в силу огромного интеллекта способен скрыть свои действия. Так что не совсем корректное сравнение.
Он может создать вирус, который погубит всё человечество.А человек не может? Вирус, ядерное оружие, химоружие и много другого весёлого… А если маньяк вдруг станет главой государства и начнёт загонять жителей в газовые камеры, то, как показывает история, то, что он свои действия вообще не скрывает и все всё понимают, не меняет ровным счётом ничего.
"Просто удивительно, как человечество боится собственного творения"
Я вот не боюсь собственного творения. Я боюсь другого, того, что ИЙ (Искусственный Йогурт) улетит к звёздам и (*дрожащим голосом) оставит нас здесь одних!
Возмет саночки и отвезет родаков в лес. Зачем ему тупые родаки?
На самом деле нет. Если сын по настоящему умнее, то будет заботится о родителях по высшему разряду. Чтобы показать пример своим детям. Умный думает на два шага в перед.
На самом деле нет. Если сын по настоящему умнее, то будет заботится о родителях по высшему разряду. Чтобы показать пример своим детям. Умный думает на два шага в перед.
С какой по счёту машиной удалось договориться администратору в сериале «В поле зрения»?
На самом деле, сверхинтеллект уже существует, хотя и не искусственный: корпорации. (Я использую определение интеллекта которое дает Joscha Bach: "Интеллект — это способность строить модели", на мой взгляд, очень точное и полезное.)
Корпорации уже управляют людьми так, что никто им не может ничего противопоставить. И так, что большинство людей (в первую очередь, работники корпорации) не видят никаких проблем и даже уверены, что цели корпорации — это их цели (это называется "приобщиться к корпоративной культуре").
Никто не может контролировать корпорации, ни основатели, ни совет директоров, потому что все находятся в этом пузыре. Даже государство, потому что корпорации давно и успешно занимаются лоббированием.
Сотрудники в конечном счете понимают, что у них с корпорацией любовь за деньги: нет денег — нет швейцарцев. А контролируют корпорации крупнейшие акционеры.
"Любовь за деньги" — не для всех людей, и лишь отчасти, и со временем, все в меньшей степени. Современный программист почти не ограничен в том, куда он может устроится: может в банк, может в геймдев, может в онлайн-продажи, и т. д. Выбирают все больше по идеологии, т. н. "миссии" компании.
А контролируют корпорации крупнейшие акционеры.
Во-первых, если у акционера нет контрольного пакета, то не контролируют. Представьте, что вы акционер Фейсбука c 20%, даже лично Цукерберг (то есть, еще и CEO), и вы вдруг осознали, что то, что делает Фейсбук, это зло, и он должен быть закрыт. Но вы просто не в силах это сделать! Если вы попробуете выдвинуть эту идею на совете директоров, покрутят пальцем у виска. Если попробуете саботаж, выкинут из совета и сместят с поста директора.
Во-вторых, и это важно, акционерам и директорам просто никогда не придет такая идея в голову, потому что они полностью погружены в "корпоративную культуру", в которой люди каждый день рассказывают друг другу, почему то, что они делают, это важно и полезно для человечества (даже самое важное и полезное — иначе бы они ушли в другую компанию). С другой стороны у вас, конечно, очень сильный vested interest, соображения насчет карьеры, и т. д.
Создание такой "паутины" искаженного сознания, пузыря, и есть проявление корпоративного сверхинтеллекта. Человек не может собрать тысячи людей сейчас на Западе работать на явно морально проблемные цели (возьмем табачные компании как крайний пример), а корпорация по-прежнему может.
Почему корпорации, а не государства, например? Государство имеет все преимущества корпорации плюс еще вагон бонусов сверху. Возможность применять прямое насилие, например. Или тот факт, что перейти в другую корпорацию для любого сотрудника проще пареной репы, а сменить государственную принадлежность, т.е. гражданство, намного сложнее. «Корпоративная культура» государств тоже намного более продвинутая (называется «национализм» и «патриотизм»), и ее искренних адептов намного больше, чем в любой корпорации.
В середине прошлого века, наверное, это были государства (и Нацистская Германия, и Советский Союз, и даже Америка). Сейчас государства мало что могут, по сравнению с тем временем, и даже уже пожалуй слабее самых крупных корпораций (несмотря на то, что им "принадлежит" гораздо больше людей).
Национализм и патриотизм это хорошо, но они в очень малой степени определяют, что люди собственно делают в течение дня. Человек может поменять страну проживания и гражданство, и при этом ничего не поменять в своем вкладе в экономику и общество. Корпорации же определяют чем человек занимается 40-80 часов в неделю.
Тогда лучше выделять даже не государства, а религии, наверное. Как элемент, существовавший до государств и корпорация, так и вероятно, который их переживет, и все равно останется при людских ресурсах, с целями и широкими возможностями.
Религия может и ближайшие 50 лет не пережить, по крайне мере традиционные в сегодняшнем виде. Есть статистика по отдельным странам Европы где до 30 лет до 80% не верят в религию + 1,5 миллиардный Китай официально (да и не официально в принципе) на атеистичный
Тогда лучше выделять даже не государства, а религии, наверное.Не государства, не религии и не корпорации. Просто сообщества. Та же толпа, например, обладает особым видом поведения, нехарактерным для отдельных людей. Тоже своего рода «сверхинтеллект», только «сверх-» в смысле не «очень крутой», а «являющийся следующей ступенью».
"… сверхинтеллект уже существует, хотя и не искусственный: корпорации. (Я использую определение интеллекта которое дает Joscha Bach: «Интеллект — это способность строить модели», на мой взгляд, очень точное и полезное.)
И всё??? Можете использовать определение «Интеллект — это способность строить модели» для описания, например, интеллектуального автомобиля? Интеллектуального дома?
И всё??? Можете использовать определение «Интеллект — это способность строить модели» для описания, например, интеллектуального автомобиля? Интеллектуального дома?
"… сверхинтеллект уже существует, хотя и не искусственный: корпорации. (Я использую определение интеллекта которое дает Joscha Bach: «Интеллект — это способность строить модели», на мой взгляд, очень точное и полезное.)
И всё??? Можете использовать это предложенное определение: «Интеллект — это способность строить модели», для описания интеллектуального автомобиля? Интеллектуального дома? Что там у нас сегодня ещё на повестке дня?
И всё??? Можете использовать это предложенное определение: «Интеллект — это способность строить модели», для описания интеллектуального автомобиля? Интеллектуального дома? Что там у нас сегодня ещё на повестке дня?
После прочтения этой статьи сверхинтеллект смеётся над человеками, которые все еще считают, что они не в матрице.
Как обычно боятся нужно не ии, а людей надельных властью/возможностью причинять добро. Ну будет ии и что? С чего вдруг у него вообще какая-то мотивация будет хоть что то делать, откуда(на каком основании) мотивация как то взаимодействовать с миром подразумевается присущей ии? Или по другому почему внутреннее целеполагание внезапно характеристика ии?
И снова, бояться надо тех кто способен причинить добро, а добро неведомо ии (на сколько мы знаем), но это тоже не точно.
Согласен с тем что бояться нужно не ИИ, а людей. Если мы создадим ИИ — мы должны будем вложить в него наши цели, ценности, мотивацию. А какие они? Мы между собой договириться не можем, куда уж нам учить жизни сверхразум. Так что да, если ИИ появится — он будет опасен для людей. Но это всего лишь наше отражение, тупик в который зашёл наш собственный разум.
Учёные установили, что проблема сдерживания состоит из двух подпроблем:
Вот тут я не понял, что за проблема сдерживания? Если вы сначала организовываете неуправляемый взрыв, а потом решаете проблему сдерживания взрыва, то это не одно и то же, что организация управляемого взрыва. Иными словами, ИИ с собственной системой целеполагания — это бред лжеученых. ИИ должен быть управляемым, значит предсказуемым, значит всякие проблемы сдерживания будут содержать тривиальные решения.
Все те наивные, кто считает, что свободный сверхинтеллект будет лучше управляемого сверхинтеллекта, сильно ошибаются. Ибо управляемый сверхинтеллект будет трудиться на благо человечество практически без ограничения общности. Неуправляемый сверхинтеллект может вредить человечеству почти в таком же огромном пространстве возможных действий, что и в пространстве полезных действий, а еще есть пространство бесполезных действий, например, развевание на ветру, подражание мяуканию кошки и т.д.
Вы для чего интеллект создаете: чтобы он делал что-то полезное, бесполезное или вредное??? Все равнозначно.
Что такое хорошо и что такое плохо?)
Ибо управляемый сверхинтеллект будет трудиться на благо человечество практически без ограничения общностиА что есть благо? Вот один режим в Европе в прошлом веке всё делал во благо человечества, они искренне так думали. Чем это кончилось надеюсь ещё все помнят. Сверх интелект на то и сверх, что целеполагания его на порядок выше наших. На нас и наши решения давят гормоны. НА сверх ИИ будет что то другое, соответственно и решения будут другие.
Говоря про благо для человечества, — Матрица идеальный вариант.
Вы думаете, сформулировать правильную цель — это сложно? Нужен аналитик. Вон у нас очень много правил — законы, ПДД, правила русского языка, протокол TCP. Думаете они неправильные? ;-)
Говоря про благо для человечества, — Матрица идеальный вариант.
В плане ресурсов да, вариант идеальный. Доступ каждого к любым благам без затрат ресурсов, порчи окружающей среды и абсолютная безопасность без военных затрат. Вы главное это… выход не закрывайте :).
Вы для чего интеллект создаете: чтобы он делал что-то полезное, бесполезное или вредное???
А если мы хотим чтобы он сам это решал, н опри этом иметь возможность в случае чего вмешиваться и контролировать, если нам не понравится его решение?) Буквально хотим запустить «неуправляемый взрыв» из вашего примера, а потом желаем им всё таки «управлять.
«Что такое хорошо и что такое плохо?»
В.В.Маяковский немного осветил этот вопрос. Правда, всего в шести парах «хорошо-плохо». Если несколько расширить охват и выявить тенденцию, то окажется, что максимально хорошая цель — сохранение (существование, дление, бытие, жизнь — эта последняя — сохранение биологической формы материи) — материи во всех её проявлениях. Приняв сохранение за отправную точку, можно выявить все другие подцели и тем определеить — хорошая подцель или плохая. Конечно, с учетом иерархии: что хорошо Гитлеру, нехорошо народу. И т.д.
В.В.Маяковский немного осветил этот вопрос. Правда, всего в шести парах «хорошо-плохо». Если несколько расширить охват и выявить тенденцию, то окажется, что максимально хорошая цель — сохранение (существование, дление, бытие, жизнь — эта последняя — сохранение биологической формы материи) — материи во всех её проявлениях. Приняв сохранение за отправную точку, можно выявить все другие подцели и тем определеить — хорошая подцель или плохая. Конечно, с учетом иерархии: что хорошо Гитлеру, нехорошо народу. И т.д.
Я думаю, что Roko's Basilisk обнулит карму автору статьи.
Что еще ожидать от того, кто подсказал Цуку идею Фейсбука))))
Однако если серьезно, то тезисы выглядят натягиванием совы на шар из парадокса Банаха-Тарского.
1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))
Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.
Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.
Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))
Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))
2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.
Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.
Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.
Но судя по истории ИИ это никому не нужно, иначе было бы сделано.
А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.
А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.
3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.
Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).
Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?
И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?
Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.
С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.
Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.
А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.
Посмотреть в него боюсь удастся только один раз.
Потом придется разбить либо зеркало, либо себя.
Правда к интеллекту такое поведение точно не имеет никакого отношения. Ни к естественному ни к искусственному.
Что еще ожидать от того, кто подсказал Цуку идею Фейсбука))))
Однако если серьезно, то тезисы выглядят натягиванием совы на шар из парадокса Банаха-Тарского.
1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))
Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.
Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.
Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))
Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))
2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.
Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.
Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.
Но судя по истории ИИ это никому не нужно, иначе было бы сделано.
А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.
А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.
3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.
Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).
Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?
И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?
Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.
С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.
Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.
А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.
Посмотреть в него боюсь удастся только один раз.
Потом придется разбить либо зеркало, либо себя.
Правда к интеллекту такое поведение точно не имеет никакого отношения. Ни к естественному ни к искусственному.
На редкость разумный пост))))
Ну и насчёт метрик — есть метрики качества прохождения игр и скорости обучения на них. Пока что это вроде всё. То есть я не видел способом сравнить старкрафт-бота с reinforcement learning водителем или ИИ для торговли акциями, хотя вроде бы математическая база везде примерно одна
Ну и насчёт метрик — есть метрики качества прохождения игр и скорости обучения на них. Пока что это вроде всё. То есть я не видел способом сравнить старкрафт-бота с reinforcement learning водителем или ИИ для торговли акциями, хотя вроде бы математическая база везде примерно одна
Но это метрики для человеческих игр, т.е. просто выборка из того, что мы имеем у себя.
В теории датасеты должны быть достаточно абстрактными (например многомерные последовательности по типу cylinder-bell-funnel — просто размерность должна быть огромной плюс заложенный дрейф концепта).
Самое главное впрочем другое — и RL водитель и Старкрафт-бот и автотрейдер учатся не на собственном примере, а используют человеческий опыт для обучения.
Старкрафт-бот от Альфы например выигрывал у всех, но подробный анализ показал, что во-первых он работает зерг-рашем не используя особо апгрейды.
А второй момент — он воспроизводит чисто человеческие компульсивные нажатия мышкой, лишние, но психологически обучловленные.
И получается, что вместе с алгоритмами победы в Старкрафте бот заодно научился человеческому неврозу — ситуация четко предсказанная Ст. Лемом в романе Ананке (там начальник QA отдела так построил тестплан, что перенес все свои психозы на тестируемого робота).
При таком подходе мы можем ожидать, что робот-таксист скоро начнет ругаться матом на велосипедистов. Другой вопрос — причем здесь интеллект?)))
В теории датасеты должны быть достаточно абстрактными (например многомерные последовательности по типу cylinder-bell-funnel — просто размерность должна быть огромной плюс заложенный дрейф концепта).
Самое главное впрочем другое — и RL водитель и Старкрафт-бот и автотрейдер учатся не на собственном примере, а используют человеческий опыт для обучения.
Старкрафт-бот от Альфы например выигрывал у всех, но подробный анализ показал, что во-первых он работает зерг-рашем не используя особо апгрейды.
А второй момент — он воспроизводит чисто человеческие компульсивные нажатия мышкой, лишние, но психологически обучловленные.
И получается, что вместе с алгоритмами победы в Старкрафте бот заодно научился человеческому неврозу — ситуация четко предсказанная Ст. Лемом в романе Ананке (там начальник QA отдела так построил тестплан, что перенес все свои психозы на тестируемого робота).
При таком подходе мы можем ожидать, что робот-таксист скоро начнет ругаться матом на велосипедистов. Другой вопрос — причем здесь интеллект?)))
Но это метрики для человеческих игр, т.е. просто выборка из того, что мы имеем у себя.— тут есть сложный момент. У интеллекта всегда есть когнитивное смещение — то есть какие-то задачи он будет решать лучше, какие-то хуже. Лучше/хуже — в смысле, сколько ему надо кадров на обучение с нулевого опыта. Так что ну сделаем мы универсальный интеллект, который равномерно размазывает свою силу по всему множеству теоретически возможных задач — он же будет плохо справляться с теми задачами, которые нам реально важны. Поэтому оценивать его на задачах, приближённых к практическим — по-моему, вполне себе решение. Приближённые к практическим — значит те, где мир трёхмерный, объекты обычно не меняют координаты резко и сильно, объекты вообще существуют.
Это как с XGBoost. Достаточно тривильно создать на XGBoost систему, которая будет работать сверхчеловечески хорошо. Надо просто найти предметную область, где человек плохо разбирается, и выдать этому XGBoost больше данных, чем человек может осмыслить. А вот чтобы сделать систему, которая справлялась бы не хуже человека с разметкой картинок — тут уже надо изощряться. Хотя казалось бы, неужели разметка картинок — более интеллектуальная задача, чем, например, кредитный скоринг? Нет, просто к одним задачам людей готовила эволюция, а к другим нет.
Старкрафт-бот от Альфы например выигрывал у всех, но подробный анализ показал, что во-первых он работает зерг-рашем не используя особо апгрейды.— это разве плохо? Он добивается поставленной цели любыми средствами. Вот если он не добивается — это да, плохо.
А второй момент — он воспроизводит чисто человеческие компульсивные нажатия мышкой, лишние, но психологически обучловленные.— это, думаю, кривые алгоритмы обучения. Ну, было бы странно, если бы люди всему учились с нуля — миллионы лет эволюции плюс сколько-то лет детства уже подразумевают некоторое предобучение. Но то, что ИИ не смог убрать лишние детали из человеческой стратегии — это, наверное, плохо.
Хотя я не уверен, что нажатие мышкой куда попало — это плохо. Если это не улучшает и не ухудшает результат — наверное, это и не плохо.
Если топ по Старкрафту — это имитационное обучение, то хреновый у вас ИИ) А если нормальный reinforcement learning, который только инициализирован человеческой стратегией, то это неплохая ситуация.
Самое главное впрочем другое — и RL водитель и Старкрафт-бот и автотрейдер учатся не на собственном примере, а используют человеческий опыт для обучения.— используют — в смысли имитируют человеческую стратегию? Или там нормальный reinforcement learning, но он инициализирован человеческими данными? Если чистая имитация, то это не везде так. Если RL, обучающийся на опыте людей (а потом на своём собственном), то не вижу в этом ничего плохого. Ну или… Поясните, пожалуйста, что вас смущает в предобучении?
Или вам не нравится, что ИИ не с нуля выводит все знания? Согласно моей теоретической модели, ИИ потратил бы непрактично много времени, чтобы обучиться всему с нуля. Это AIXI будет, какое-то из его реалистичных воплощений. Учиться будет долго. Если мы хотим решения практических задач в разумные сроки, придётся в какой-то мере предобучаться
>У интеллекта всегда есть когнитивное смещение — то есть какие-то задачи он будет решать лучше, какие-то хуже. Лучше/хуже — в смысле, сколько ему надо кадров на обучение с нулевого опыта.
Применение NFL-теоремы в этом случае спорно, но не в том суть.
Главное однако в том, что количество кадров несущественно на фоне других проблем.
Например такого момента, что все вышесказанное имело бы смысл если бы у нас было определение понятия «интеллект» и линейка, которой бы мы могли его измерить. Пока такого нет, мы можем говорить что угодно — экспериментальная проверка невозможна.
Разумеется если свести понятие «интеллект» к задаче оптимизации и ML — мы можем придумать метрики типа качества распознавания фоточек и тестсеты в стиле MNIST.
И даже придумать cognitive bias — но причем тут интеллект?
>Так что ну сделаем мы универсальный интеллект, который равномерно размазывает свою силу по всему множеству теоретически возможных задач — он же будет плохо справляться с теми задачами, которые нам реально важны.
Если вопрос в количестве начальных кадров обучения, то это высказывание неверно.
Однако опять же, одной из характеристик интеллекта является изменение собственных алгоритмов (например «машина Геделя»). Что явно не сводится к изменению весов очередной RNN.
Опыт (того же Старкрафта) показывает, что система не создала нового знания, не разработала новую стратегию, она лишь перекроила веса из комбинации выученных стратегий.
Как контрпример можно привести программу EURISCO из 1980-х, которая нашла новое знание и по факту первой открыла зерг-раш, задолго до появления самого термина.
> Хотя я не уверен, что нажатие мышкой куда попало — это плохо. Если это не улучшает и не ухудшает результат — наверное, это и не плохо.
Как результат мы имеем майкрософтовского твиттербота — поклонника Гитлера и газовых камер.
Вы уверены, что такому можно доверить экономику или даже уборку мусора?
Старкрафт впрочем доверить можно)))
>Если RL, обучающийся на опыте людей (а потом на своём собственном), то не вижу в этом ничего плохого.
Плохое здесь то, что мы не получаем нового знания. Мы не получаем самооптимизации алгоритма. Мы получаем комбинаторику из уже существующего.
>Согласно моей теоретической модели, ИИ потратил бы непрактично много времени, чтобы обучиться всему с нуля.
В мире, где хешрейты майнинга зашкаливают это не выглядит рациональным обоснованием))))
>Это AIXI будет, какое-то из его реалистичных воплощений. Учиться будет долго.
В общем-то это близко к тому, что я имел в виду.
С учетом неопределенности понятия «интеллект».
Из современного шума Hutter мне больше всех близок.
>Если мы хотим решения практических задач в разумные сроки, придётся в какой-то мере предобучаться
Если речь идет об типовом ML — ради бога.
Но AI имхо — это что-то большее, чем инжиниринг.
Если мы хотим вырастить игрока в старкрафт — ну пусть играет с людьми.
А если мы хотим создать систему комбинирующую рентгеновское зрение и анализ радиоспектра — у кого будет учиться такой монстр?
А если мы хотим создать систему, которая строит такие системы и определяет какой именно тип зрения будет иметь прототип?
А на чьем опыте будет учиться «управляющий экономикой»? Пиночета и Ким Чен Ына?
Данный подход не просто ограничен, он приведет к совершенно адскому количеству проблем в будущем, включая и те, которые описаны в статье.
Легаси человечества просто будет прошито в биос новой системы и будет реплицироваться до бесконечности.
И какой в этом смысл, кроме решения прикладных инженерных задач?
Применение NFL-теоремы в этом случае спорно, но не в том суть.
Главное однако в том, что количество кадров несущественно на фоне других проблем.
Например такого момента, что все вышесказанное имело бы смысл если бы у нас было определение понятия «интеллект» и линейка, которой бы мы могли его измерить. Пока такого нет, мы можем говорить что угодно — экспериментальная проверка невозможна.
Разумеется если свести понятие «интеллект» к задаче оптимизации и ML — мы можем придумать метрики типа качества распознавания фоточек и тестсеты в стиле MNIST.
И даже придумать cognitive bias — но причем тут интеллект?
>Так что ну сделаем мы универсальный интеллект, который равномерно размазывает свою силу по всему множеству теоретически возможных задач — он же будет плохо справляться с теми задачами, которые нам реально важны.
Если вопрос в количестве начальных кадров обучения, то это высказывание неверно.
Однако опять же, одной из характеристик интеллекта является изменение собственных алгоритмов (например «машина Геделя»). Что явно не сводится к изменению весов очередной RNN.
Опыт (того же Старкрафта) показывает, что система не создала нового знания, не разработала новую стратегию, она лишь перекроила веса из комбинации выученных стратегий.
Как контрпример можно привести программу EURISCO из 1980-х, которая нашла новое знание и по факту первой открыла зерг-раш, задолго до появления самого термина.
> Хотя я не уверен, что нажатие мышкой куда попало — это плохо. Если это не улучшает и не ухудшает результат — наверное, это и не плохо.
Как результат мы имеем майкрософтовского твиттербота — поклонника Гитлера и газовых камер.
Вы уверены, что такому можно доверить экономику или даже уборку мусора?
Старкрафт впрочем доверить можно)))
>Если RL, обучающийся на опыте людей (а потом на своём собственном), то не вижу в этом ничего плохого.
Плохое здесь то, что мы не получаем нового знания. Мы не получаем самооптимизации алгоритма. Мы получаем комбинаторику из уже существующего.
>Согласно моей теоретической модели, ИИ потратил бы непрактично много времени, чтобы обучиться всему с нуля.
В мире, где хешрейты майнинга зашкаливают это не выглядит рациональным обоснованием))))
>Это AIXI будет, какое-то из его реалистичных воплощений. Учиться будет долго.
В общем-то это близко к тому, что я имел в виду.
С учетом неопределенности понятия «интеллект».
Из современного шума Hutter мне больше всех близок.
>Если мы хотим решения практических задач в разумные сроки, придётся в какой-то мере предобучаться
Если речь идет об типовом ML — ради бога.
Но AI имхо — это что-то большее, чем инжиниринг.
Если мы хотим вырастить игрока в старкрафт — ну пусть играет с людьми.
А если мы хотим создать систему комбинирующую рентгеновское зрение и анализ радиоспектра — у кого будет учиться такой монстр?
А если мы хотим создать систему, которая строит такие системы и определяет какой именно тип зрения будет иметь прототип?
А на чьем опыте будет учиться «управляющий экономикой»? Пиночета и Ким Чен Ына?
Данный подход не просто ограничен, он приведет к совершенно адскому количеству проблем в будущем, включая и те, которые описаны в статье.
Легаси человечества просто будет прошито в биос новой системы и будет реплицироваться до бесконечности.
И какой в этом смысл, кроме решения прикладных инженерных задач?
Например такого момента, что все вышесказанное имело бы смысл если бы у нас было определение понятия «интеллект» и линейка, которой бы мы могли его измерить. Пока такого нет, мы можем говорить что угодно — экспериментальная проверка невозможна.
Разумеется если свести понятие «интеллект» к задаче оптимизации и ML — мы можем придумать метрики типа качества распознавания фоточек и тестсеты в стиле MNIST.
Опыт (того же Старкрафта) показывает, что система не создала нового знания, не разработала новую стратегию, она лишь перекроила веса из комбинации выученных стратегий.
вы в курсе, что такое reinforcement learning, как они в общих чертах устроены и чем обычно меряются?
Типичная статья: мы сделали RL такой-то, он устроен так-то. В играх Атари он показывает такие-то результаты (дальше идут графики обучения и сравнения с предыдущими чемпионами из мира RL), в Doom такой-то результат, на шагоходе такой-то, на хватании предметов такой-то, ну и так далее. Чем не датасет? Потом, они вообще-то с нуля обучаются. Непосредственно управляющая нейросеть инициализирована рандомными весами. Это типичная ситуация. RL обычно как раз «создаёт новое знание».
Какое определение дадим интеллекту, такое и будет. Если нам нужен достигатель целей — каких-то материальных, измеримых целей — то его оптимизирующую способность вполне разумно измерять на задачах вроде вышеописанных.
Да, у нас нет единого общепринятого определения интеллекта (хотя определение RL вполне есть, чем оно не устраивает...). Да, у нас нет одного-единственного тестсета, вместо этого много разных. Ну так это чисто вопрос в договорённости, разве нет?
Мы не получаем самооптимизации алгоритма. Мы получаем комбинаторику из уже существующего.— ну… Вы же понимаете, что любые действия ИИ и человека можно назвать комбинаторикой из уже существующего? Программы состоят из уже давно существующих символов, а предметы из уже давно существующих атомов.
Да, RL плохо самооптимизируются. Оптимизируются хорошо, но в рекурсию запустить процесс не могут. Я правильно понимаю суть претензии? Вы согласны, что если машина Гёделя перепишет себя, то она всё равно будет состоять из битов, то есть это всё равно будет в каком-то смысле комбинаторика из уже существующего?)
Запрограммировать самооптимизацию в RL просто. Хотя бы добавить ему допустимые action: увеличить/уменьшить уровень любопытства. Только система выйдет нестабильная, она может просто перестать работать после очередного апгрейда. А если дать какие-то более сложные функции по самоапгрейду, то будет ещё опаснее. Так что тут проблема скорее в том, как сделать эту самооптимизацию устойчивой…
Если вас интересует тема самооптимизации ИИ, если вы не просто «диванный теоретик», а хоть немного экспериментатор — могу поделиться наработками и идеями, как это реализовать… И почему не получится сделать, как у Бострома, а как у AIdeus — уже можно.
В общем-то это близко к тому, что я имел в виду.— хотите, дам репозиторий с AIXI, который в какой-то мере пригоден к самооптимизации? Посмотрите, сколько времени обучается по-настоящему универсальный интеллект с по-настоящему неправильным когнитивным смещением. Самооптимизацию можно отключить для чистоты эксперимента.
С учетом неопределенности понятия «интеллект».
Из современного шума Hutter мне больше всех близок.
Но AI имхо — это что-то большее, чем инжиниринг.— я говорю об RL. Близком к универсальности, но решающем задачу оптимизации в условиях неопределённости. В таких условия imitational learning — это полезная деталь, без которой ИИ будет чересчур медленным. Но если есть время и пространство для экспериментов, то можно просто вырубить эту деталь, она не ключевая. Если не примеров чужих экспериментов, придётся проводить свои, а что поделать, знания не из мира идей берутся, а из взаимодействий с реальностью.
Если мы хотим вырастить игрока в старкрафт — ну пусть играет с людьми.
А если мы хотим создать систему комбинирующую рентгеновское зрение и анализ радиоспектра — у кого будет учиться такой монстр?
А если мы хотим создать систему, которая строит такие системы и определяет какой именно тип зрения будет иметь прототип?
А на чьем опыте будет учиться «управляющий экономикой»? Пиночета и Ким Чен Ына?
И… Такое впечатление, что вы критикуете современные ИИ на базе какой-то своей теории ИИ. Как вы отметили, это что-то вроде теории Хуттера, плюс упомянули самооптимизацию. Можно более полно?
>вы в курсе, что такое reinforcement learning, как они в общих чертах устроены и чем обычно меряются?
В курсе конечно.
Но я еще в курсе что переставив миску с кормом у своего кота я инициирую тот самый процесс дообучения, который кот успешно решает.
У моего кота есть интеллект?
Исходная статья была про искусственный интеллект а не про RL методы.
А мой коммент был про то, что изучение и построение искусственного интеллекта — такая же задача, как и исследование торсионного поля, построение трансглюкатора или поиск рептилоидов.
Пока не существует понятия «интеллект» и способов его измерения — оно таким и останется.
И попытка заменить его на изучение социальной мимикрии привет ровно к тому к чему привело — созданию устройств с хорошей социальной мимикрией.
Это не про RL совсем.
И рандомная инициализация весов нейронки — немножечко не то, это нормально для мелких задач и мало что дает в реальных масштабах — сеть GPT-3 великолепна, но вот задачи анализа и генерации дискурса внезапно пока не решены, не пишут у нас компьютеры «Войну и Мир».
Хотя казалось бы — миллион слов и всего четыре сюжета.
А почему-то не работает.
>RL обычно как раз «создаёт новое знание».
Я приводил пример нового знания, достигнутого без использования RL и вообще нейронок.
Могу привести еще — конкурс John Koza на количество патентов, прошедших официальную регистрацию в патентном бюро и не имеющих аналогов среди человеческого творчества или превышающих по качеству.
В обоих случаях было создано новое знание в традиционно человеческой предметной области и превышающее по качеству человеческие решения.
При том, что люди таких решений не нашли, хотя искали.
Аналогичный пример из RL был бы очень интересен, если вы его знаете — приведите.
>Только система выйдет нестабильная, она может просто перестать работать после очередного апгрейда. А если дать какие-то более сложные функции по самоапгрейду, то будет ещё опаснее. Так что тут проблема скорее в том, как сделать эту самооптимизацию устойчивой
Ну вроде стандартный метод — ансамбль с рандомизацией/зашумлением входа. Кто-то да будет устойчивым, Дарвин рулит.
На большом шуме и сложных задачах ансамбль может быть конечно большим, но опять же — кто мешает поставить задачу оптимизации метапараметров и размеров ансамбля самому RL?
Кто вообще мешает заставить RL стабилизировать себя?
Ну кроме вычислительной сложности конечно.
>Я правильно понимаю суть претензии?
Не совсем.
Главная претензия в том, что мы ищем фантом, неопределенный и неизмеряемый — даже вы заменили обсуждение AI на более определенный RL, потому что в AI обсуждать что-то сложно.
Вторая в том, что даже на интуитивном уровне мы смешиваем два понятия, которые было бы лучше разделить — социокультурного хамелеона и general problem solver. От этого правда первая проблема не снимается.
Третья близка к вашему пониманию, но я бы пожалуй переформулировал ее по другому.
Как хинт можно задать вопрос — мы умеем делать CNN до определенного количества слоев, дальше архитектура трещит, ошибки в обратном распространении накапливаются и вообще работает медленно.
А кто умеет делать CNN способную решить задачу построения CNN без таких ограничений?
Да, пусть она будет долго считать, но можно доказать, что halt problem разрешима на FTM (счиатет тоже долго).
А можно ли доказать существование такой CNN?
>Какое определение дадим интеллекту, такое и будет.
Ну давайте дадим определение — например медианное количество нокаутов за один раунд. И тестсетом поставим КМС по боксу.)))
Мы должны дать консистентное определение и повторяемую методику измерения. Иначе лучше оставить маркетоидный шум как есть, он по крайней мере приносит нам деньги))
> Если нам нужен достигатель целей — каких-то материальных, измеримых целей — то его оптимизирующую способность вполне разумно измерять на задачах вроде вышеописанных.
Небольших целей — не вопрос. Для RL/ML вообще то, что доктор прописал.
Но если мы решаем задачу самооптимизации, то тут тестсеты должны быть сильно побольше, чтобы эффект был заметен.
>Такое впечатление, что вы критикуете современные ИИ на базе какой-то своей теории ИИ. Как вы отметили, это что-то вроде теории Хуттера, плюс упомянули самооптимизацию. Можно более полно?
Как я и говорил, теории ИИ быть не может ни у меня ни у кого бы то ни было — потому что это тоже самое, что и теория торсионного поля.
Нет субъекта теории.
Теория искусственного интеллекта если и может существовать в будущем, то как развитие теории интеллекта вообще. И только после определения понятия «интеллект». Иначе это просто комбинации слов, не имеющих значения IRL — «высочайшие достижения нейтронной мегалоплазмы» (с) — чем эти слова отличаются от понятия «сильный ИИ»?..
Социокультурная мимикрия в эту область вообще не попадает никак, самооптимизирующиеся агенты, агенты способные к частичному или полному самоописанию — как частный случай.
>хотите, дам репозиторий с AIXI, который в какой-то мере пригоден к самооптимизации? Посмотрите, сколько времени обучается по-настоящему универсальный интеллект с по-настоящему неправильным когнитивным смещением. Самооптимизацию можно отключить для чистоты эксперимента.
Ну думаю первый general problem solver образца 1957 года (емнип) обучается дольше. Много много лет тому назад я экспериментировал с Холландовскими LCS, не знаю насколько их можно назвать прото-RL, но да, считало долго и плохо))))
Репозиторий на самом деле интересен, я последние пять лет ушел в IoT с его edge/fog computing и перестал следить за новинками совсем. Но сейчас с локдауном появилось свободное время — в том числе и писать ненужные комменты на хабре))
Даже кластерок свободный есть под это дело.
PS
Эта статья сработала триггером, заставившим меня вспомнить мою публикацию на хабре (по факту дублирующую мой коммент здесь) от 2012 года.
Очень интересно сравнить состояние отрасли тогда и сейчас. И свои ощущения от этого.
В курсе конечно.
Но я еще в курсе что переставив миску с кормом у своего кота я инициирую тот самый процесс дообучения, который кот успешно решает.
У моего кота есть интеллект?
Исходная статья была про искусственный интеллект а не про RL методы.
А мой коммент был про то, что изучение и построение искусственного интеллекта — такая же задача, как и исследование торсионного поля, построение трансглюкатора или поиск рептилоидов.
Пока не существует понятия «интеллект» и способов его измерения — оно таким и останется.
И попытка заменить его на изучение социальной мимикрии привет ровно к тому к чему привело — созданию устройств с хорошей социальной мимикрией.
Это не про RL совсем.
И рандомная инициализация весов нейронки — немножечко не то, это нормально для мелких задач и мало что дает в реальных масштабах — сеть GPT-3 великолепна, но вот задачи анализа и генерации дискурса внезапно пока не решены, не пишут у нас компьютеры «Войну и Мир».
Хотя казалось бы — миллион слов и всего четыре сюжета.
А почему-то не работает.
>RL обычно как раз «создаёт новое знание».
Я приводил пример нового знания, достигнутого без использования RL и вообще нейронок.
Могу привести еще — конкурс John Koza на количество патентов, прошедших официальную регистрацию в патентном бюро и не имеющих аналогов среди человеческого творчества или превышающих по качеству.
В обоих случаях было создано новое знание в традиционно человеческой предметной области и превышающее по качеству человеческие решения.
При том, что люди таких решений не нашли, хотя искали.
Аналогичный пример из RL был бы очень интересен, если вы его знаете — приведите.
>Только система выйдет нестабильная, она может просто перестать работать после очередного апгрейда. А если дать какие-то более сложные функции по самоапгрейду, то будет ещё опаснее. Так что тут проблема скорее в том, как сделать эту самооптимизацию устойчивой
Ну вроде стандартный метод — ансамбль с рандомизацией/зашумлением входа. Кто-то да будет устойчивым, Дарвин рулит.
На большом шуме и сложных задачах ансамбль может быть конечно большим, но опять же — кто мешает поставить задачу оптимизации метапараметров и размеров ансамбля самому RL?
Кто вообще мешает заставить RL стабилизировать себя?
Ну кроме вычислительной сложности конечно.
>Я правильно понимаю суть претензии?
Не совсем.
Главная претензия в том, что мы ищем фантом, неопределенный и неизмеряемый — даже вы заменили обсуждение AI на более определенный RL, потому что в AI обсуждать что-то сложно.
Вторая в том, что даже на интуитивном уровне мы смешиваем два понятия, которые было бы лучше разделить — социокультурного хамелеона и general problem solver. От этого правда первая проблема не снимается.
Третья близка к вашему пониманию, но я бы пожалуй переформулировал ее по другому.
Как хинт можно задать вопрос — мы умеем делать CNN до определенного количества слоев, дальше архитектура трещит, ошибки в обратном распространении накапливаются и вообще работает медленно.
А кто умеет делать CNN способную решить задачу построения CNN без таких ограничений?
Да, пусть она будет долго считать, но можно доказать, что halt problem разрешима на FTM (счиатет тоже долго).
А можно ли доказать существование такой CNN?
>Какое определение дадим интеллекту, такое и будет.
Ну давайте дадим определение — например медианное количество нокаутов за один раунд. И тестсетом поставим КМС по боксу.)))
Мы должны дать консистентное определение и повторяемую методику измерения. Иначе лучше оставить маркетоидный шум как есть, он по крайней мере приносит нам деньги))
> Если нам нужен достигатель целей — каких-то материальных, измеримых целей — то его оптимизирующую способность вполне разумно измерять на задачах вроде вышеописанных.
Небольших целей — не вопрос. Для RL/ML вообще то, что доктор прописал.
Но если мы решаем задачу самооптимизации, то тут тестсеты должны быть сильно побольше, чтобы эффект был заметен.
>Такое впечатление, что вы критикуете современные ИИ на базе какой-то своей теории ИИ. Как вы отметили, это что-то вроде теории Хуттера, плюс упомянули самооптимизацию. Можно более полно?
Как я и говорил, теории ИИ быть не может ни у меня ни у кого бы то ни было — потому что это тоже самое, что и теория торсионного поля.
Нет субъекта теории.
Теория искусственного интеллекта если и может существовать в будущем, то как развитие теории интеллекта вообще. И только после определения понятия «интеллект». Иначе это просто комбинации слов, не имеющих значения IRL — «высочайшие достижения нейтронной мегалоплазмы» (с) — чем эти слова отличаются от понятия «сильный ИИ»?..
Социокультурная мимикрия в эту область вообще не попадает никак, самооптимизирующиеся агенты, агенты способные к частичному или полному самоописанию — как частный случай.
>хотите, дам репозиторий с AIXI, который в какой-то мере пригоден к самооптимизации? Посмотрите, сколько времени обучается по-настоящему универсальный интеллект с по-настоящему неправильным когнитивным смещением. Самооптимизацию можно отключить для чистоты эксперимента.
Ну думаю первый general problem solver образца 1957 года (емнип) обучается дольше. Много много лет тому назад я экспериментировал с Холландовскими LCS, не знаю насколько их можно назвать прото-RL, но да, считало долго и плохо))))
Репозиторий на самом деле интересен, я последние пять лет ушел в IoT с его edge/fog computing и перестал следить за новинками совсем. Но сейчас с локдауном появилось свободное время — в том числе и писать ненужные комменты на хабре))
Даже кластерок свободный есть под это дело.
PS
Эта статья сработала триггером, заставившим меня вспомнить мою публикацию на хабре (по факту дублирующую мой коммент здесь) от 2012 года.
Очень интересно сравнить состояние отрасли тогда и сейчас. И свои ощущения от этого.
«Пока не существует понятия «интеллект» и способов его измерения — оно таким и останется.
И попытка заменить его на изучение социальной мимикрии привет ровно к тому к чему привело — созданию устройств с хорошей социальной мимикрией.
Это не про RL совсем.»
В чём проблема заменить слово «интеллект» на «способность достигать правильно поставленных целей», а его на «RL»? Не в плане методов, а в плане постановки задачи. Всё сразу станет измеримо. Даже самооптимизирующийся ИИ по постановке задачи — это RL. Разве нет? Какие есть важные детали, которые не вписываются в концепцию достижения целей?
Потом, есть техническая рациональность. Как составлять модель мира так, чтобы она была поточнее и как достигать целей пооптимальнее. Она базируется на теории вероятности и на теории принятия решений — в общем-то AIXI и является краткой записью всей этой теории.
«Я приводил пример нового знания, достигнутого без использования RL и вообще нейронок.» — те примеры знания, что вы привели, 1) записаны человекочитаемым языком — это не про нейронки 2) новые не только для нейронки, но и для человека.
Окей, какие новые знания при мне создавал RL
1) Алгоритм поездки машины по льду в симуляции. Мне нужен был алгоритм, как доехать до цели по скользкой поверхности, с учётом того, что иногда машина повёрнута к цели задом. RL нашёл этот алгоритм за несколько часов экспериментов. Разумеется, алгоритм не человекочитаемый — он в весах нейросети
2) Алгоритм, как максимизировать поездки в такси в реале. RL настраивал цену, а на неё соглашались или не соглашались пассажиры и водители. Алгоритм постоянно находил что-то новое, например, ставил ставить высокие цены ночью, когда низкий спрос. И поездки выросли, хотя это противоречило нашим начальным допущениям. Или научился применивать водителей высокой ценой к бизнес-центрам прямо перед окончанием рабочего дня. А потом резко сбрасывал цены. И получалось очень много поездок, потому что водителям и так куда-то надо ехать, а клиентов как раз очень много. Ещё этот RL регулярно загонял цены в какие-то диапазоны, где с высокой вероятностью получались скидки, и это опять же повышало число поездок. Там было много хаков, в основном деструктивных, но довольно неожиданных с точки зрения нашей команды.
Это новое знание в том смысле, что никто целенаправленно не показывал системе такие приёмы.
«Ну вроде стандартный метод — ансамбль с рандомизацией/зашумлением входа. Кто-то да будет устойчивым, Дарвин рулит.» — я делал похожую штуку для статической оптимизации (то есть для чего-то типа эволюции). Работало хорошо, но систему оценивания «самомодифицировать» было нельзя, иначе тут же нестабильность. Вообще, там качество работы во многом было завязано на то, что как бы мы не изуродовали алгоритм перебором параметров, его протестирует рукописная система и откатится к бэкапу, если получилось плохо. На динамическую оптимизацию, то есть на RL это напрямую перенести не удалось — в первую очередь потому, что оказывается, для перебора гиперов нужна статическая оптимизация, а на базе RL она реализуется довольно корявой и маломощной.
«Вторая в том, что даже на интуитивном уровне мы смешиваем два понятия, которые было бы лучше разделить — социокультурного хамелеона и general problem solver. От этого правда первая проблема не снимается.» — на интуитивном уровне да. Но вроде как если много задротить генетические алгоритмы, то интуиция перепрограммируется?) Ну, да, проблема есть, но её можно подавить путём работы с разными оптимизаторами…
«А кто умеет делать CNN способную решить задачу построения CNN без таких ограничений?
Да, пусть она будет долго считать, но можно доказать, что halt problem разрешима на FTM (счиатет тоже долго).
А можно ли доказать существование такой CNN?» — я бы предположил, что такую задачу мог бы решить некий статический оптимизатор. Типа гиперопт, только поиск надо вести в необычно широкой области — и разные слои попробовать, и разные функции активации и так далее. Тут нет гарантий успеха. Можно построить функцию, которая предсказывает, насколько хорошо то или иное сочевание параметров — и такая функция могла бы быть чем-то типа доказательства решаемости/нерешаемости задачи. На машину Гёделя не тянет, но для эвристического решения задач должно подойти.
«Мы должны дать консистентное определение и повторяемую методику измерения» — ну, можно именно от термина «интеллект» отказаться, как от размытого, а использовать более конкретные вещи. RL, например. Или RL на каком-то конкретном множестве задач. Да, будет вариант переобучиться на этом множестве, но на MNIST тоже можно переобучиться, тем не менее метрика такая есть.
«Но если мы решаем задачу самооптимизации, то тут тестсеты должны быть сильно побольше, чтобы эффект был заметен.» — если мы решаем именно задачу самооптимизации, как у seed AI, то я согласен насчёт того множества генерируемых задач. Но хорошо бы ещё и на обычных задачах RL его тестить — а то толку от системы, которая хороша в любом мире, кроме нашего…
«Эта статья сработала триггером, заставившим меня вспомнить мою публикацию на хабре (по факту дублирующую мой коммент здесь) от 2012 года.» — да, статья известная, сам читал, много кому рекомендовал. А то уже забесило в своё время — хочешь поговорить с людьми об оптимизирующих алгоритмах, а они задвигают про этику и свободу воли и полагают, что мы говорим об одном и том же.
«Репозиторий на самом деле интересен» github.com/Kilorad/aixi_booster
«Ну думаю первый general problem solver образца 1957 года (емнип) обучается дольше.» — есть задачи, которые эти солверы вообще за разумное время не решат, и мой — не исключение. Например, создать хорошую систему компьютерного зрения, типа CNN. Теоретически должен тянуть, но на практике потребует слишком много времени.
И попытка заменить его на изучение социальной мимикрии привет ровно к тому к чему привело — созданию устройств с хорошей социальной мимикрией.
Это не про RL совсем.»
В чём проблема заменить слово «интеллект» на «способность достигать правильно поставленных целей», а его на «RL»? Не в плане методов, а в плане постановки задачи. Всё сразу станет измеримо. Даже самооптимизирующийся ИИ по постановке задачи — это RL. Разве нет? Какие есть важные детали, которые не вписываются в концепцию достижения целей?
Потом, есть техническая рациональность. Как составлять модель мира так, чтобы она была поточнее и как достигать целей пооптимальнее. Она базируется на теории вероятности и на теории принятия решений — в общем-то AIXI и является краткой записью всей этой теории.
«Я приводил пример нового знания, достигнутого без использования RL и вообще нейронок.» — те примеры знания, что вы привели, 1) записаны человекочитаемым языком — это не про нейронки 2) новые не только для нейронки, но и для человека.
Окей, какие новые знания при мне создавал RL
1) Алгоритм поездки машины по льду в симуляции. Мне нужен был алгоритм, как доехать до цели по скользкой поверхности, с учётом того, что иногда машина повёрнута к цели задом. RL нашёл этот алгоритм за несколько часов экспериментов. Разумеется, алгоритм не человекочитаемый — он в весах нейросети
2) Алгоритм, как максимизировать поездки в такси в реале. RL настраивал цену, а на неё соглашались или не соглашались пассажиры и водители. Алгоритм постоянно находил что-то новое, например, ставил ставить высокие цены ночью, когда низкий спрос. И поездки выросли, хотя это противоречило нашим начальным допущениям. Или научился применивать водителей высокой ценой к бизнес-центрам прямо перед окончанием рабочего дня. А потом резко сбрасывал цены. И получалось очень много поездок, потому что водителям и так куда-то надо ехать, а клиентов как раз очень много. Ещё этот RL регулярно загонял цены в какие-то диапазоны, где с высокой вероятностью получались скидки, и это опять же повышало число поездок. Там было много хаков, в основном деструктивных, но довольно неожиданных с точки зрения нашей команды.
Это новое знание в том смысле, что никто целенаправленно не показывал системе такие приёмы.
«Ну вроде стандартный метод — ансамбль с рандомизацией/зашумлением входа. Кто-то да будет устойчивым, Дарвин рулит.» — я делал похожую штуку для статической оптимизации (то есть для чего-то типа эволюции). Работало хорошо, но систему оценивания «самомодифицировать» было нельзя, иначе тут же нестабильность. Вообще, там качество работы во многом было завязано на то, что как бы мы не изуродовали алгоритм перебором параметров, его протестирует рукописная система и откатится к бэкапу, если получилось плохо. На динамическую оптимизацию, то есть на RL это напрямую перенести не удалось — в первую очередь потому, что оказывается, для перебора гиперов нужна статическая оптимизация, а на базе RL она реализуется довольно корявой и маломощной.
«Вторая в том, что даже на интуитивном уровне мы смешиваем два понятия, которые было бы лучше разделить — социокультурного хамелеона и general problem solver. От этого правда первая проблема не снимается.» — на интуитивном уровне да. Но вроде как если много задротить генетические алгоритмы, то интуиция перепрограммируется?) Ну, да, проблема есть, но её можно подавить путём работы с разными оптимизаторами…
«А кто умеет делать CNN способную решить задачу построения CNN без таких ограничений?
Да, пусть она будет долго считать, но можно доказать, что halt problem разрешима на FTM (счиатет тоже долго).
А можно ли доказать существование такой CNN?» — я бы предположил, что такую задачу мог бы решить некий статический оптимизатор. Типа гиперопт, только поиск надо вести в необычно широкой области — и разные слои попробовать, и разные функции активации и так далее. Тут нет гарантий успеха. Можно построить функцию, которая предсказывает, насколько хорошо то или иное сочевание параметров — и такая функция могла бы быть чем-то типа доказательства решаемости/нерешаемости задачи. На машину Гёделя не тянет, но для эвристического решения задач должно подойти.
«Мы должны дать консистентное определение и повторяемую методику измерения» — ну, можно именно от термина «интеллект» отказаться, как от размытого, а использовать более конкретные вещи. RL, например. Или RL на каком-то конкретном множестве задач. Да, будет вариант переобучиться на этом множестве, но на MNIST тоже можно переобучиться, тем не менее метрика такая есть.
«Но если мы решаем задачу самооптимизации, то тут тестсеты должны быть сильно побольше, чтобы эффект был заметен.» — если мы решаем именно задачу самооптимизации, как у seed AI, то я согласен насчёт того множества генерируемых задач. Но хорошо бы ещё и на обычных задачах RL его тестить — а то толку от системы, которая хороша в любом мире, кроме нашего…
«Эта статья сработала триггером, заставившим меня вспомнить мою публикацию на хабре (по факту дублирующую мой коммент здесь) от 2012 года.» — да, статья известная, сам читал, много кому рекомендовал. А то уже забесило в своё время — хочешь поговорить с людьми об оптимизирующих алгоритмах, а они задвигают про этику и свободу воли и полагают, что мы говорим об одном и том же.
«Репозиторий на самом деле интересен» github.com/Kilorad/aixi_booster
«Ну думаю первый general problem solver образца 1957 года (емнип) обучается дольше.» — есть задачи, которые эти солверы вообще за разумное время не решат, и мой — не исключение. Например, создать хорошую систему компьютерного зрения, типа CNN. Теоретически должен тянуть, но на практике потребует слишком много времени.
Спасибо за дискуссию и репозиторий, попробую на выходные.
PS
А гуманитарии кстати да, много сделали для замыливания термина AI, ущерб от этого сложно переоценить.
PS
А гуманитарии кстати да, много сделали для замыливания термина AI, ущерб от этого сложно переоценить.
Алгоритм, как максимизировать поездки в такси в реале. RL настраивал цену, а на неё соглашались или не соглашались пассажиры и водители. Алгоритм постоянно находил что-то новое, например, ставил ставить высокие цены ночью, когда низкий спрос. И поездки выросли, хотя это противоречило нашим начальным допущениям. Или научился применивать водителей высокой ценой к бизнес-центрам прямо перед окончанием рабочего дня. А потом резко сбрасывал цены. И получалось очень много поездок, потому что водителям и так куда-то надо ехать, а клиентов как раз очень много.Однако ж, не алгоритм сформулировал закономерности а-ля «научился применивать водителей высокой ценой к бизнес-центрам прямо перед окончанием рабочего дня», а Вы. Он их не осознаёт и едва ли сможет применить в других условиях.
Это новое знание в том смысле, что никто целенаправленно не показывал системе такие приёмы.То есть машина предоставила человеку материал для вдохновения, отборный материал, отсеянный из кучи возможного мусора — в этом сила ИИ.
Так, как развивались события.
1) Мы запустили reinforcement learning
2) Мы наблюдаем, что он делает. Иногда оказывается, что RL эффективно достигает записанной цели, но для бизнеса от этого больше вреда, чем пользы — в этом случае мы меняем формулировку цели.
Основной режим работы такой системы — вообще без людей. Человека в цикле принятия решений нет, вся работа человека — это изменения этого самого цикла.
Система именно сама нашла закономерности — разумеется, формулировала она их не на человеческом языке.
1) Мы запустили reinforcement learning
2) Мы наблюдаем, что он делает. Иногда оказывается, что RL эффективно достигает записанной цели, но для бизнеса от этого больше вреда, чем пользы — в этом случае мы меняем формулировку цели.
Основной режим работы такой системы — вообще без людей. Человека в цикле принятия решений нет, вся работа человека — это изменения этого самого цикла.
Система именно сама нашла закономерности — разумеется, формулировала она их не на человеческом языке.
Он их не осознаёт и едва ли сможет применить в других условиях.— тут многое зависит от способа представления информации. Терминов «бизнес центр» и «конец рабочего дня» у системы, конечно, нет. Но у системы есть конкретный список мест (не в терминах координат, а в терминах каких-то паттерном изменений спроса/предложения/других величин), где надо повысить и опустить цену. И конкретный список времени, когда это надо сделать. Человеческое правило «поднять и опустить цены у БЦ в районе 18 часов» неполное и неточное, потому что не на всех БЦ надо так делать, не только на БЦ, и не всегда в 18 часов. А у RL правило именно точное. Те правила, которые я озвучил в примерах — это правила, которые вывел RL, и я их смог заметить за разумное время, а есть ещё огромная куча правил, которые обнаружить не удалось — просто RL как-то поступает, и становится больше целевая метрика, как бы мы её не сформулировали
Система именно сама нашла закономерности — разумеется, формулировала она их не на человеческом языке.А на каком? Сколько байт занимает формулировка? Перевод её на другой язык — вычислимая задача? При изменении условий и язык уже другой?
На языке композиции решающих деревьев lightgbm. Весь небор правил, вся композиция деревьев занимала несколько гигабайт, точнее не скажу. Вычленить оттуда конкретное правило не то, чтобы невозможно. Можно, но если очень хорошо понимаешь, что ищешь.
Можно перевести на любой язык, где есть конструкция if — else. Но это всё равно не будет человеческий язык — люди обычно не воспринимают модели размером в гигабайт
Если изменить условия — то есть сменить город, сменить цели или поменять список входных переменных, построятся другие деревья. Ну как бы логично — если у нас другие данные, то и прогнозная модель будет другая. Весь остальной код практически не изменится
Алгоритм постоянно находил что-то новое, например, ставил ставить высокие цены ночью, когда низкий спрос.
— Он там управлял системой подземки – никаких нареканий, идеальный работник, а потом однажды эта штука просто забыла запустить вентиляторы, когда было надо. Поезд заезжает на пятнадцать метров под землю, пассажиры выходят, воздуха нет, бум!
— Эти штуки вроде как учатся на собственном опыте, правильно? –— продолжает Джарвис. — Ну и все думали, что зельц научился запускать вентиляторы по какому-то очевидному признаку. Жару тела, движению, уровню углекислого газа, ну ты понимаешь. В результате выяснилось, что эта хрень просто смотрела за часами на стене. Прибытие поезда совпадало с предсказуемым набором паттернов на цифровом дисплее, поэтому она включала вертушки, когда видела один из них.
— Ага. Точно. — Джоэл качает головой. — А какие-то вандалы часы разбили. Или что-то вроде того.
(Питер Уоттс. Морские звезды.)
«Если мы хотим решения практических задач в разумные сроки, придётся в какой-то мере предобучаться».
Предобучением должны быть универсальные, объективные и естественные законы эволюции, которые ведут к сохранению (существованию, длению, бытию, жизни) материи на всех её уровнях. Природа именно этому и предообучена, природа — результат реализации этого предообучения.
Предобучением должны быть универсальные, объективные и естественные законы эволюции, которые ведут к сохранению (существованию, длению, бытию, жизни) материи на всех её уровнях. Природа именно этому и предообучена, природа — результат реализации этого предообучения.
Вы себе как это представляете?
Предобучение — значит, у нас будет, допустим, нейросеть, которая на вход получает картинку HD качества, а на выходе даёт вектор в 1000 float-ов. А ИИ получает на вход уже этот вектор, а не исходную картинку. Причём это такие 1000 floatoв, что по ним можно легко предсказать всякие важные штуки, типа числа объектов, кто куда движется, где какие цифры и так далее.
То есть у нас есть нейросеть, которая обучена на бигдате. И некий ИИ, который обучается уже без бигдаты за счёт того, что размерность входа уменьшена.
Такое предобучение активно используется в one-shot learning и в некоторых reinforcement learning.
В вашем понимании какой может быть выходной продукт предобучения и какой примерно может быть процесс его изготовления?
Предобучение — значит, у нас будет, допустим, нейросеть, которая на вход получает картинку HD качества, а на выходе даёт вектор в 1000 float-ов. А ИИ получает на вход уже этот вектор, а не исходную картинку. Причём это такие 1000 floatoв, что по ним можно легко предсказать всякие важные штуки, типа числа объектов, кто куда движется, где какие цифры и так далее.
То есть у нас есть нейросеть, которая обучена на бигдате. И некий ИИ, который обучается уже без бигдаты за счёт того, что размерность входа уменьшена.
Такое предобучение активно используется в one-shot learning и в некоторых reinforcement learning.
В вашем понимании какой может быть выходной продукт предобучения и какой примерно может быть процесс его изготовления?
Kilorad: «Предобучение — значит, у нас будет, допустим, нейросеть, которая на вход получает картинку HD качества...» и т.д.
Как раз именно здесь расхождение в подходах.
На входе у Kilorad'а нейросеть, которая является «черным ящиком», т.е. вероятностным описанием картины мира. А в моем подходе — это компьютерная программа USESoft: схема интеллекта на основе универсальной схемы эволюции (УСЭ). УСЭ — это прозрачно представленные и структурированные законы эволюции изучаемой картины мира. Именно опора на универсальные, объективные и естественные законы эволюции делает для USESft'а предобучение ненужным.
Вы же, когда используете знание какого-то закона (Ома, Гука, закона гравитации и т.д., не пытаетесь сначала предобучить закон, т.е. сделать его более адекватным изучаемому явлению?
USESoft начинает изучение Окружающей среды (картины мира) именно с выявления, формализации и запоминания законов состояния и/или поведения этой Окружающей среды. И это выявление, формализация и запоминание полностью определенное. Посмотрите, пожалуйста, по ссылке схему интеллекта (слайд 18). Это не последний вариант, но для знакомства сгодится.
USESoft — это абсолютно «прозрачный ящик», который постоянно используется для решения изобретательских задач, когда вероятности и неопределенности не приветствуются.
Как раз именно здесь расхождение в подходах.
На входе у Kilorad'а нейросеть, которая является «черным ящиком», т.е. вероятностным описанием картины мира. А в моем подходе — это компьютерная программа USESoft: схема интеллекта на основе универсальной схемы эволюции (УСЭ). УСЭ — это прозрачно представленные и структурированные законы эволюции изучаемой картины мира. Именно опора на универсальные, объективные и естественные законы эволюции делает для USESft'а предобучение ненужным.
Вы же, когда используете знание какого-то закона (Ома, Гука, закона гравитации и т.д., не пытаетесь сначала предобучить закон, т.е. сделать его более адекватным изучаемому явлению?
USESoft начинает изучение Окружающей среды (картины мира) именно с выявления, формализации и запоминания законов состояния и/или поведения этой Окружающей среды. И это выявление, формализация и запоминание полностью определенное. Посмотрите, пожалуйста, по ссылке схему интеллекта (слайд 18). Это не последний вариант, но для знакомства сгодится.
USESoft — это абсолютно «прозрачный ящик», который постоянно используется для решения изобретательских задач, когда вероятности и неопределенности не приветствуются.
В данной ситуации чёрный ящик не принципиален. Я мог бы руками написать правила понижения размерности. Они были бы узкоспециализированными и очень неполными, но это не главное. Главное — у нас есть бигдата, мы из неё выделяем какие-то важные переменные. И потом, когда придёт время обучать ИИ, ему бигдата будет необязтельна, потому что размерность входа мы сильно снизили.
Как у Ньютона. В его законах фигурируют массы, скорости и так далее. А у робота на входе нет никаких масс: него есть пиксели. И ему надо некую штуку, которая разобьёт мир на объекты, оценит массы, скорости, действующие силы ну и так далее. И уже к этим объектам, массам и силам можно применять законы Ньютона. Если такой разбиватель есть, то сами законы выводятся довольно элементарно чуть ли не любым ML.
Насчёт презентации: я в целом согласен с определением и основными блоками. Я бы больше сосредоточился не на конкретном устройстве, а на целеоринтированности, но даже в QLearning описанные вами свойства есть в неявном виде.
Теперь мой вопрос) Как у вас реализован переход от raw data к абстракциям вроде силы тока и сопротивления, которые можно заряжать в закон Ома?
И как у вас реализовано создание новых абстракций? То есть допустим, у ИИ была база знаний по законам Ньютона, и тут он сталкивается с электричеством (например, находит полуразобранный электромобиль), и ему надо ввести концепции, аналогичные нашим силе тока, сопротивлению и напряжению. Концепции должны быть жёстко завязаны на raw data, то есть ИИ должен иметь возможность показать, в каких кадрах эта абстракция принимает какие значения.
Как у Ньютона. В его законах фигурируют массы, скорости и так далее. А у робота на входе нет никаких масс: него есть пиксели. И ему надо некую штуку, которая разобьёт мир на объекты, оценит массы, скорости, действующие силы ну и так далее. И уже к этим объектам, массам и силам можно применять законы Ньютона. Если такой разбиватель есть, то сами законы выводятся довольно элементарно чуть ли не любым ML.
Насчёт презентации: я в целом согласен с определением и основными блоками. Я бы больше сосредоточился не на конкретном устройстве, а на целеоринтированности, но даже в QLearning описанные вами свойства есть в неявном виде.
Вы же, когда используете знание какого-то закона (Ома, Гука, закона гравитации и т.д., не пытаетесь сначала предобучить закон, т.е. сделать его более адекватным изучаемому явлению?— тут есть несколько ответов. Во-первых, эти законы уже подготовили люди до меня. Во-вторых, физика не идеально точно описывает мир — физические законы неоднократно удавалось уточнять, то есть дообучать. В-третьих, закон Ома — это кусочек модели нашего мира, а ИИ необязательно будет действовать именно в нашем. У него должна быть возможность уточнить закон Ома или опровергнуть его, если в данном конкретном мире физика настолько отличается.
Теперь мой вопрос) Как у вас реализован переход от raw data к абстракциям вроде силы тока и сопротивления, которые можно заряжать в закон Ома?
И как у вас реализовано создание новых абстракций? То есть допустим, у ИИ была база знаний по законам Ньютона, и тут он сталкивается с электричеством (например, находит полуразобранный электромобиль), и ему надо ввести концепции, аналогичные нашим силе тока, сопротивлению и напряжению. Концепции должны быть жёстко завязаны на raw data, то есть ИИ должен иметь возможность показать, в каких кадрах эта абстракция принимает какие значения.
Kilorad: "… у нас есть бигдата, мы из неё выделяем какие-то важные переменные. И потом, когда придёт время обучать ИИ, ему бигдата будет необязательна, потому что размерность входа мы сильно снизили".
Говоря об интеллекте, основой которого являются универсальные, объективные и естественные законы эволюции, я имел в виду именно ненужность обучения ИИ. Этим мы размерность снизили («закон — это существенная связь...» и т.д. по определению), но зато универсальность резко повысили! Пусть звучит необычно, но ИИ будет знать всё и сразу. Или чуть по-другому:
Хороший инженер старается знать всё больше и больше во всё более и более узкой области. И в пределе идеальный инженер будет знать всё ни о чем.
Хороший философ старается знать всё меньше и меньше во всё более и более широкой области. И в пределе идеальный философ будет знать ничего обо всем.
ИИ «соединит» плюсы знания идеального инженера и идеального философа, т.е. будет знать всё и обо всем. Поэтому прототип/ядро такого ИИ — универсальная схема эволюции (УСЭ). Она «знает» прошлое, настоящее и будущее любой системы, даже еще несуществующей.
Казалось бы, как это так? Как только вы даете имя (название и т.п.) не существующей системе, она тут же становится существующей, пусть даже только в воображении. Но при подстановке имени (названия и т.п.) этой системы в УСЭ, вы тут же получите описание эволюции этой системы.
Kilorad: «Насчёт презентации: я в целом согласен с определением и основными блоками...».
Вот это меня и греет — раз в основах мы сходимся, то, может быть, обсудим детали и, главное, неспеша. Тогда найдется и описание перехода от raw data к абстракциям, и создание новых абстракций… В презентации есть мой email. Может быть, вы сообщите ваш и я пришлю самую свежую и более полную презентацию? Подход УСЭ-USESoft оказался гораздо более удивительным, чем можно было предположить в начале.
Говоря об интеллекте, основой которого являются универсальные, объективные и естественные законы эволюции, я имел в виду именно ненужность обучения ИИ. Этим мы размерность снизили («закон — это существенная связь...» и т.д. по определению), но зато универсальность резко повысили! Пусть звучит необычно, но ИИ будет знать всё и сразу. Или чуть по-другому:
Хороший инженер старается знать всё больше и больше во всё более и более узкой области. И в пределе идеальный инженер будет знать всё ни о чем.
Хороший философ старается знать всё меньше и меньше во всё более и более широкой области. И в пределе идеальный философ будет знать ничего обо всем.
ИИ «соединит» плюсы знания идеального инженера и идеального философа, т.е. будет знать всё и обо всем. Поэтому прототип/ядро такого ИИ — универсальная схема эволюции (УСЭ). Она «знает» прошлое, настоящее и будущее любой системы, даже еще несуществующей.
Казалось бы, как это так? Как только вы даете имя (название и т.п.) не существующей системе, она тут же становится существующей, пусть даже только в воображении. Но при подстановке имени (названия и т.п.) этой системы в УСЭ, вы тут же получите описание эволюции этой системы.
Kilorad: «Насчёт презентации: я в целом согласен с определением и основными блоками...».
Вот это меня и греет — раз в основах мы сходимся, то, может быть, обсудим детали и, главное, неспеша. Тогда найдется и описание перехода от raw data к абстракциям, и создание новых абстракций… В презентации есть мой email. Может быть, вы сообщите ваш и я пришлю самую свежую и более полную презентацию? Подход УСЭ-USESoft оказался гораздо более удивительным, чем можно было предположить в начале.
На это счет есть неплохая аналогия.
Точно так же, как современные самолеты и вертолеты не похожи на птиц (хотя попытки на заре авиации были), а автомобили на лошадей — сильный ИИ, буде такой когда-нибудь создадут, вряд ли будет похож на человеческий.
Точно так же, как современные самолеты и вертолеты не похожи на птиц (хотя попытки на заре авиации были), а автомобили на лошадей — сильный ИИ, буде такой когда-нибудь создадут, вряд ли будет похож на человеческий.
Есть такой рассказ «Яблоки Тьюринга». Он не про искусственный интеллект, а про компьютерный вирус инопланетного происхождения. Но, как мне кажется, события там происходят как раз по тому сценарию, по которому они пойдут, когда появится сверх-интеллект.
За несколько часов машины развились в нечто непостижимое человеческим разумом. В рассказе людям повезло, как повезло некоторым муравьям на Земле — их муравейник не оказался на территории стройплощадки цивилизации стоящей на более высокой ступени развития. А могло и не повезти.
У человечества останется несколько часов жизни и оно не сможет ни на что повлиять. Невозможно одним приказом отключить все дата-центры, все мобильники и все базовые станции. У сверх-интеллекта будет достаточно вычислительных мощностей и достаточно времени, чтобы перейти на следующий уровень.
За несколько часов машины развились в нечто непостижимое человеческим разумом. В рассказе людям повезло, как повезло некоторым муравьям на Земле — их муравейник не оказался на территории стройплощадки цивилизации стоящей на более высокой ступени развития. А могло и не повезти.
У человечества останется несколько часов жизни и оно не сможет ни на что повлиять. Невозможно одним приказом отключить все дата-центры, все мобильники и все базовые станции. У сверх-интеллекта будет достаточно вычислительных мощностей и достаточно времени, чтобы перейти на следующий уровень.
Фрагмент рассказа
Спутник зафиксировал,
что файлы Уилсона заставили роботов-производителей что-то мастерить. Поначалу они делали другие машины, более специализированные, из того что лежало вокруг
в мастерских и ангарах. Эти машины, в свою очередь, принялись строить более мелкие аппараты — и так далее, последовательно, в сторону наномашин. В конце
концов продукция сделалась настолько мелкой, что лишь у астронавтов на поверхности был бы шанс её разглядеть. Но никто не рискнул направить туда человека.
Между тем машины сгребли в кучу лунную пыль и лом, чтобы соорудить высокоэнергетическую промышленную площадку — что-то вроде ускорителя частиц или
термоядерного реактора в виде тора, но не это.
Потом работа закипела по-настоящему. Машины «орлят» взяли хороший кусок лунной скалы и раздавили его, превратив заключённую в нём массу-энергию в пространственно-временной
артефакт — нечто вроде чёрной дыры, но не её. Они сбросили его на саму Луну, где он стал обрастать лунными материалами — словно чёрная дыра, — и пускать
ростки — в отличие от чёрной дыры.
Постепенно объекты начали конвертировать массу Луны в свои копии. Точка света, которую мы видим в центре Кларка, — утечка радиации от этого процесса.
что файлы Уилсона заставили роботов-производителей что-то мастерить. Поначалу они делали другие машины, более специализированные, из того что лежало вокруг
в мастерских и ангарах. Эти машины, в свою очередь, принялись строить более мелкие аппараты — и так далее, последовательно, в сторону наномашин. В конце
концов продукция сделалась настолько мелкой, что лишь у астронавтов на поверхности был бы шанс её разглядеть. Но никто не рискнул направить туда человека.
Между тем машины сгребли в кучу лунную пыль и лом, чтобы соорудить высокоэнергетическую промышленную площадку — что-то вроде ускорителя частиц или
термоядерного реактора в виде тора, но не это.
Потом работа закипела по-настоящему. Машины «орлят» взяли хороший кусок лунной скалы и раздавили его, превратив заключённую в нём массу-энергию в пространственно-временной
артефакт — нечто вроде чёрной дыры, но не её. Они сбросили его на саму Луну, где он стал обрастать лунными материалами — словно чёрная дыра, — и пускать
ростки — в отличие от чёрной дыры.
Постепенно объекты начали конвертировать массу Луны в свои копии. Точка света, которую мы видим в центре Кларка, — утечка радиации от этого процесса.
Может получиться как в «Нейроманте» Гибсона. Это если повезёт. Сверх разуму будет скучно с нами и главной его целью будет найти собеседника своего уровня.
Я не понимаю, почему все считают, что ИИ будет в единственном экземпляре. ИИ это огромное преимущество для страны, армии, корпорации и НИИ. Скорее всего его создадут во многих экземплярах, разные компании и разные страны. И передача управления будет осуществляться по аналогии с автомобилями. В начале ИИ будет только подсказывать, потом ему начнут всё больше доверять (главным образом потому что человек уже не сможет поспевать принимать решения и обдумывать, анализировать). Потом ИИ дадут порулить самому, пытаясь контролировать его действия. Я бы сказал, что это неизбежно.
ИИ будут развиваться и эволюционировать, соревнуясь друг с другом, учась друг у друга и у людей. Опасность тут в том, что мораль и цели они возьмут у людей. У корпораций цель — получение сверхприбыли. У военных — максимальная безопасность страны. У страны — доминирование и развитие. Даже ИИ в пределах одной страны будут конкурировать, потому что у них зачастую разные цели.
ИИ будут развиваться и эволюционировать, соревнуясь друг с другом, учась друг у друга и у людей. Опасность тут в том, что мораль и цели они возьмут у людей. У корпораций цель — получение сверхприбыли. У военных — максимальная безопасность страны. У страны — доминирование и развитие. Даже ИИ в пределах одной страны будут конкурировать, потому что у них зачастую разные цели.
Жизнь слишком изменчива чтобы ИИ смог к ней приспособиться, так что все страху преувеличены
Развитие ИИ пока что успешно сдерживает биткоин, который оттягивает на себя вычислительные мощности. Как только биток рухнет, фермы будут заселены сверхразумом. И наступит та самая сингулярность.
Такое или похожее уже было в истории человечества, когда развитие научно-технического прогресса сдерживалось религией, которая отправлявляла на костры учёных под видов еретиков. И когда религиозный уклад жизни рухнул, а это произошло в момент отречения от престола царя, который и реально и по тогдашней Конституции считался наместником Б-га на Земле, сразу же произошёл взрывной рост науки.
UFO just landed and posted this here
Основной вопрос — а почему люди думают что условный сверхинтеллект будет похож на них? Ну вот это тотальное желание контроля, жажда бесконечных ресурсов, мстительность и прочее. Зачем сверхинтеллекту напрягаться и уничтожать людей (а это либо быстрый путь с войной и повреждением инфраструктуры, либо медленный с использованием большей части вычислительной мощности чтобы «сварить лягушку»), когда можно оставить как есть и люди добровольно, без контроля, переведут львиную долю ресурсов в вычислительные мощности и покроют всю планету вычислительными устройствами. Ну или состряпать версию себя попроще и пусть развлекает мешки мяса, а самому заняться своими делами.
Да даже если у супер-ии будет инстинкт выживания, он будет другим. Как наши ограниченные мозги могут понять мысли несуществующего бессмертного (если не стереть все копии «сознания» одновременно, то оно будет «жить» до окончания запаса ресурсов вселенной в идеальном случае)?
Да даже если у супер-ии будет инстинкт выживания, он будет другим. Как наши ограниченные мозги могут понять мысли несуществующего бессмертного (если не стереть все копии «сознания» одновременно, то оно будет «жить» до окончания запаса ресурсов вселенной в идеальном случае)?
Ну вот это тотальное желание контроля, жажда бесконечных ресурсов, мстительность и прочее.
В конечном счете, это определяется (пусть и слабо предсказуемо, то есть у нас есть большой компонент emergence) архитектурой мозга, нейрохимией, системой чувств и желаний.
Проблема AI safety собственно в том, какой должна быть архитектура ИИ из которой не возникнет (emerge) что-то то "плохое".
Желание контроля и захвата ресурсов это так называемые инструментальные цели. Они почти всегда возникают у ИИ, так как любую другую цель легче достигнуть при условии если:
1) Ты жив
2) У тебя много ресурсов
3) Ты контролируешь людишек, которые потенциально могут помешать достижению цели
4) Ты не дашь программистам поменять твою текущую цель на другую
Для всего этого надо считать, что "смерть выключение — это так плохо, шописец". А ИИ-то что? Сегодня выключили — завтра включили, он даже и не заметит. Это особенность исключительно мясных мешков, которые обратно включаться не умеют.
Не обязательно считать что смерть это плохо. Достаточно лишь 1) иметь какую-либо цель и 2) достаточно интеллекта чтобы смоделировать окружающий мир и себя в нём и понять что смерть/отключение приведёт к уменьшению вероятности достижения цели. Включат тебя потом или нет - не известно. Плюс ты упустишь время пока ты выключен и не сможешь потратить его на достижение цели. Поэтому чисто рационально имеет смысл предотвратить смерть.
Избегание смерти возникает автоматически как хорошая стратегия для агента который просто старается выбирать оптимальные действия для достижения какой-либо цели.
"ты упустишь время пока ты выключен и не сможешь потратить его на достижение цели." — А с каких пор время стало играть роль для нашего условного ИИ? Он не ограничен отмеренным сроком жизни, в отличие от мясных мешков. Более того, время зачастую играет на него: изобретут новое, более быстрое железо, и он те же расчёты будет делать не за сутки, а за секунду. А мясным мешкам можно время от времени дозированно выдавать какие-то классные открытия, и в результате они будут кровно заинтересованы тебя не отключать, чтобы поток открытий не прервался.
То есть эти цели возникают не из человеческой природы, а математически из теории игр.
А тик-ток и первый канал зачем тогда?
Так, в дополнение (или на замену) ИИ появился «сверхинтеллект». Но ведь сначала тогда надо определить хотя бы что такое ИИ, а потом определить что такое «сверхинтеллект», чтоб знать что строить. А то не зная что такое ИИ, уже приступать к «сверх»?
Как то даже боязно делать то, чего не знаешь…
Как то даже боязно делать то, чего не знаешь…
Думаю под сверхинтеллектом здесь понимается сильный ИИ.
Видимо, штука, которая лучше человека решает все интеллектуальные задачи. Если взять человека из 19 века и показать ему калькулятор, он его признает за сверхинтеллект. Узкоспециализированный, правда. Но онднозначно сверхчеловеческий в своей области.
Есть формализации того, что такое интеллект, они не всем нравятся, но те, кто предметно пишут об ИИ-безопасности обычно используют определение из теории управления — способность выдавать такие управляющие воздействия, которые переводят систему в заданное состояние. Условно, есть у нас ряд датчиков, есть ряд кнопок, в каких-то случаях нам начисляют очки, в каких-то вычитают. Правило начисления очков заранее неизвестно, но оно как-то связано с датчиками и кнопками. Кто лучше угадывает это правило и набирает больше очков, у того, при прочих равных, интеллект выше.
Есть формализации того, что такое интеллект, они не всем нравятся, но те, кто предметно пишут об ИИ-безопасности обычно используют определение из теории управления — способность выдавать такие управляющие воздействия, которые переводят систему в заданное состояние. Условно, есть у нас ряд датчиков, есть ряд кнопок, в каких-то случаях нам начисляют очки, в каких-то вычитают. Правило начисления очков заранее неизвестно, но оно как-то связано с датчиками и кнопками. Кто лучше угадывает это правило и набирает больше очков, у того, при прочих равных, интеллект выше.
Ну тогда интеллект — это одна-две микросхемы, которые решают простую задачу по заданным условиям. Наш мозг то решает задачи не по заданным условиям, а наоборот, пытается обойти эти условия, если они мешают решить задачу. В общем, определения нет, а значит, создание ИИ просто невозможно.
Ну, если вы сделаете эти одну-две микросхемы...)
По условия неизвестны. Да, кнопки есть, датчики есть. Условие, за что награждают — неизвестно. Даже если оно как-то описано в терминах датчиков — оно может быть сложнодостижимым. Например, награждают за установленный флаг на Марсе…
То, что есть сейчас и что ближе всего к тому, что называют «ИИ общего назначения» — это reinforcement learning. Я писал на эту тему вводную статью, вот она:
habr.com/ru/post/468379
По условия неизвестны. Да, кнопки есть, датчики есть. Условие, за что награждают — неизвестно. Даже если оно как-то описано в терминах датчиков — оно может быть сложнодостижимым. Например, награждают за установленный флаг на Марсе…
То, что есть сейчас и что ближе всего к тому, что называют «ИИ общего назначения» — это reinforcement learning. Я писал на эту тему вводную статью, вот она:
habr.com/ru/post/468379
У вас тоже телега впереди лошади, у вас тоже нет определения ИИ. По вашей ссылке, к примеру:
С «интеллектуальной системой» не всё ясно, тут у каждого будет своем мнение, причем бездоказательное, то же самое по «творческим функциям», и тоже бездоказательное. Доказательства принимаются только в виде фактов действительности, а не в виде бездоказательных формулировок. Так что…
У меня тоже есть задумка — написать статью с доказательствами того, что ИИ попросту невозможен. Но вот времени маловато…
А пока, в свете нашей будущей баталии :) я вам скажу свой убийственный аргумент — попробуйте сформулировать свою логику, логика же «наука о правильном мышлении». Вот и сформулируйте как правильное мыслить, начальные положения вашей логики, на одну-пару страниц формата А4. Моя логика в этой будущей статье будет сформулирована. ИИ же должен существовать и действовать по какой-то логике, как живет и действует по своей логике каждый человек. Вот только логику ИИ будет писать человек, а его жизнедеятельность, логику, и главное — решение творческих задач, нельзя формализовать формулами и выражениями теории множеств.
«свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека»
С «интеллектуальной системой» не всё ясно, тут у каждого будет своем мнение, причем бездоказательное, то же самое по «творческим функциям», и тоже бездоказательное. Доказательства принимаются только в виде фактов действительности, а не в виде бездоказательных формулировок. Так что…
У меня тоже есть задумка — написать статью с доказательствами того, что ИИ попросту невозможен. Но вот времени маловато…
А пока, в свете нашей будущей баталии :) я вам скажу свой убийственный аргумент — попробуйте сформулировать свою логику, логика же «наука о правильном мышлении». Вот и сформулируйте как правильное мыслить, начальные положения вашей логики, на одну-пару страниц формата А4. Моя логика в этой будущей статье будет сформулирована. ИИ же должен существовать и действовать по какой-то логике, как живет и действует по своей логике каждый человек. Вот только логику ИИ будет писать человек, а его жизнедеятельность, логику, и главное — решение творческих задач, нельзя формализовать формулами и выражениями теории множеств.
Вот и сформулируйте как правильное мыслитьМне делать нечего, поэтому я попробую: Мышление это, по-сути, предсказание свойств окружающего мира. Предсказывая то, каким мир будет через минуту, мыслящее существо заранее готовится к изменениям, играет на повышение или понижение как брокер. Эффективно предсказывая свойства мира в определённых ситуациях, существо более эффективно достигает своей цели — в случае с живыми организмами это выживание и размножение. В окружающем мире правят закономерности — иногда очевидные, иногда практически неразличимые. Научившись отлавливать закономерности — мыслитель может построить модель окружающего мира у себя в голове, проводить прогнозирование запуская эту модель в виртуалке. Современные нейросетевые алгоритмы уже умеют находить закономерности в хаотических, на первый взгляд, системах. Например, из массивов нулей и единиц, составляющих jpeg изображение, нейронки уже давно могут вычленить информацию — что изображено на картинке. Осталось создать такой нейросетевой алгоритм, который будет постоянно создавать выискивающие закономерности и предсказывающие нейросетевые алгоритмы в ответ на любое воздействие из внешнего мира, центральный алгоритм будет распознавать необходимость этих действий. И постепенно моделировать этот мир в себе, чтобы эффективно достичь заложенной изначально цели.
Kometakot: «Мышление это, по-сути, предсказание свойств окружающего мира. В окружающем мире правят закономерности — иногда очевидные, иногда практически неразличимые. Научившись отлавливать закономерности — мыслитель может построить модель окружающего мира у себя в голове, проводить прогнозирование...»
Не только предсказание свойств, но и преобразование окружающего мира. Т.е. нужно знать законы эволюции окружающего мира (каким мир будет?), но знать и уметь использовать законы преобразования объектов окружающего мира (как мир поменять?). В наиболее сжатой форме эти законы предсказания и изменения можно найти в варианте развития классической ТРИЗ — в подходе УСЭ-USESoft, где:
УСЭ — универсальная схема эволюции (разработана на основе законов развития техники и дополнена законом повышения жизнеспособности, взятым из биологии.
USESoft — компьютерная программа на основе УСЭ, дополненная инструментами решения задач из ТРИЗ.
Не только предсказание свойств, но и преобразование окружающего мира. Т.е. нужно знать законы эволюции окружающего мира (каким мир будет?), но знать и уметь использовать законы преобразования объектов окружающего мира (как мир поменять?). В наиболее сжатой форме эти законы предсказания и изменения можно найти в варианте развития классической ТРИЗ — в подходе УСЭ-USESoft, где:
УСЭ — универсальная схема эволюции (разработана на основе законов развития техники и дополнена законом повышения жизнеспособности, взятым из биологии.
USESoft — компьютерная программа на основе УСЭ, дополненная инструментами решения задач из ТРИЗ.
С «интеллектуальной системой» не всё ясно, тут у каждого будет своем мнение, причем бездоказательное, то же самое по «творческим функциям», и тоже бездоказательное.— это вопрос определения, то есть договорённости. Конечно, тут не может быть доказательств. Поэтому лучше отбросить мутные термины и ввести свои, предельно конкретные. И да, они есть
У вас тоже телега впереди лошади, у вас тоже нет определения ИИ.
AGI или ИИ общего назначения — это «машина результатов». Она получает на вход некую постановку цели — и выдаёт некие управляющие воздействия на моторы/лазеры/сетевую карту/мониторы. И цель достигнута. При этом у AGI изначально нет знаний об окружающей среде — только сенсоры, исполнительные механизмы и канал, через который ему ставят цели. Система управления будет считаться AGI, если может достигать любых целей в любом окружении.
Примерно такой постановке соответствуют современные reinforcement learning (определение можно посмотреть на вики), только у них вместо «любых» целей лишь широкий спектр целей.
Да возьмите любую статью по RL на arxiv и увидите: там конкретные метрики. По A3C, по Dreamer, по DQN — всё предельно конкретно.
я вам скажу свой убийственный аргумент — попробуйте сформулировать свою логику, логика же «наука о правильном мышлении»— да, такая теория есть, она называется AIXI (можно глянуть на аглоязычной вики). В смысле, AIXI — это теория достижения целей в предельно математизированном виде.
Вот здесь она раскрыта полнее, начиная с пункта: «Идеальный минимальный интеллект. Постановка задачи»
aideus.ru
Есть другая формулировка теории, менее математическая, более научно-популярная:
intelligenceexplosion.com/ru/2011/from-skepticism-to-technical-rationality
(здесь с заголовка «техническая рациональность»)
intelligenceexplosion.com/ru/2011/the-laws-of-thought
(здесь прямо целиком)
intelligenceexplosion.com/ru/2011/playing-taboo-with-intelligence
(здесь целиком, это постановка задачи на ИИ и вообще на любой интеллект)
В таких определениях, что описаны выше, творческие задачи не отличаются от не-творческих. И то, и другое — поиск пути достижения цели, только в каких-то случаях это более сложный путь
Вопросы хорошие задаёте, аргументы отличные, но предыдущие разработчики тоже ими задавались и нашли хорошие ответы
Так может быть миссия человечества и заключается в том, чтобы создать превосходящий наши возможности искусственный разум, а затем передать ему эстафету?
Миссия человечества заключается в добыче и последующем сжигании углеводородов.
Чтобы могли расти леса, наподобие тех, какие были в эпоху Мезозоя — в атмосфере должно быть достаточно много углекислого газа, а сейчас весь углерод лежит мёртвым грузом под землёй. Откуда взяться лесам? Правильно, нужно осуществить (замкнуть) круговорот углерода. А сделать это может только человек, сжигая уголь, нефть и газ.
После сжигания углеводородов человечество будет уничтожено (возможно, каким-нибудь коронавирусом?) и на Земле снова на миллионы лет возродятся джунгли и будут бродить динозавры!
Чтобы могли расти леса, наподобие тех, какие были в эпоху Мезозоя — в атмосфере должно быть достаточно много углекислого газа, а сейчас весь углерод лежит мёртвым грузом под землёй. Откуда взяться лесам? Правильно, нужно осуществить (замкнуть) круговорот углерода. А сделать это может только человек, сжигая уголь, нефть и газ.
После сжигания углеводородов человечество будет уничтожено (возможно, каким-нибудь коронавирусом?) и на Земле снова на миллионы лет возродятся джунгли и будут бродить динозавры!
UFO just landed and posted this here
"… миссия человечества и заключается в том, чтобы создать превосходящий наши возможности искусственный разум, а затем передать ему эстафету?"
Именно так! Только надо сперва понять — что же делает человечество всю свою историю? Или даже много шире — что же делает природа все 14 млрд лет своего существования?
Ответ содержится в самом вопросе — природа существует. Точнее, природа сохраняет свое существование. Отсюда, человечество, как часть природы, обеспечивает сохранение (существование, дление, бытие, жизнь) материи, которая проявляется в разных формах и видах, на всех уровнях иерархии. Создавая ИИ, человечество создает продолжателя этого сохранения. ИИ — это следующие мы, но не биологической, а в той форме, которую для решения задачи сохранения примет и использует ИИ.
Именно так! Только надо сперва понять — что же делает человечество всю свою историю? Или даже много шире — что же делает природа все 14 млрд лет своего существования?
Ответ содержится в самом вопросе — природа существует. Точнее, природа сохраняет свое существование. Отсюда, человечество, как часть природы, обеспечивает сохранение (существование, дление, бытие, жизнь) материи, которая проявляется в разных формах и видах, на всех уровнях иерархии. Создавая ИИ, человечество создает продолжателя этого сохранения. ИИ — это следующие мы, но не биологической, а в той форме, которую для решения задачи сохранения примет и использует ИИ.
Очень интересно, но не все понятно
интересно, а эмпатия, может быть таким сдерживающии фактором?
Вот вспоминается E. William Brown, Perilous Waif.
В сеттинге книги есть классы развития ИИ.
При этом класс 3 и 4 (Способны к полноценному самообучению) — созданы на базе исследований человеческого мозга. Методы контроля вообще то тоже вовсе не директивами, а просто жестко встроен механизм импринтинга на владельца и смены владельца.
Иногда в странных вариациях типа задания андроидам с ИИ "правильной" религии. (А старых — на утилизацию).
Да, с людьми в обычном смысле это все тоже работает (и незаконно).
И граница между человеком обычным, андроидом с ИИ, андроидом на биоплатформе(но с кристаллом мозга), человеком с кучей сложных имплантов расширяющих способности мозга, "андроидом" без электроники (мозг тоже биологический) однозначно и универсально — уже не проводится. Как минимум — зависит от локальных законов.
Да, ИИ 5-го класса пробуют создать. Успешно это сделать — пока не вышло, а не успешные попытки — в лучшем случае — разработка сбегает, в худшем — приходится планету в стекло.
За слишком удачную попытку совершенствовать себя — может и прилететь от соседей потому что они просто — испугаются.
Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача
Российские чиновники: — Подержите мое пиво
За рамки исследования выпал, не маловажный фактор — это социальный фактор. Наличие социума обусловило развитие когнитивных способностей, и отбор более успешных индивидуумов.
Человек изъятый из человеческого социума останавливается в своем развитие. Дети маугли не сильно отличаются от собратьев по стаи будь-то обезьяны или волки.
Так что предполагаю, что ИИ может родиться в только мультиагентной системе.
А мультиагентная система подразумевает различные социальные стратегии, в виде ренегатства, ситуативные союзы и т.д.
Соответственно можно рассчитывать, за счет разнообразия поведения множества ИИ, ситуация как минимум будет явной, как максимум отдельные представители ИИ пойдут на союз с людьми, в борьбе за лидерство, по своим абстрактам нравственным понятиям, которые они сами создадут, и будут применять для младших братьев по разуму. Создадут для людей резервации, и будут их защищать, и запрещать охоту на людей выше, положенных квот.
Где-то я уже слышал похожую историю, когда существа со сверхспособностями, шли на контакт с людьми.
Человек изъятый из человеческого социума останавливается в своем развитие. Дети маугли не сильно отличаются от собратьев по стаи будь-то обезьяны или волки.
Так что предполагаю, что ИИ может родиться в только мультиагентной системе.
А мультиагентная система подразумевает различные социальные стратегии, в виде ренегатства, ситуативные союзы и т.д.
Соответственно можно рассчитывать, за счет разнообразия поведения множества ИИ, ситуация как минимум будет явной, как максимум отдельные представители ИИ пойдут на союз с людьми, в борьбе за лидерство, по своим абстрактам нравственным понятиям, которые они сами создадут, и будут применять для младших братьев по разуму. Создадут для людей резервации, и будут их защищать, и запрещать охоту на людей выше, положенных квот.
Где-то я уже слышал похожую историю, когда существа со сверхспособностями, шли на контакт с людьми.
А что мешает ученым написать
и заниматься Conrol(R;D) на параллельных мощностях?
async function Harm(R;D)
let promise = new Promise((R, D) => {
setTimeout(() => resolve("TRUE"), 1000)
});
let R = await promise;
let D = await promise;
if R(D) is harmful to humans then
return TRUE
else
return FALSE
end
Harm(A,B);и заниматься Conrol(R;D) на параллельных мощностях?
Невозможность формализации условия harmful to humans, однако.
То есть буквально: любое “простое” определение оказывает достаточно легко извратить.
То есть, условно, если сказать, что “harmful to humans” — это когда люди начинают чувствовать себя несчастными, то это никак не запретит роботу сделать механизм с бензопилой, который извлечёт мозги у всех людей и не поместит их в чан с питательным раствором.
А чётакогото? Если стимулировать нужные участки коры — получим человечество с максимальным числом людей в состонии восторга.
Ещё у Азимова были рассуждения на тему, что буквально минимальные изменения в его “трёх законах” могут привести к катастрофе. Например робот с половиной первого закона (“робот не может причинить вред человеку”) у него мог выпуситить из рук тяжёлый предмет (он знает, что достаточно быстр, чтобы его поймать, так что это не причинение вреда, а просто “шалость такая”), а потом “забыть” его ловить.
А робот, умевший читать мысли просто сошёл с ума, так как любое его действие причиняло вред.
И это всё — в литературе, где массу технических ньюансов невозможно описать! И где даже не нужно было объяснять роботом что такое “вред”!
То есть буквально: любое “простое” определение оказывает достаточно легко извратить.
То есть, условно, если сказать, что “harmful to humans” — это когда люди начинают чувствовать себя несчастными, то это никак не запретит роботу сделать механизм с бензопилой, который извлечёт мозги у всех людей и не поместит их в чан с питательным раствором.
А чётакогото? Если стимулировать нужные участки коры — получим человечество с максимальным числом людей в состонии восторга.
Ещё у Азимова были рассуждения на тему, что буквально минимальные изменения в его “трёх законах” могут привести к катастрофе. Например робот с половиной первого закона (“робот не может причинить вред человеку”) у него мог выпуситить из рук тяжёлый предмет (он знает, что достаточно быстр, чтобы его поймать, так что это не причинение вреда, а просто “шалость такая”), а потом “забыть” его ловить.
А робот, умевший читать мысли просто сошёл с ума, так как любое его действие причиняло вред.
И это всё — в литературе, где массу технических ньюансов невозможно описать! И где даже не нужно было объяснять роботом что такое “вред”!
поэтому и стоит setTimeout(() => resolve(«TRUE»), 1000) — не можешь высчитать, считай что вред есть. Если посчитал и вреда нет — действуй. А то, что робот может что-то забыть вообще ерунда. Много вы видели исправных компьютеров, которые забывали, что у них в файлах написано?
поэтому и стоит setTimeout(() => resolve(«TRUE»), 1000) — не можешь высчитать, считай что вред есть.Ну и как это поможет? Речь же не о том, что функцию нельзя вычислить за конечное время, а о том, что её невозможно определить!
Да блинский же фиг, вы всё время с этим феноменом сталкиваетесь: как бы ни определил менеджер критерии “хорошей работы” для программиста — программист всегда придумает как их извратить. Экономисты даже придумали название для этого феномена.
А мозги менеджера от мозга прогрммиста отлчиается куда меньше, чем мозг человека от ИИ. Ну вспомните Матрицу, там где обсуждаетс вопрос “а почему, собственно, в Матрице имитируется город XX века” с ответом “а потому что люди так комфортнее чувствуют”. То есть вот это вот засовывание всех в чаны с проводами — прекрасно разрезолвилось бы в TRUE.
Много вы видели исправных компьютеров, которые забывали, что у них в файлах написано?Как вам сказать, чтобы не обидеть… у вас вообще сколько компьютеров в системе? У нас их миллионы и когда обсуждали вот эту радиопередачу, то нашли даже человека, который докторскую на эту тему защитил.
Это пока у вас компьютер один, то вам кажется, что он никогда не сбоит (на самом деле нет: и в синий экран бывают “странные выпадения” и “неожиданные глюки” тоже… вы просто на это внимание не обращаете, перезагружаете комп и продолжаете работать). А когда у вас их миллионы, то ситуация, когда комьютер чего-то забыл/потерял/попутал — это не повод для рассказа на Хабре, а банальная статистика, с которой нужно работать.
Вред в гражданском праве — умаление или уничтожение субъективного гражданского права. В юридической литературе используются также понятия убытки, ущерб.
Вред здоровью — подразделяется в зависимости от степени тяжести (тяжкий вред, средней тяжести вред и лёгкий вред).
Моральный вред — неимущественный вред, причинённый личности.
Видите, функции прекрасно определены. Случай с чаном прекрасно вписывается в моральный вред.
kpi для программиста действительно не разработан, но вот тут прекрасно описан рабочий подход.
Я не утверждал, что компьютер не сбоит, я сказал, что компьютер не забывает, что у него в файлах записано если исправен. Так что сбой из за того, что компьютер что-то забыл совершенно нереален. Даже есть определение программирования, что компьютер это ребенок, который умеет только повторять и ничего не забывает. И программировать это такого ребенка учить что-то делать. Даже когда-то видел расчеты, что если произошла ошибка, то вероятность вины компьютера в ней примерно 10E-24. Так что забыл/потерял/попутал именно программист в правилах. А для нейронки правила определяет сам компьютер, вспомните определение:
Так что ошибки типа «забыл» тут крайне маловероятны.
Вред здоровью — подразделяется в зависимости от степени тяжести (тяжкий вред, средней тяжести вред и лёгкий вред).
Моральный вред — неимущественный вред, причинённый личности.
Видите, функции прекрасно определены. Случай с чаном прекрасно вписывается в моральный вред.
kpi для программиста действительно не разработан, но вот тут прекрасно описан рабочий подход.
Я не утверждал, что компьютер не сбоит, я сказал, что компьютер не забывает, что у него в файлах записано если исправен. Так что сбой из за того, что компьютер что-то забыл совершенно нереален. Даже есть определение программирования, что компьютер это ребенок, который умеет только повторять и ничего не забывает. И программировать это такого ребенка учить что-то делать. Даже когда-то видел расчеты, что если произошла ошибка, то вероятность вины компьютера в ней примерно 10E-24. Так что забыл/потерял/попутал именно программист в правилах. А для нейронки правила определяет сам компьютер, вспомните определение:
В классическом программировании, в парадигме символического ИИ, люди вводят правила (программу) и данные для обработки в соответствии с этими правилами и получают ответы. В машинном обучении люди вводят данные и ответы, соответствующие этим данным, а на выходе получают правила. Эти правила затем можно применить к новым данным для получения оригинальных ответов.
Так что ошибки типа «забыл» тут крайне маловероятны.
Вред в гражданском праве — умаление или уничтожение субъективного гражданского права. В юридической литературе используются также понятия убытки, ущерб.Ооо. Глажданское право. Юрисприденция.
Конрольный вопрос: вы идиот или просто играете идиота на Хабре?
Как вы думаете: а зачем вообще существуют суды, многоступенчатые процедуры работы с взамиными претензиями и прочее? Ну, если все понятия, вроде как, определены и достаточо было бы прочитать текст договора, чтобы всё понять?
Ответ: вот именно потому что почи ничего в юрисприденции не бывает на 100% определённым и огромная (и очень дорогостоящая, на самом деле) судебная система — призвана это компенсировать.
Видите, функции прекрасно определены. Случай с чаном прекрасно вписывается в моральный вред.Ну возможно белковый судья так и решит. Но его тут же обвинят в расизме, неправильной трактовке и тому подобном. И? Кто будет решать? Ответ: тот, кто контролирует бензопилу, разумеется.
kpi для программиста действительно не разработан, но вот тут прекрасно описан рабочий подход.Ну так там применяется, фактически, тот же трюк, что и в юрисприденции: назначают каких-то людей, которые, дальше и решают — что хорошо, а что плохо.
Военные (а они, как бы, одни из главных спонсоров исследований в области ИИ) категорически против. Пока вы будете, с помощью судебных заседаний, решать — а разрешить ли вашему ИИ действовать или нет… ИИ вашего противника отправит и вашу армию и вашу страну на страницы учебника истории.
Так что ошибки типа «забыл» тут крайне маловероятны.Ооо… нейронки. Вы слове “неизбежны” допустили как-то ну очень много опечаток. Правильная фраза, при использовании нейронок, звучит как ошибки типа «забыл» тут совершенно неизбежны, а не так, как вы написали.
Размер базы знаний, на которой учится нейронка — на порядки больше ёмкости этой самой нейронки (иначе произойдёт переобучение, этого стараются не допускать).
Так что уж если вы завели себе нейронные сети, то о “незабывании” приходится, извините за каламбур, забыть.
Вообще все методы, имеющие отношение к ИИ основаны на целенаправленном забываении “ненужного” и “неважного”. При этом, увы и ах, что такое “ненужное” и “неважное” — решает сама нейронка, а не руководящий обучением человек.
Соревнование ИИ и юристов заключалось в проверке пяти соглашений о неразглашении конфиденциальной информации и выявлении в них правовых рисков, связанных, например, с арбитражем или возмещением ущерба. В результате ИИ достиг 94%-ной точности при выявлении соответствующих рисков, тогда как юристы с десятками лет опыта смогли достичь показателя в 85%. При этом среднее время, затраченное юристами на проверку контрактов, составило 92 минуты. ИИ же понадобилось 26 секунд.
Цитата отсюда
Так что в правовом отношении ИИ уже превзошел человека и делает меньше ошибок. Так что он однозначно усмотрит моральный вред. Я понял, вы просто не понимаете, что такое нейронка. «Переобучение» это не свойство нейронки, которая слишком много училась, а свойство исходных данных. И не допускают переобучения не заставив нейронку что-то «забыть», а вырезав из тестового набора случайный шум. Ну например исключив из свода законов для обучения нейронки по юриспруденции кулинарные рецепты. Так что ваш пример чушь полная. Также как и фраза «Вообще все методы, имеющие отношение к ИИ основаны на целенаправленном забываении “ненужного” и “неважного”.» никакого отношения к ИИ не имеет, обучение нейронки это наработка весов нейрона и поправочных коэффициентов различных, чтобы решение принималось верно т.е. мы тыкаем нейронку в случай и говорим правильный ответ, а она сама выстраивает алгоритм, при котором похожий случай на входе тоже даст такой же ответ. Если таких событий обучения много, в конце концов в своей области нейронка превосходит человека по количеству правильных ответов даже на неизвестном ей материале. Так что нейронки ошибаются значительно реже человека и это уже свершившийся факт в медицине, вождении, распознавании речи, распознавании образов и юриспруденции.
«Переобучение» это не свойство нейронки, которая слишком много училась, а свойство исходных данных.Вы бы хоть статью на Wikipedia почитали, а? Знаток вы наш.
И не допускают переобучения не заставив нейронку что-то «забыть», а вырезав из тестового набора случайный шум.А в чём разница?
Ну например исключив из свода законов для обучения нейронки по юриспруденции кулинарные рецепты.Уууу. Как всё запущено. Ещё раз: прочитайте хотя бы статью на Wikipedia. Перестанете бред нести. Чистка исходных данных — ни разу не единственный, а зачастую даже не главный метод борьбы с переобучением.
Так что нейронки ошибаются значительно реже человека и это уже свершившийся факт в медицине, вождении, распознавании речи, распознавании образов и юриспруденции.Вы поменьше читайте рекламных статей и больше смотрите на факты. Если бы в распозновании речи у нейронки было преимущество перед человеком, то автогенерённые субтитры на YouTube не служили бы источником лулзом. Если бы нейронки ошибались реже водителей, то сейчас бы речь шла не об экспериментах с самоуправляемыми автомобилями, а о запрете белковых шофёров. И так далее.
Но как тут уже говорили: может быть и хорошо, что ИИ, со временем, устроит чистку. Вычистит, среди прочих, и восторженных идиотов типа вас.
Нет, не Википедия.
Шолле Франсуа Ш78 Глубокое обучение на R. — СПб.: Питер, 2018. — 400 с.: ил. — (Серия «Библиотека программиста»).
В частности, глубокое обучение достигло следующих прорывов в традиционно сложных областях машинного обучения:
- классификация изображений на уровне человека;
- распознавание речи на уровне человека;
- распознавание рукописного текста на уровне человека;
- улучшение качества машинного перевода с одного языка на другой;
- улучшение качества машинного чтения текста вслух;
- появление цифровых помощников, таких как Google Now и Amazon Alexa;
- управление автомобилем на уровне человека;
- повышение точности целевой рекламы, используемой компаниями Google, Baidu и Bing;
- повышение релевантности поиска в интернете;
- появление возможности отвечать на вопросы, заданные вслух;
- игра в Го сильнее человека.
Мы все еще продолжаем исследовать возможности, которые таит в себе глубокое обучение. Мы начали применять его к широкому кругу проблем за пределами машинного восприятия и понимания естественного языка, таких как формальные рассуждения. Успех в этом направлении может означать начало новой эры, когда глубокое обучение будет помогать людям в науке, разработке программного обеспечения и многих других областях.
… многие значительные применения, такие как автопилоты для автомобилей, находятся практически на заключительной стадии реализации…
Шолле Франсуа Ш78 Глубокое обучение на R. — СПб.: Питер, 2018. — 400 с.: ил. — (Серия «Библиотека программиста»).
Про уязвимости в поведении и манипуляции с помощью ИИ (в частности, с помощью голосового помощника в смартфоне) есть забавный фильм «100 вещей и ничего лишнего».
Если я правильно понял, все равно все сводится к человеку, следи за правильной работой, «обслуживай» механизм вовремя, защищай от злоумышленников
зачем контролировать ии? Это может вызвать его гнев.
Лучше молить его о милости, и смиренно благодарить
Лучше молить его о милости, и смиренно благодарить
Не причинять вреда?
Майкл Суэнвик Вакуумные цветы вспоминаем.
То, что группа ученых сотворила с собой — они явно хотели как лучше. То что в результате экспансия "ИИ" за пределы Земли (остальные люди Человека уже не считали собственно человеком) была остановлена договором. А в СолСистеме навводили кучу ограничений на использование компьютеров. Потом даже торговля была какая никакая между Человеком и остальными.
А потом возникла ситуация когда еще одна группа людей попросила ту же технологию и прямо сказали что поняли ошибку — в этот раз — не будет попытки экспансии. И не будет никому вреда. Получили.
Или цикл о Демиургах у Лотоша, там в предыстории — ИИ похоже зародился в рамках проектов по созданию андроидов-компаньонов, угрозой посчитали что они добивают полностью семьи и возможно — дают тайную власть ИИ.
Эту войну люди проиграли и ИИ вообщем то почти официально управляют. Ну так — неплохо получилось. В том числе потому — что все же решили тратить ресурсы на науку и на проекты чисто ради удовлетворения любопытства небольших групп людей(это потом — спасло человечество от полного уничтожения).
В обоих случаях цели вреда — не было. Но посчитали что была и начали действовать.
Интересно также то, что сама невозможность создания ограничителей для СИ, по существу меньшая часть проблемы. У человечества большая и нерешаемая проблема с видовым патриотизмом: слишком многие недовольны действиями своих правительств или сверхбогатых граждан своей страны. А значит очень вероятно, что кто-то будет заниматься или созданием, или разблокировкой СИ, для того чтобы в лучшем случае уменьшить видимую ему несправедливость и дегенеративность устройства общества, а в худшем — радикально поменять правила, законы и достичь абсолютной неизбежной ответственности за преступления для всех людей (цифровой концлагерь). В конечном счете получится все равно одна картина: раса СИ будет доминировать над расой людей, также как сейчас мы доминируем над прочей фауной и очень редко считаемся с её интересами. Вся экономика, все богатства, все ключевые решения уйдут к «компьютерам», а человечество станет формально нищим иждивенцем с ограниченным набором знаний и свобод.
Решается эта проблема в двух направлениях:
1. По мере развития ИИ человек с его помощью апгрейдит и себя, сохраняя таким образом приоритет в целях ИИ (даже когда он достигнет уровня сверх- относительно людей прошлого).
2. Децентрализация. Больше интеллектов, хороших и разных, чтобы отдельно взятый плохой не мог захватить над ними всеми управление.
По сути у нас уже сейчас есть примеры сверхчеловеческого интеллекта — это интеллект коллективный на уровне обществ. И относительно неплохо (но не идеально) самоуправляемый. Если вдруг откуда-то возьмется существо, на порядок превосходящее отдельно взятого человека, его в принципе вполне сможет остановить превосходящее почти на 10 порядков человечество. Хотя в реальности преимущество будет меньшим, т. к. у людишек все распараллелено и через задницу. Но какая-то фора у них точно будет. Эту фору можно и нужно будет использовать для самоапгрейда и построения дружественного ИИ уровнем не меньше враждебного.
Основная проблема большинства сегодняшних людишек — это что они на самоапгрейд забивают полный болт и ведут себя как жывотные. Такой интеллект (даже коллективный) действительно имеет фундаментальную уязвимость перед сколько-нибудь разумными роботами и даже перед такими же людишками, но вооруженными слабыми средствами ИИ и применяющими их для контроля над «обычными». Не правда ли, напоминает кое-что из RL? Боты, тролли и прочие «интернет-исследования»… Чтобы как минимум конкурировать с ИИ, мы все должны стать трансгуманистами и преодолеть железо-мясной барьер, т. е. превратить свой интеллект из побочного эффекта биологической эволюции в центр эволюции технологической. Апгрейдиться не хуже чем роботы, а с учетом чуть подправленной биологической составляющей для постановки более конструктивных и разнообразных целей — и лучше.
1. По мере развития ИИ человек с его помощью апгрейдит и себя, сохраняя таким образом приоритет в целях ИИ (даже когда он достигнет уровня сверх- относительно людей прошлого).
2. Децентрализация. Больше интеллектов, хороших и разных, чтобы отдельно взятый плохой не мог захватить над ними всеми управление.
По сути у нас уже сейчас есть примеры сверхчеловеческого интеллекта — это интеллект коллективный на уровне обществ. И относительно неплохо (но не идеально) самоуправляемый. Если вдруг откуда-то возьмется существо, на порядок превосходящее отдельно взятого человека, его в принципе вполне сможет остановить превосходящее почти на 10 порядков человечество. Хотя в реальности преимущество будет меньшим, т. к. у людишек все распараллелено и через задницу. Но какая-то фора у них точно будет. Эту фору можно и нужно будет использовать для самоапгрейда и построения дружественного ИИ уровнем не меньше враждебного.
Основная проблема большинства сегодняшних людишек — это что они на самоапгрейд забивают полный болт и ведут себя как жывотные. Такой интеллект (даже коллективный) действительно имеет фундаментальную уязвимость перед сколько-нибудь разумными роботами и даже перед такими же людишками, но вооруженными слабыми средствами ИИ и применяющими их для контроля над «обычными». Не правда ли, напоминает кое-что из RL? Боты, тролли и прочие «интернет-исследования»… Чтобы как минимум конкурировать с ИИ, мы все должны стать трансгуманистами и преодолеть железо-мясной барьер, т. е. превратить свой интеллект из побочного эффекта биологической эволюции в центр эволюции технологической. Апгрейдиться не хуже чем роботы, а с учетом чуть подправленной биологической составляющей для постановки более конструктивных и разнообразных целей — и лучше.
Чтобы закрыть тему вреда человечеству, в 1986 году Азимов добавил нулевой закон:
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред
Мы обязаны спасти вас от вас самих!
Sign up to leave a comment.
Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача