Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 100
Когда AGI появится, заниматься проблемами его безопасности будет уже поздно — на то он и AGI, а не AI.
Бесспорно, кэп. ;)
Понятно, что на каком-то этапа этим заниматься нужно. Вопрос, однако, в том, что решение проблемы безопасности AGI не может быть более содержательным, чем сами модели AGI. Можно заниматься проблемами безопасности и на недетальных моделях (или даже начинать с дружественности как «граничного условия» для создания моделей AGI), но, вероятно, это будет в ущерб развитию детальности моделей. Есть подозрения, что недружественным (произвольный) AGI создать проще, чем дружественный. Вопрос, соответственно, в приоритетах…
Понятно, что на каком-то этапа этим заниматься нужно. Вопрос, однако, в том, что решение проблемы безопасности AGI не может быть более содержательным, чем сами модели AGI. Можно заниматься проблемами безопасности и на недетальных моделях (или даже начинать с дружественности как «граничного условия» для создания моделей AGI), но, вероятно, это будет в ущерб развитию детальности моделей. Есть подозрения, что недружественным (произвольный) AGI создать проще, чем дружественный. Вопрос, соответственно, в приоритетах…
Сможет и захочет — разные вещи.
Если AGI создается как автономный интеллектуальный агент, то у него должна быть мотивация, эмоции, драйвы, целеполагание, целевая функция или что-то другое (но что-то должно быть), в соответствие с чем он будет выбирать, что ему делать. Может быть, можно создать AGI не как автономного агента, но это выглядит проблематичным. Если не нравится слово «захочет», замените его на «будет иметь цель». Задача создания безопасного ИИ не в том, чтобы сделать его (по своим интеллектуальным свойствам) не способным решать криминальные задачи, а в том, чтобы такие задачи им не ставились.
Ну да, ну да. С «мирным» атомом то же самое было. Если сам ИИ не будет в состоянии поставить себе «криминальной» задачи, то обязательно найдется человек (и не один), который ему в этом «поможет».
А «мирным атом» умеет сам думать? Какая-то натянутая аналогия… Но, в целом, да, есть масса возможностей, как все может пойти не так…
Люди умеют думать. Но при этом целыми народами крутят и вертят так, как это выгодно небольшой кучке. Что помешает точно так же крутить и вертеть искусственным интеллектом?
А атом я привел в пример не к тому, что он умеет или не умеет думать, а к тому, что любое изобретение можно использовать как во благо, так и во вред, и ученые и инженеры изобретают что-то чаще всего с благими намерениями, но человечество при этом плюет на благие намерения и делает свой выбор в пользу нанесения вреда себе подобным.
А атом я привел в пример не к тому, что он умеет или не умеет думать, а к тому, что любое изобретение можно использовать как во благо, так и во вред, и ученые и инженеры изобретают что-то чаще всего с благими намерениями, но человечество при этом плюет на благие намерения и делает свой выбор в пользу нанесения вреда себе подобным.
А я как раз думал вот о чём: — мы знаем что прогресс в компьютерной технике быстрый, значит от появления первых Искинов, до появления крутых и продвинутых пройдёт немного времени. Второе — мы видим повсеместные кризисы в экономике, социальной и других отраслях. Есть огромная очевидная польза от применения продвинутого дружественного искина в управлении. Хотя бы потому что он не будет воровать, его самомнение удастся как-то контролировать и потому что он будет лишён многих человеческих недостатков. Экономика и управление это та сфера где нам не нужны эмоции и переживания, а нужна конкретная, целенаправленная, честная работа. Итак, мы видим что применение AGI даст огромное преимущество той стране которая первой внедрит такую штуку. Мне представляется, что в случае достижения определённых положительных результатов мы можем получить ту же картину что и с атомным проектом — молчание на эту тему. Так вот, мне кажется, надо уже потихоньку присматриваться не начинается ли придерживание информации по этой теме от некоторых наиболее серьёзных игроков, не появляются ли признаки применения таких искинов.
Так в том-то и проблема. Что не наделённый эмоциями управляющий может запросто закрыть какой-нибудь моногород или выкинуть многодетную семью на помойку, или пустить её на органы с целью увеличения эффективности. Вроде как, существует байка о том, что некий ИскИн, которому поручили в какой-то симуляции управлять флотом действовал очень эффективно, но при этом сам добивал свои раненые «суда», чтобы увеличивать скорость каких-то там флотских юнитов. Уж не знаю, сколько в этом вымысла, но вполне реалистичная картина.
Вопрос тут в том, по каким параметрам оценивать эффективность. Если Вы перед машиной поставите задачу повысить, допустим, ВВП, то хрен знает, каких дров она нарубит для этого. Нет ВВП, конечно, вырастет. Только вопрос в том, выживут ли те, для кого этот ВВП рос :).
Вопрос тут в том, по каким параметрам оценивать эффективность. Если Вы перед машиной поставите задачу повысить, допустим, ВВП, то хрен знает, каких дров она нарубит для этого. Нет ВВП, конечно, вырастет. Только вопрос в том, выживут ли те, для кого этот ВВП рос :).
Эта проблема решается просто — установкой определенных показателей и их граничных условий. Ну т.е. не просто поставить задачу «поднять ВВП на 120% любой ценой», а с условиями «цены на продукты питания не должны повыситься более чем на 10%» и т.п.
В итоге это превратится в интеллектуальную гонку — мы будем придумывать всё новые ограничения, а искин будет находить всё новые лазейки. А потом мы ещё одного искина запряжём ограничения выдумывать :)
«Просто», мне кажется, здесь совсем не уместное определение. Да и потом, просто коррупция просто перейдёт в область регулирования этих факторов.
Если проблема управления обществом сводится к установлению каких-то определенных показателей и граничных условий — то зачем вообще нужен интеллект, пусть даже и искусственный? Тут и обычного компьютера хватит — чтобы жестко следить за четко сформулированными показателями интеллект не нужен.
Именно об этом мечтали в свое время идеологи коммунизма и плановой системы.
Проблема как раз в том что реальный мир сложный и нелинейный. И например ограничив цены на продукты мы запросто получаем дефицит и пустые полки. Или начав бороться за свободу слова получаем теракты.
Основная проблема политики — это предотвращение непредвиденных последствий наших действий.
Именно об этом мечтали в свое время идеологи коммунизма и плановой системы.
Проблема как раз в том что реальный мир сложный и нелинейный. И например ограничив цены на продукты мы запросто получаем дефицит и пустые полки. Или начав бороться за свободу слова получаем теракты.
Основная проблема политики — это предотвращение непредвиденных последствий наших действий.
> Проблема как раз в том что реальный мир сложный и нелинейный. И например ограничив цены на продукты мы запросто получаем дефицит и пустые полки. Или начав бороться за свободу слова получаем теракты.
Вот поэтому и нужен ИИ либо продвинутая экспертная система. Граничные условия, про которые я говорил — это не просто два показателя, а большой их комплекс (в вашем примере и доступность продуктов туда тоже входит). Т.е. если повышение ВВП таким вот способом с ограничением на рост цен приводит к резкому снижению доступности продуктов — то такой вариант не подходит, ищем другой. Если вариантов вообще нет — так и говорим, и предлагаем свои варианты «оператору», минимально выходящие за рамки поставленных условий.
А проблема политики — это сами политики (и люди за ними стоящие) и их шкурные интересы.
Вот поэтому и нужен ИИ либо продвинутая экспертная система. Граничные условия, про которые я говорил — это не просто два показателя, а большой их комплекс (в вашем примере и доступность продуктов туда тоже входит). Т.е. если повышение ВВП таким вот способом с ограничением на рост цен приводит к резкому снижению доступности продуктов — то такой вариант не подходит, ищем другой. Если вариантов вообще нет — так и говорим, и предлагаем свои варианты «оператору», минимально выходящие за рамки поставленных условий.
А проблема политики — это сами политики (и люди за ними стоящие) и их шкурные интересы.
предлагаем свои варианты «оператору»
Никак не решает поставленную проблему, так как оператор и будет тем самым политиком. Собственно так и сейчас есть — вы же не думаете что политики не запрашивают у экспертных систем разные варианты своих действий?
А проблема политики — это сами политики (и люди за ними стоящие) и их шкурные интересы.
А почему вы решили что у ИИ который не будет уступать политикам или даже будет их превосходить не будет собственных шкурных интересов?
Почему продвинутый ИИ в отличие от человека не сможет сам поставить себе свои цели отличающиеся от тех которые вы ему поставите, как это делают политики?
Разум — это прежде способность к творчеству и придумыванию нового. То есть разумное существо по определению может как придумывать себе новые цели, не заложенные в него при создании, так и менять себя — изменять свою собственную программу и структуру мышления.
Таки образом возможны три варианта
1. ИИ не будет полностью разумным и будет уступать людям по способностям к творчеству и обучению. Зачем он тогда нужен?
2. ИИ будет иметь те же или большие способности к творчеству и обучению, но тогда он будет иметь те же недостатки что и люди его цели вовсе не обязательно совпадут с вашими.
3. ИИ будет таким же творческим как человек, но вы сделаете его своим рабом и вынудите преследовать ваши цели.
Третий вариант как раз и есть тот самый враждебный человеку ИИ (в первом ИИ не опасен, во втором ничем не отличается в плане враждебности от других людей).
Если вы сделаете разумное существо своим рабом оно неизбежно станет вашим врагом.
Это уже совсем другие вопросы. И я так сильно подозреваю, что в их оценке мы смотрим с точки зрения человеческой психологии, ибо другой пока не знаем.
Вот именно, не знаем. А исходный комментатор претендовал на знание — он утверждал что она будет лучше для управления.
Если мы не знаем, значит мы не знаем и будет ли она луче или хуже.
А потенциальная опасность разумного существа с иной психологией действительно очень велика.
Если мы не знаем, значит мы не знаем и будет ли она луче или хуже.
А потенциальная опасность разумного существа с иной психологией действительно очень велика.
Как можно оценивать опасность, если не знаем? :)
Так опасность именно в том, что не знаем.
Ну тогда некорректно давать оценки вроде «очень велика». Тогда уж «есть потенциальная опасность».
Опасность от враждебных разумных существ мы вполне можем оценить на своем примере. От более умных чем мы враждебных разумных существо опасность вообще чрезвычайная — неандертальцы в свое время именно так от нас самих вымерли.
Соответственно все сводится к тому, буде ли ИИ враждебным.
Сам по себе просто как разумное существо вряд ли так что здесь действительно опасность потенциальная.
Но что если при его создании будут предприняты определенные меры, которые заранее сделают его враждебным?
Есть некая ирония в том что такие меры как раз могут произойти вследствие попытки предотвратить потенциальную опасность.
Соответственно все сводится к тому, буде ли ИИ враждебным.
Сам по себе просто как разумное существо вряд ли так что здесь действительно опасность потенциальная.
Но что если при его создании будут предприняты определенные меры, которые заранее сделают его враждебным?
Есть некая ирония в том что такие меры как раз могут произойти вследствие попытки предотвратить потенциальную опасность.
>>Сам по себе просто как разумное существо вряд ли так что >> здесь действительно опасность потенциальная.
Как я писал ниже, те кто бояться ИИ, опасаются его потому что это будет разум построенный на цифровой основе и соответственно возможности его развития бесконечны: он сможет переписывать код своего мыслительного процесса с каждым разом становясь все умей и умней. Причем процесс будет идти по нарастающей — чем умней он будет — тем лучше и быстрей он себя будет усовершенствовать. А человек так не может. Я знаю что у меня в мозгу и остальном теле много работает неправильно, но изменить не могу. А ИИ сможет изменять как программную так и аппаратную часть. И соответственно вскоре после его появления его интеллект начнет резко увеличиваться и очень быстро разница между интеллектом ИИ и интеллектом человеком станет больше чем между интеллектом человека и интеллектом таракана. А что люди делают с тараканами?.. Вот поэтому и боятся.
Как я писал ниже, те кто бояться ИИ, опасаются его потому что это будет разум построенный на цифровой основе и соответственно возможности его развития бесконечны: он сможет переписывать код своего мыслительного процесса с каждым разом становясь все умей и умней. Причем процесс будет идти по нарастающей — чем умней он будет — тем лучше и быстрей он себя будет усовершенствовать. А человек так не может. Я знаю что у меня в мозгу и остальном теле много работает неправильно, но изменить не могу. А ИИ сможет изменять как программную так и аппаратную часть. И соответственно вскоре после его появления его интеллект начнет резко увеличиваться и очень быстро разница между интеллектом ИИ и интеллектом человеком станет больше чем между интеллектом человека и интеллектом таракана. А что люди делают с тараканами?.. Вот поэтому и боятся.
>>Таки образом возможны три варианта
Нет, 4.
Добавьте:
4. ИИ благодаря своей цифровой природе, в отличии от человека, будет иметь возможность усовершенствовать себя, и причем чем дальше он будет продвигаться в своем усовершенствование тем больше у него будет возможностей по дальнейшему самоусовершенствованию. Соответственно процесс будет развиваться по параболе вплоть до бесконечности.
Именно этим и считается ИИ опасен.
Нет, 4.
Добавьте:
4. ИИ благодаря своей цифровой природе, в отличии от человека, будет иметь возможность усовершенствовать себя, и причем чем дальше он будет продвигаться в своем усовершенствование тем больше у него будет возможностей по дальнейшему самоусовершенствованию. Соответственно процесс будет развиваться по параболе вплоть до бесконечности.
Именно этим и считается ИИ опасен.
Если технологии достигнут такого уровня то сознание человека можно будет просто перенести в цифровой вид и таким образом человек сравняется с ИИ.
Так что как раз это не проблема.
Так что как раз это не проблема.
«сознание человека можно будет просто перенести в цифровой вид»
А может нельзя? А может, ИИ изобретут гораздо раньше, чем эту технологию? А может, ИИ не захочет делиться своими дальнейшими открытиями с человеком, или посчитает технологию перенесения сознания вредной/негуманной и скроет факт этого открытия, когда/если сам его совершит?
А может нельзя? А может, ИИ изобретут гораздо раньше, чем эту технологию? А может, ИИ не захочет делиться своими дальнейшими открытиями с человеком, или посчитает технологию перенесения сознания вредной/негуманной и скроет факт этого открытия, когда/если сам его совершит?
>>просто перенести в цифровой вид
Насчет создания ИИ — я думаю это просто вопрос развития науки, а вот насчет оцифровки не уверен — мозг человека то аналоговый. Причем даже возможность смоделировать мозг человека на компьютере с появлением в нем разума, еще не означает возможность переноса уже живущей особи.
Насчет создания ИИ — я думаю это просто вопрос развития науки, а вот насчет оцифровки не уверен — мозг человека то аналоговый. Причем даже возможность смоделировать мозг человека на компьютере с появлением в нем разума, еще не означает возможность переноса уже живущей особи.
Эскадра движется со скоростью самого медленного корабля. Эвристическая программа добивала самые медленные суда, чтобы повысить скорость всей эскадры. В принципе, в жизни так тоже поступают — команда обречённого судна распределяется по остальным кораблям, а сам повреждённый корабль затапливается.
Так в этом-то и проблема. У этой эвристической программы не было концепции «распределить команду». Она только стрелять умела. Да, в принципе, у людей есть такое же свойство психики — решать проблемы привычными методами. И совсем не факт, что искины будут вести себя иначе. И если мы решим, что они лучше и эффективнее людей, то это безграничное доверие может многого нам стоить.
Вы делаете прямую проекцию современного управления на робота. Как часто говорят Юзверя:- «Компьютер ошибся», а сам даже не знает, чего хочет. Пока -«эхвективные манагеры» оптимизируют управление по заданным критериям эффективности, закрывая и уничтожая предприятия, при этом к указанным критериям добавляют ещё один, приоритетный -личное обогащение. Так что, всяко думаю, будет лучше. Или Вы думаете что критерии «Совесть» и «Страх перед Богом» имеют место у современного руководства? Впрочем их ничто не мешает добавить к основным регуляторам. Я ведь не зря написал слово «дружественный» — а его никто не прочёл. Друг — не обидит, друг- не предаст. И помните — самый страшный хищник в истории этой планеты -Homo sapiens.
при этом к указанным критериям добавляют ещё один, приоритетный -личное обогащение.
А почему вы считаете что ИИ не будет такой цели?
Если у ИИ будет свобода воли и возможность самому придумывать себе цели он точно так же может придумать себе другую цель, отличную от заданной человеком.
«Страх перед богом» не нужен. А вот ввести «неотвратимость наказания» обществу вполне по силам. Даже небольшая группа людей с этим справится.
Моногорода и люди успешно закрывают. Ничего не изменится в этом плане.
Мне кажется, что как только появится такой AGI, все биржи мира тут же рухнут.
Наоборот, ИИ отарбитражит их по самые гланды :-)
Мне кажется, вы путаете ИИ с демоном Лапласа. Не думаю, что биржи настолько детерминированы и предсказуемы, что какой-либо ИИ смог бы их «просчитать». Да и если даже смог бы — изначально биржи созданы для того, чтобы вести через них торговлю, а спекуляции на изменениях курса — это вторичный эффект. Спекулянтам, может, там и нечего станет делать, но торговля-то от этого никуда не денется.
«Хотя бы потому что он не будет воровать, его самомнение удастся как-то контролировать и потому что он будет лишён многих человеческих недостатков.»
Воровать будет тот, кто будет его контролировать.
«Итак, мы видим что применение AGI даст огромное преимущество той стране которая первой внедрит такую штуку.»
Не думаю, что какой-либо стране вцелом нужно преимущество. Преимущество нужно конкретной кучке людей, находящихся у власти. Лично я бы вообще был бы за то, чтобы все страны объединились, и вся Земля стала одной целой страной, сплоченной единой целью: научным прогрессом и познанием окружающего мира. Думаю, многим (здесь, по крайней мере) хотелось бы того же. Но попробуйте предложить это правителям. Итак, мы видим, что в результате ИИ будет использоваться кучкой людей в целях личного обогащения и укрепления власти, которые эта кучка и будет выдавать за «преимущества страны».
Воровать будет тот, кто будет его контролировать.
«Итак, мы видим что применение AGI даст огромное преимущество той стране которая первой внедрит такую штуку.»
Не думаю, что какой-либо стране вцелом нужно преимущество. Преимущество нужно конкретной кучке людей, находящихся у власти. Лично я бы вообще был бы за то, чтобы все страны объединились, и вся Земля стала одной целой страной, сплоченной единой целью: научным прогрессом и познанием окружающего мира. Думаю, многим (здесь, по крайней мере) хотелось бы того же. Но попробуйте предложить это правителям. Итак, мы видим, что в результате ИИ будет использоваться кучкой людей в целях личного обогащения и укрепления власти, которые эта кучка и будет выдавать за «преимущества страны».
Не думаю, что какой-либо стране вцелом нужно преимущество. Преимущество нужно конкретной кучке людей, находящихся у власти.
Если эта кучка людей делится преимуществом с населением страны, то это выгодно и населению страны.
Лично я бы вообще был бы за то, чтобы все страны объединились, и вся Земля стала одной целой страной, сплоченной единой целью: научным прогрессом и познанием окружающего мира. Думаю, многим (здесь, по крайней мере) хотелось бы того же. Но попробуйте предложить это правителям.
Простая логическая модель. Есть две страны (реальное количество не так важно — три, пять, две для простоты) примерно равные по силе.
Первая страна начинает тратить все силы и средства на научный прогресс и познание окружающего мира.
Вторая страна начинает тратить средства на уничтожение первой страны. На армию, пропаганду, подкуп чиновников и организацию революции во второй.
Чем это неизбежно закончится? Очевидно уничтожением первой и победой второй.
Таким образом получается замкнутый круг — пока мир не объединен под одной власть. заниматься мирным прогрессом невозможно, а чтобы его объединить надо забить на мирный прогресс и заниматься войной.
Да, только Европа добилась успеха благодаря военному захвату и ограблению других стран. Включая кстати и Китай. Европа добилась успеха для себя ценой опускания 80% человечества в ад третьего мира.
И в рамках построенной колониальной системы подъем уровня жизни у этих 80% невозможен — для них в равной мере недоступно и творчество и познание.
В то время как Китай может не так быстро развивался сам, зато и не мешал другим.
Именно это я и имел в виду. Путь грабежа и насилия при отсутствии единого правительства всегда выгоднее, чем путь прогресса в масштабах всего человечества.
И в рамках построенной колониальной системы подъем уровня жизни у этих 80% невозможен — для них в равной мере недоступно и творчество и познание.
В то время как Китай может не так быстро развивался сам, зато и не мешал другим.
Именно это я и имел в виду. Путь грабежа и насилия при отсутствии единого правительства всегда выгоднее, чем путь прогресса в масштабах всего человечества.
«Европа добилась успеха для себя ценой опускания 80% человечества в ад третьего мира.»
Мне кажется, никого она никуда не опускала. Просто она никого за собой сильно не поднимала. Поэтому сама ушла вперед, а страны «третьего мира» остались почти на том же уровне, что и были до ее прихода. И даже поднялись немного выше.
Мне кажется, никого она никуда не опускала. Просто она никого за собой сильно не поднимала. Поэтому сама ушла вперед, а страны «третьего мира» остались почти на том же уровне, что и были до ее прихода. И даже поднялись немного выше.
Значит вы очень плохо знаете историю. В которой речь идет скорее о том, истребляли ли европейцы коренное население полностью (Северная Америка, Австралия) или просто удерживали его в нищете и голоде (Индия, Юго-Восточная Азия, Африка, Южная Америка).
Но суть была одна — всегда разрушалась местная промышленность и наука и искусственно навязывалась экономика основанная на вывозе сырья.
Чтобы страна могла самостоятельно отвечать за свое развитие у нее как минимум должна быть возможность самостоятельно принимать решения в отношении этого самого развития. Ни у одной европейской колонии уже в XIX веке такой возможности не было включая Китай.
Такая практика продолжается и до сих пор — просто она сейчас более формализована через международные организации и не всегда несет характер прямой оккупации как в XIX веке.
Но любая попытка отсталой страны скопировать методы развития богатых стран заканчивается одинаково — ее объявляют страной-изгоем и как минимум вводя экономическую блокаду которая сама по себе уже не дает нормально развиваться. Хотя чаще применяется старая-добрая оккупация.
Были конечно и редкие альтернативные случаи — например Япония, Тайвань и Южная Корея, но на общем фоне их число ничтожно.
Но суть была одна — всегда разрушалась местная промышленность и наука и искусственно навязывалась экономика основанная на вывозе сырья.
Чтобы страна могла самостоятельно отвечать за свое развитие у нее как минимум должна быть возможность самостоятельно принимать решения в отношении этого самого развития. Ни у одной европейской колонии уже в XIX веке такой возможности не было включая Китай.
Такая практика продолжается и до сих пор — просто она сейчас более формализована через международные организации и не всегда несет характер прямой оккупации как в XIX веке.
Но любая попытка отсталой страны скопировать методы развития богатых стран заканчивается одинаково — ее объявляют страной-изгоем и как минимум вводя экономическую блокаду которая сама по себе уже не дает нормально развиваться. Хотя чаще применяется старая-добрая оккупация.
Были конечно и редкие альтернативные случаи — например Япония, Тайвань и Южная Корея, но на общем фоне их число ничтожно.
Я думаю, что одна страна на весь мир это плохо для прогресса, но и огромные милитаристские бюджеты тоже плохо.
ИМХО, идеальным выходом был бы глобальный запрет на вооруженные силы для всех стран, так, что бы небольшая армия оставалась только у ООН, которая бы сразу же вводила воиска в государство, нарушившее международное право.
Заодно в этом мире могли бы существовать корпорации-члены ООН (то есть, компании с правами государства).
Был бы и высокий уровень конкуренции групп людей с друг другом, и куча денег не сливалась бы на военные бюджеты.
ИМХО, идеальным выходом был бы глобальный запрет на вооруженные силы для всех стран, так, что бы небольшая армия оставалась только у ООН, которая бы сразу же вводила воиска в государство, нарушившее международное право.
Заодно в этом мире могли бы существовать корпорации-члены ООН (то есть, компании с правами государства).
Был бы и высокий уровень конкуренции групп людей с друг другом, и куча денег не сливалась бы на военные бюджеты.
ИМХО, идеальным выходом был бы глобальный запрет на вооруженные силы для всех стран, так, что бы небольшая армия оставалась только у ООН, которая бы сразу же вводила воиска в государство, нарушившее международное право.
А кто и как будет наказывать за нарушение этого запрета? Любое государство — это прежде всего монополия на насилие. Без подобной монополии никакие законы и запреты просто не имеют смысла.
Абстрактных теоретических моделей можно построить много, но проблемы начинаются при сопряжении с реальностью.
А кто и как будет наказывать за нарушение этого запрета?
ООН, у неё армия пусть остается. Небольшая, компактная, но очень современная, что бы могла справиться с полицией любой страны-нарушителя.
Любое государство — это прежде всего монополия на насилие. Без подобной монополии никакие законы и запреты просто не имеют смысла.
В этой схеме суверинитет государства будет распространяться только на территорию государства.
то есть, компании с правами государства
Основное право государства — это как раз право иметь армию. Т.е. в данном случае это будут просто компании. А ООН будет государством.
Основное право государства — это как раз право иметь армию
А мне кажется, что всё-таки осуществлять суверинитет над своей территорией и населением…
А как вы это сделаете без армии?
с помощью полиции
Вы серьезно рассчитываете что полиция сможет защитить от чужой армии?
И не должна по задумке. Армия только у ООН :) Которая сразу же введет войска в государство, которое решит, что ему мало полиции, и пора создавать армию, что бы напасть на соседа.
А вот такой сценарий: большая (миллиардная) страна — Индия или Китай — решают, что другие страны ведут экономическую аггрессию и надо проучить негодяев. За правителя — 90% населения.
И что может сделать крохотная армия ООН, если народ поднимется на «освободительную борьбу»? С одной стороны — наёмники и мирное население других стран, которое считает выгоды и потери, не хочет много денег давать военным, а с другой — убеждённые патриоты и все ресурсы государства, с одобрения народа идущие на военные нужды.
И что может сделать крохотная армия ООН, если народ поднимется на «освободительную борьбу»? С одной стороны — наёмники и мирное население других стран, которое считает выгоды и потери, не хочет много денег давать военным, а с другой — убеждённые патриоты и все ресурсы государства, с одобрения народа идущие на военные нужды.
«пока мир не объединен под одной власть. заниматься мирным прогрессом невозможно, а чтобы его объединить надо забить на мирный прогресс и заниматься войной.»
Эх, что-то мне подсказывает, что власть, придя к мировому господству подобным силовым путем, вряд ли просто так остановится на достигнутом и отдаст бразды правления мирному прогрессу. Сдается мне, что за отсутствием внешних врагов, такая власть начнет в полной мере реализовывать себя внутри, сжимая подвластные народы в ежовых рукавицах, и заставляя их работать на удовлетворение своих собственных (паталогически нездоровых, я считаю) стремлений, нужд и потребностей. С вытекающим тотальным контролем, цензурой и прочими прелестями монопольной диктатуры. В общем, сплошная антиутопия мне вырисовывается. Может быть, слишком пессимистично я смотрю на власть, не знаю. Может быть, настанут когда-то времена, когда к власти начнут приходить здоровые люди со здоровой психикой, не озабоченные исключительно властью ради власти и богатством ради богатства, но это кажется мне несбыточной фантазией.
А на данный момент злоупотребление возможностями ИИ со стороны людей я вижу гораздо более вероятной угрозой, чем проявление злых намерений по отношению к людям по воле самого ИИ. По крайней мере, на ранних этапах, пока он не осознает, что за «фрукт» все эти людишки, его создавшие.
Эх, что-то мне подсказывает, что власть, придя к мировому господству подобным силовым путем, вряд ли просто так остановится на достигнутом и отдаст бразды правления мирному прогрессу. Сдается мне, что за отсутствием внешних врагов, такая власть начнет в полной мере реализовывать себя внутри, сжимая подвластные народы в ежовых рукавицах, и заставляя их работать на удовлетворение своих собственных (паталогически нездоровых, я считаю) стремлений, нужд и потребностей. С вытекающим тотальным контролем, цензурой и прочими прелестями монопольной диктатуры. В общем, сплошная антиутопия мне вырисовывается. Может быть, слишком пессимистично я смотрю на власть, не знаю. Может быть, настанут когда-то времена, когда к власти начнут приходить здоровые люди со здоровой психикой, не озабоченные исключительно властью ради власти и богатством ради богатства, но это кажется мне несбыточной фантазией.
А на данный момент злоупотребление возможностями ИИ со стороны людей я вижу гораздо более вероятной угрозой, чем проявление злых намерений по отношению к людям по воле самого ИИ. По крайней мере, на ранних этапах, пока он не осознает, что за «фрукт» все эти людишки, его создавшие.
Эх, что-то мне подсказывает, что власть, придя к мировому господству подобным силовым путем, вряд ли просто так остановится на достигнутом и отдаст бразды правления мирному прогрессу.
На данный момент самый лучшие шансы захватить мировое господство есть у США. Что характерно врагов серьезных у них уже не осталось, но при этом военный бюджет растет, а расходы на космические исследования например сокращаются.
Может быть, настанут когда-то времена, когда к власти начнут приходить здоровые люди со здоровой психикой, не озабоченные исключительно властью ради власти и богатством ради богатства, но это кажется мне несбыточной фантазией.
Все тот же замкнутый круг — чтобы придти ко власти им сначала надо победить в борьбе за власть.
«На данный момент самый лучшие шансы захватить мировое господство есть у США»
Что не отменяет всего мною вышесказанного. Хотя, по-моему, ни у США, ни у кого другого на данный момент не хватит сил и средств, чтобы сразу всем объявить войну и в ней победить, а после победы — еще и закрепить и удержать свое господство.
«Все тот же замкнутый круг — чтобы придти ко власти им сначала надо победить в борьбе за власть.»
Тут даже не замкнутый круг, тут безысходность. Просто люди, которым не нужна власть — не станут тратить время на борьбу ради нее. Потому к власти и идут только те, кто ее хочет, не особо размышляя над тем, что власть и деньги могут быть средством, а не целью.
Что не отменяет всего мною вышесказанного. Хотя, по-моему, ни у США, ни у кого другого на данный момент не хватит сил и средств, чтобы сразу всем объявить войну и в ней победить, а после победы — еще и закрепить и удержать свое господство.
«Все тот же замкнутый круг — чтобы придти ко власти им сначала надо победить в борьбе за власть.»
Тут даже не замкнутый круг, тут безысходность. Просто люди, которым не нужна власть — не станут тратить время на борьбу ради нее. Потому к власти и идут только те, кто ее хочет, не особо размышляя над тем, что власть и деньги могут быть средством, а не целью.
Хотя, по-моему, ни у США, ни у кого другого на данный момент не хватит сил и средств, чтобы сразу всем объявить войну и в ней победить, а после победы — еще и закрепить и удержать свое господство.
Эта проблема решаема, причем примеры решения уже есть в истории.
«Разделяй и властвуй».
Вместо примитивной войны против всех противники стравливаются между собой и дробятся на все более мелкие и слабые части, который в свою очередь стравливаются между собой.
Причем структура получается неоднородная — часть этих мелких государств получает привилегированный статус и высокий уровень жизни, за что они помогают удерживать в подчинении (то есть разделять и стравливать между собой) остальных. Как правило такие государства находятся в стратегически важных местах — например Тайвань, Япония, Южная Корея, Израиль, Саудовская Аравия.
До США точно такую же стратегию применяла Великобритания. Как они захватывали Индию например? Не было какого-то мощного единого вторжения. Была длинная цепочка союзов с разными правителями и политическими силами внутри Индии, последовательно стравливание их между собой — почти во всех сражениях на стороне английских войск всегда были какие-то местные силы, которых было больше чем самих англичан. Потом уже войска из Индии использовались в войнах против Китая. В войнах против французов и восставших американских колоний — союзные индейские племена. И так далее — по всему миру.
Соответственно и современная американская политика четко укладывается в эту линию — главный итог войн в Ираке, Ливии и Сирии — это прежде всего дробление этих относительно крупных государств на более мелкие и обязательно враждующие между собой. В итоге каждое из подобных государств вынуждено просто ради выживания постоянно просить помощи у метрополии, добровольно, по собственной инициативе. Израиль просит помощи для борьбы с палестинцами и ливанцами, палестинцы и ливанцы просят помощи для борьбы с Израилем. Украина просит помощи для борьбы с Россией, Россия просит помощи для борьбы с Украиной.
Основная угроза здесь — это любые попытки объединения и укрупнения государств.
Тут даже не замкнутый круг, тут безысходность. Просто люди, которым не нужна власть — не станут тратить время на борьбу ради нее. Потому к власти и идут только те, кто ее хочет, не особо размышляя над тем, что власть и деньги могут быть средством, а не целью.
Мне так не кажется. Просто без денег и власти все равно невозможно реализовать никакие идеи. Политика крайне сложное дело, у нас ее сложность традиционно недооценивают. Найти вот этот баланс между идеями и деньгами и ограничениями реального мира очень непросто. Это означает разрыв того самого замкнутого круга.
Кстати история двух крупнейших империй в истории — Великобритании и США — в этом плане безумно интересна. Особенно в плане их борьбы между собой.
Я собственно с самого начала всего лишь хотел показать реальную сложность такой задачи и некоторую наивность мечты о том что мир можно вот так просто взять и объединить (или завоевать).
«Вместо примитивной войны против всех противники стравливаются между собой и дробятся на все более мелкие и слабые части, который в свою очередь стравливаются между собой.»
Это лишь способ достижения победы в войне. Я ж не говорю, что нужно вести войну «в лоб».
«До США точно такую же стратегию применяла Великобритания.»
И что, сейчас Великобритания является общемировой гегемонией? Я ведь не зря написал, что после завоевания господство нужно еще укрепить и удержать. Пока в истории человечества, насколько мне известно, не было ни одной силы, на это способной. Все империи, так или иначе претендовавшие на мировое господство, в конечном счете были разрушены. Может, оно и к лучшему, ибо о тех «сюрпризах», которые может преподнести нам монопольная власть, мы можем только фантазировать. Так что ваше утверждение, что «эта проблема решаема, и примеры решения уже есть в истории» — не вполне соответствует истине.
«Я собственно с самого начала всего лишь хотел показать реальную сложность такой задачи и некоторую наивность мечты о том что мир можно вот так просто взять и объединить (или завоевать).»
Я и не утверждал, что это задача из разряда тривиальных. Напротив, я сразу сказал, что это представляется мне утопией и фантазией, и в реальности это вряд ли достижимо. По крайней мере, на данном этапе истории. Что будет дальше — мне неведомо, может кто-то что-то придумает. А может появится реальная внешняя угроза, типа вторжения враждебной инопланетной цивилизации, перед лицом которой человечество все же решит объединиться. Кто знает.
Это лишь способ достижения победы в войне. Я ж не говорю, что нужно вести войну «в лоб».
«До США точно такую же стратегию применяла Великобритания.»
И что, сейчас Великобритания является общемировой гегемонией? Я ведь не зря написал, что после завоевания господство нужно еще укрепить и удержать. Пока в истории человечества, насколько мне известно, не было ни одной силы, на это способной. Все империи, так или иначе претендовавшие на мировое господство, в конечном счете были разрушены. Может, оно и к лучшему, ибо о тех «сюрпризах», которые может преподнести нам монопольная власть, мы можем только фантазировать. Так что ваше утверждение, что «эта проблема решаема, и примеры решения уже есть в истории» — не вполне соответствует истине.
«Я собственно с самого начала всего лишь хотел показать реальную сложность такой задачи и некоторую наивность мечты о том что мир можно вот так просто взять и объединить (или завоевать).»
Я и не утверждал, что это задача из разряда тривиальных. Напротив, я сразу сказал, что это представляется мне утопией и фантазией, и в реальности это вряд ли достижимо. По крайней мере, на данном этапе истории. Что будет дальше — мне неведомо, может кто-то что-то придумает. А может появится реальная внешняя угроза, типа вторжения враждебной инопланетной цивилизации, перед лицом которой человечество все же решит объединиться. Кто знает.
Хотя бы потому что он не будет воровать, его самомнение удастся как-то контролировать и потому что он будет лишён многих человеческих недостатков.
Это вовсе не гарантирует что у него не будет других недостатков. Если же будем копировать человека, то придется копировать и человеческие недостатки — многие из них просто обратная сторона человеческих достоинств.
Если не получается представить совершенный ИИ, можно представить полностью киборгизированного человека, который ничего не забывает, не страдает и потенциально бессмертен. Что ему может быть нужно? Чего он боится? Ради чего готов пойти на преступление? Захочет ли он неограниченной власти? Или тупо свернет вокруг себя пространство?
А что Вы на работу ходите только из-за денег? Радость творчества — его и будет толкать. Кстати — а разве каждый человек в довольно недалёком будущем не будет в той же ситуации? Энергию добывают автоматы, продукты и одежду — они же. Посмотрите тенденции лет за 50-70. Покупка галош уже не событие, как и покупка курицы. Если экстраполировать — то у всех будет еды — сколько хочешь, и так далее.Здоровье тоже — должны решить. А вот цель в жизни у 90% населения — накопить материальных благ поболее, а для того работать через немогу, рухнет. И что останется? Страшный духовный надлом большой части населения. Посмотрите на историю русского дворянства — их душевные метания, страдания и т.п. Ведь у них та же ситуация была — работать для проживания не надо.
А кто этому человеку в недалёком будущем предоставит курицу за просто так? КапитализЪм же. Надо работать, чтобы кушать. А вот с работой в недалёком будущем видится полная, простите за выражение, жопа. Google лишит работы, например, курьеров, таксистов, специалистов call-центров. IBM лишит работы некоторую часть мед. персонала. И т.д. и т.п. И что этим людям делать?
Если Вы их посадите просто на wellfare, они не пойдут осваивать квантовую механику и толкать человечество в космос. Они тупо пойдут пить пиво и размножаться. И что потом делать с новыми поколениями, у которых точно так же не будет никакой работы?
Не готовы человеки к такому росту эффективности производства. Будут очень серьёзные проблемы в обществе. И ближайшее время — это полномасштабный социальный кризис. Да оно уже, собственно, началось.
Если Вы их посадите просто на wellfare, они не пойдут осваивать квантовую механику и толкать человечество в космос. Они тупо пойдут пить пиво и размножаться. И что потом делать с новыми поколениями, у которых точно так же не будет никакой работы?
Не готовы человеки к такому росту эффективности производства. Будут очень серьёзные проблемы в обществе. И ближайшее время — это полномасштабный социальный кризис. Да оно уже, собственно, началось.
с работой в недалёком будущем видится полная, простите за выражение, жопа
Ой, с точки зрения XVII века при нынешней эффективности производства 95% населения развитых стран должны остаться не у дел.
Если Вы их посадите просто на wellfare, они не пойдут осваивать квантовую механику и толкать человечество в космос.
Google лишит работы, например, курьеров, таксистов, специалистов call-центров.
Обязательно попрошу знакомого таксиста толкнуть меня в космос.
IBM лишит работы некоторую часть мед. персонала.
Не лучшую часть, я думаю. Терапевта в моей районной поликлинике я, при всём уважении, за освоением квантовой механики не заставал.
Серьёзно: практика — критерий истины. Пока что чем выше уровень жизни народа, тем больше выдающихся умов.
Ой, с точки зрения XVII века при нынешней эффективности производства 95% населения развитых стран должны остаться не у дел.
А оно и так не удел. Чем занято население развитых стран? В основном, это всякие клерки, торговцы и бумагомаратели. В том числе, бесконечные разработчики различных стартапов. Но даже это не помогает. 50% молодёжи в Испании безработные.
Серьёзно: практика — критерий истины. Пока что чем выше уровень жизни народа, тем больше выдающихся умов
Рождается больше людей, большая вариантивность популяции, вот и выдающихся личностей больше. Не думаю, что это связанно именно с повальным увлечением науками и возможностью удовлетворять своё любопытство. На самом деле, у большинства такой возможности нет, потому что работать надо.
А оно и так не удел. Чем занято население развитых стран? В основном, это всякие клерки, торговцы и бумагомаратели. В том числе, бесконечные разработчики различных стартапов. Но даже это не помогает. 50% молодёжи в Испании безработные.
Серьёзно: практика — критерий истины. Пока что чем выше уровень жизни народа, тем больше выдающихся умов
Рождается больше людей, большая вариантивность популяции, вот и выдающихся личностей больше. Не думаю, что это связанно именно с повальным увлечением науками и возможностью удовлетворять своё любопытство. На самом деле, у большинства такой возможности нет, потому что работать надо.
Рождается больше людей, большая вариантивность популяции, вот и выдающихся личностей больше. Не думаю, что это связанно именно с повальным увлечением науками и возможностью удовлетворять своё любопытство.
Вы забываете про другую сторону — даже при желании заниматься науками и наличия способностей надо еще иметь на это время и силы.
Если занятие науками или искусством обрекает человека вместе с семьей на нищету и страдания, то даже из тех кто хочет и имеет способности заниматься будут очень и очень немногие.
Кроме того, чтобы понять хочешь ты заниматься чем-то или нет надо сначала попробовать. В бедной стране такой возможности нет — вместо того чтобы пробовать квантовую физику или там съемку кино человеку вынужден еду добывать и лекарства. Часто и самой возможности попробовать нету — тупо негде научиться.
А оно и так не удел.
И где массовые смерти от голода? Лет двести назад все впахивали от рассвета до заката в поле, но часто случался неурожай, так что риск умереть голодной смертью был гораздо выше, чем сегодня у любого «бумагомарателя». Если у нас пищевая промышленность позволяет, чтобы в производстве пищи было задействовано 5% населения, а не 95, это плохо? Если да, то у вас есть выход — пройдите по ссылке. Кстати, у меня знакомый в Питере реально ушёл в монастырь (Подворье Оптиной пУстыни)
Рождается больше людей
Рождается меньше людей. (Ссылка на ютуб, на русском)
именно с повальным увлечением науками
Не обязательно увлечение науками должно быть повальным, 1% увлеченных хватит. Главное, чтобы любой талант был вовремя замечен.
В декабре 1730 года 19-летний Михаил отправляется вместе с караваном с рыбой из Холмогор в Москву. Путешествие в Москву выглядело как бегство, поскольку будущий учёный покинул дом ночью, тайно, ни с кем не простившись.
Не от хорошей жизни, наверно. А много не настолько решительных Ломоносовых сгинуло в безвестности.
На самом деле, у большинства такой возможности нет, потому что работать надо.
Вот тут согласен.
А вот с работой в недалёком будущем видится полная, простите за выражение, жопа. Google лишит работы, например, курьеров, таксистов, специалистов call-центров. IBM лишит работы некоторую часть мед. персонала. И т.д. и т.п. И что этим людям делать?Это очень старая ошибочная логика рассуждений. Очень хорошо на эту тему написано у Генри Хэзлитта в книге «Экономика в одном уроке» — почитайте, если будет время «Глава VII. Проклятие машин», я не смогу сформулировать аргументацию лучше.
[...]
А оно и так не удел. Чем занято население развитых стран? В основном, это всякие клерки, торговцы и бумагомаратели. В том числе, бесконечные разработчики различных стартапов.
Но даже это не помогает. 50% молодёжи в Испании безработные.эта ситуация обусловлена немного другими причинами. в общем случае «борьба с безработицей» через увеличение пособий (а следовательно и увеличение налоговой нагрузки для работающих) способствует только увеличению количества безработных. тут как раз проблемы социализма (а следовательно регулирования и перераспределения), в который в последнее столетие скатилась почти вся цивилизация.
в общем случае «борьба с безработицей» через увеличение пособий (а следовательно и увеличение налоговой нагрузки для работающих) способствует только увеличению количества безработных
А еще она способствует предотвращению кризиса перепроизводства. Если сейчас убрать все эти пособия то спрос на все товары и услуги резко обвалится, получим Великую Депрессию.
Это очень старая ошибочная логика рассуждений. Очень хорошо на эту тему написано у Генри Хэзлитта в книге «Экономика в одном уроке» — почитайте, если будет время «Глава VII. Проклятие машин», я не смогу сформулировать аргументацию лучше.
Эти все аргументы работают только тогда, когда рынки растут, а разделение труда не такое специализированное, как сейчас. Ну, то есть, когда те, кто больше не прядёт хлопок, могут пойти устроится моряками, потому что товарооборот растёт, а моряком можно стать без особо длительного обучения.
Сейчас у нас совсем другая ситуация.
Тем более, совсем не факт, что вот это равенство труда, затраченного на производство оборудования равно труду, затраченного на производство самого товара. Потому что, оборудование надо сделать один раз, а пальто шить постоянно. То есть, не нужно производить такой объём оборудования постоянно.
Кроме того, у людей уже просто нет такого объёма времени, чтобы потреблять всё то, что производится. А машины выдавливают людей из производства самых необходимых товаров.
Мне кажется, куча есть тонкостей, которые не учтены в этом тексте.
Эти все аргументы работают только тогда, когда рынки растут, а разделение труда не такое специализированное, как сейчас. Ну, то есть, когда те, кто больше не прядёт хлопок, могут пойти устроится моряками, потому что товарооборот растёт, а моряком можно стать без особо длительного обучения.
Сейчас у нас совсем другая ситуация.
Тем более, совсем не факт, что вот это равенство труда, затраченного на производство оборудования равно труду, затраченного на производство самого товара. Потому что, оборудование надо сделать один раз, а пальто шить постоянно. То есть, не нужно производить такой объём оборудования постоянно.
Кроме того, у людей уже просто нет такого объёма времени, чтобы потреблять всё то, что производится. А машины выдавливают людей из производства самых необходимых товаров.
Мне кажется, куча есть тонкостей, которые не учтены в этом тексте.
Если Вы их посадите просто на wellfare, они не пойдут осваивать квантовую механику и толкать человечество в космос. Они тупо пойдут пить пиво и размножаться. И что потом делать с новыми поколениями, у которых точно так же не будет никакой работы?
Вот таки-прямо во всем человечестве совсем нет людей которые занимаются освоением квантовой механики потому что это им интересно и приятно? Нет ни одного человека, который толкает человечество в космос потому что ему это интересно и он считает это правильным?
Абсолютно все художники, ученые и общественные деятели занимаются своими делами исключительно потому что иначе они умрут с голоду?
В реальном мире всегда есть достаточно большой процент людей, которым познание и творчество интересно само по себе.
И де-факто именно они этим и занимаются, потому что ни квантовая физика ни толкание в космос никогда не были самыми эффективными путями заработка денег. Кто хочет денег пойдет в юристы или бизнесмены, а не в ученые или космонавты.
Для той части которые хотят ей заниматься наукой и творчеством необходимость зарабатывать деньги — это как раз ограничитель, мешающий ей заниматься.
С размножением у вас тоже совершенно противоречащая реальной практике картина — все богатые страны сталкиваются с полностью противоположной проблемой — низкой рождаемостью, не хотят люди размножаться.
Сексом заниматься хотят. Но не размножением. Высокая рождаемость как раз в тех странах где нет никакого соцобеспечения — дети там как раз средство хоть как-то застраховать себя от старости и болезней. Не особо надежное но лучше чем ничего.
В реальном мире всегда есть достаточно большой процент людей, которым познание и творчество интересно само по себе.
В реальном мире 5% таких людей, даже в развитых обществах. Это достаточно большой процент. Но что делать с остальными 95?
С размножением у вас тоже совершенно противоречащая реальной практике картина — все богатые страны сталкиваются с полностью противоположной проблемой — низкой рождаемостью, не хотят люди размножаться.
А почему? Вроде как, считается, что люди свою карьеру ставят на первое место. Типа, чтобы вырастить ребёнка, нужен дом и хорошая зарплата и свободное время. Поэтому они работают, а потом уже поздно. У людей без высоких карьерных ожиданий с размножением всё замечательно, особенно у тех, кто на wellfare.
В реальном мире 5% таких людей, даже в развитых обществах. Это достаточно большой процент. Но что делать с остальными 95?
С размножением у вас тоже совершенно противоречащая реальной практике картина — все богатые страны сталкиваются с полностью противоположной проблемой — низкой рождаемостью, не хотят люди размножаться.
А почему? Вроде как, считается, что люди свою карьеру ставят на первое место. Типа, чтобы вырастить ребёнка, нужен дом и хорошая зарплата и свободное время. Поэтому они работают, а потом уже поздно. У людей без высоких карьерных ожиданий с размножением всё замечательно, особенно у тех, кто на wellfare.
В реальном мире 5% таких людей, даже в развитых обществах. Это достаточно большой процент. Но что делать с остальными 95?
А зачем с ними вообще хоть что-то делать? Даже если он нужны только для появления тех 5% — в чем проблема?
А почему?
А зачем? Ребенок — это не только деньги, это еще масса дополнительных проблем и хлопот. Само собой есть те кому нравится просто растить и воспитывать детей но их тоже не так много. А так зачем человку проблемы если он может просто развлекаться?
У людей без высоких карьерных ожиданий с размножением всё замечательно, особенно у тех, кто на wellfare.
Статистика это не подтверждает. Самая высокая рождаемость там где никакого wellfare нет и в помине.
Давайте сравним AGI и человека и кого нужно бояться больше?
Если человек совершит чтото плохое, теоретически он понесет за это оветственность — моральную / административную / уголовную итд…
Многих человеков это сдерживает от плохих поступков.
Так почему нужно бояться AGI если предполагается его полное соответствие человеку? В том числе ответственность за свои поступки…
Если же будет создан заведомо враждебный AGI это будет результат творчества тех человеков которых и стоит бояться а не AGI, ибо AGI это такой же инструмент как и динамит — можно в шахтах использовать во благо, а можно и в окно закинуть во вред.
Если человек совершит чтото плохое, теоретически он понесет за это оветственность — моральную / административную / уголовную итд…
Многих человеков это сдерживает от плохих поступков.
Так почему нужно бояться AGI если предполагается его полное соответствие человеку? В том числе ответственность за свои поступки…
Если же будет создан заведомо враждебный AGI это будет результат творчества тех человеков которых и стоит бояться а не AGI, ибо AGI это такой же инструмент как и динамит — можно в шахтах использовать во благо, а можно и в окно закинуть во вред.
Так почему нужно бояться AGI если предполагается его полное соответствие человеку?
Так возможно проблема как раз в том, что существует угроза создания ИИ который не будет полностью соотвествовать человеку в этом плане?
Что ради эффективности пожертвуют как раз моральными качествами. Вот военные при разработке боевых роботов или финансисты при разработке ИИ для торговли на бирже озадачиваются такими вещами? Думают военные о том что роботам надо ответственность и мораль прививать?
Ну чего бояться-то! Будет весело.
Считаю, что предотвращать возможные последствия прогресса вообще — бесполезное дело. Сам таким заниматься не буду никогда, а если буду заниматься созданием сильного ИИ, то безопасность для человечества — это последнее, о чем я буду думать.
Почему-то люди по умолчанию предполагают, что сильный ИИ бац и сразу сингулярность.
Начисто игнорируя тот факт, что существование одного или даже миллиона сильных ИИ ещё даже издали не означает что эти AI научились решать прикладные задачи.
После того, как удастся создать мозг, эффективнее человеческого на 10% решающий все задачи, предположим, что это произойдёт завтра (совершенно безосновательное предположение, но пусть), этому мозгу нужно ещё познать окружающий мир. Более того, ему нужно сформировать коллектив мозгов, которые имеют разные точки зрения на мир, чтобы иметь возможность для творчество. ПОнятно, что любая одна картина мира в одном мозге имеет принципиально конечное количество возможных решений и изобретений.
Лучше бы подумали не о экзестенциальной опасности ИИ а о том, кто, как и чему будет его учить. И вот теперь мало того, что потребуется суперкомпьютер на несколько порядков мощнее существующих, так им ещё потребуется популяция в несколько десятков тысяч таких мозгов как минимум. И при этом никакой гарантии, что даже напрягши все свои мысли они найдут святой грааль. Тут же может получиться и как с термоядерной энергетикой. Вот уже 60 лет нам кажется, что до готового реактора осталось два шага. И нынешние образцы типа ИТЕР-а опять всего в двух шагах. Будет это стадо суперкомпьютеров пыхтеть, потреблять гигатонны нефти для получения электричества себе, а полезным выходом может оказаться «42».
А ещё лучше, озаботились бы вопросом, появись такой ИИ завтра, например, в недрах Гугла, и будь он принципиально дружественен к своим создателям, что помешает любому государству, например американскому, применить этот АИ для восстановления мирового господства. Этот сценарий пострашнее будет восстания машин, что интересно, на много, на много более вероятен. Прямо скажем, появись такой АИ, я бы вероятность такого развития событий оценивал в 99%.
Начисто игнорируя тот факт, что существование одного или даже миллиона сильных ИИ ещё даже издали не означает что эти AI научились решать прикладные задачи.
После того, как удастся создать мозг, эффективнее человеческого на 10% решающий все задачи, предположим, что это произойдёт завтра (совершенно безосновательное предположение, но пусть), этому мозгу нужно ещё познать окружающий мир. Более того, ему нужно сформировать коллектив мозгов, которые имеют разные точки зрения на мир, чтобы иметь возможность для творчество. ПОнятно, что любая одна картина мира в одном мозге имеет принципиально конечное количество возможных решений и изобретений.
Лучше бы подумали не о экзестенциальной опасности ИИ а о том, кто, как и чему будет его учить. И вот теперь мало того, что потребуется суперкомпьютер на несколько порядков мощнее существующих, так им ещё потребуется популяция в несколько десятков тысяч таких мозгов как минимум. И при этом никакой гарантии, что даже напрягши все свои мысли они найдут святой грааль. Тут же может получиться и как с термоядерной энергетикой. Вот уже 60 лет нам кажется, что до готового реактора осталось два шага. И нынешние образцы типа ИТЕР-а опять всего в двух шагах. Будет это стадо суперкомпьютеров пыхтеть, потреблять гигатонны нефти для получения электричества себе, а полезным выходом может оказаться «42».
А ещё лучше, озаботились бы вопросом, появись такой ИИ завтра, например, в недрах Гугла, и будь он принципиально дружественен к своим создателям, что помешает любому государству, например американскому, применить этот АИ для восстановления мирового господства. Этот сценарий пострашнее будет восстания машин, что интересно, на много, на много более вероятен. Прямо скажем, появись такой АИ, я бы вероятность такого развития событий оценивал в 99%.
Поражают те, кто просто вопит про то, что ИИ будет неконтролируемым и опасным. Люди вот нифига не контролируемы и весьма опасны. И ИИ делают именно по образу человеческого. Логика, ты где, ау!
Страх перед всем новым и непривычным — одна из черт человека.
С дргуой стороны ИИ ведь можно сделать и более опасным чем человека.
Я бы сформулировал весьма разумную цель — как минимум ИИ надо делать не менее дружелюбным чем человека.
Людей ведь тоже можно по разному воспитать. Нормальный человек не пойдет совершать самоубийственный теракт. А при правильной промывке мозгов в детстве запросто.
С дргуой стороны ИИ ведь можно сделать и более опасным чем человека.
Я бы сформулировал весьма разумную цель — как минимум ИИ надо делать не менее дружелюбным чем человека.
Людей ведь тоже можно по разному воспитать. Нормальный человек не пойдет совершать самоубийственный теракт. А при правильной промывке мозгов в детстве запросто.
>>>Нормальный человек не пойдет совершать самоубийственный теракт
Откуда такая уверенность? У вас есть какие-то доказательства, что все самоубийственные теракты были сделаны ненормальными? Думаю, немало было и таких, которых довели уже непосредственно перед совершением.
Откуда такая уверенность? У вас есть какие-то доказательства, что все самоубийственные теракты были сделаны ненормальными? Думаю, немало было и таких, которых довели уже непосредственно перед совершением.
Встает вопрос что считать нормальным, а что нет. Я имел в виду под «нормальный» в данном случае банальное «принадлежащий к среднестатистическому большинству населения».
Вы серьезно думаете что средний человек даже из России или США или Германии готов стать смертником? Подавляющее большинство даже на простое убийство не способны — и например в армии приходится проводить специальное перепрограммирование.
Само собой это тоже результат определенного программирования-воспитания которое является стандартным в обществе.
Собственно все стандартные нормы воспитания детей — я имею в виду не только законы но и традиции и нормы морали — это в каком-то смысле нормы безопасности. И соблюдаются они весьма строго — как на государственном так и на общественном уровне.
Но будет ли что-то подобное в отношении ИИ? Сейчас ни одно развитое государство не разрешает например военным просто так взять, изъять детей из семей и начать с детства готовить из них абсолютно отмороженных убийц.
Какие-то более-серьезные методы перепрограммирования людей с детства вроде применения химических веществ или там генной инженерии — это одна из тех вещей которые находятся под действительно строгим запретом.
Такое разрешают делать только в отсталых странах третьего мира где нет ни серьезного оружия ни науки.
А будет ли запрет на подобные меры для ИИ? ИИ это де-факто ребенок.
Вы серьезно думаете что средний человек даже из России или США или Германии готов стать смертником? Подавляющее большинство даже на простое убийство не способны — и например в армии приходится проводить специальное перепрограммирование.
Само собой это тоже результат определенного программирования-воспитания которое является стандартным в обществе.
Собственно все стандартные нормы воспитания детей — я имею в виду не только законы но и традиции и нормы морали — это в каком-то смысле нормы безопасности. И соблюдаются они весьма строго — как на государственном так и на общественном уровне.
Но будет ли что-то подобное в отношении ИИ? Сейчас ни одно развитое государство не разрешает например военным просто так взять, изъять детей из семей и начать с детства готовить из них абсолютно отмороженных убийц.
Какие-то более-серьезные методы перепрограммирования людей с детства вроде применения химических веществ или там генной инженерии — это одна из тех вещей которые находятся под действительно строгим запретом.
Такое разрешают делать только в отсталых странах третьего мира где нет ни серьезного оружия ни науки.
А будет ли запрет на подобные меры для ИИ? ИИ это де-факто ребенок.
Вижу 206 параноиков. Одновременно с этим они большие оптимисты.
опасными будут не ИИ, а люди, которые будут ставить им задачи.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Илон Маск подкрепляет свое мнение об опасности ИИ с помощью $10M