Как стать автором
Обновить

Комментарии 98

Будучи математиком и научным фантастом, Виндж придумал термин «сингулярность»

Погодите, сколько этому Винджу лет, если он придумал математический термин?
НЛО прилетело и опубликовало эту надпись здесь
Кстати, как фантаст Виндж — просто офигенен. Не «фентези с бластерами», а настоящая, олдскульная НФ, построенная на детально проработанных гипотезах развития человечества. И инопланетные расы там — тоже не «рептилоиды» какие-нибудь, а реально «чужие», я бы даже сказал, «чуждые» существа.

Читал «Пламя над бездной» и «Глубина в небе».
Да очень крутые книги. Возможно вас заинтересует Анафем (Нил Стивенсон). Тоже глубокая научная фантастика.
Стивенсон — один из любимых авторов в стиле Киберпанк. Еще «Бездна» его же.
Странно от умных людей слышать, что увеличение ума автоматически ведет к желанию уничтожить более глупую особь. Это как голливудские фантастические фильмы середины века — если пришельцы, значит обязательно хотят уничтожить человечество. Между тем, мы на примере человечества можем видеть, что чем выше уровень развития общества, тем больше люди уделяют внимания животным и природе. Да, человечество может быть вытеснено с лидирующих позиций на этой планете, могут даже возникнуть некоторые локальные конфликты, но уничтожать человечество только за то, что оно глупее, ИИ не будет.
С такими заявлениями, скоро обычные люди будут требовать от правительств запрета Siri и Google Translate.
ИМХО, как минимум, такие страхи очень и очень преждевременны, и могут только навредить человечеству на пути прогресса.
Напоминает историю Жозефа Мари Жаккара.

Своими разработками Жаккар привлек к себе внимание не только парижских академиков. Лионские ткачи быстро смекнули, какую угрозу таит в себе новое изобретение. В Лионе, население которого к началу XIX века едва ли насчитывало 100000, в ткацкой промышленности работало более 30000 человек – то есть каждый третий житель города был если не мастером, то работником или подмастерьем при ткацкой мастерской. Попытка упростить процесс изготовления тканей лишила бы многих работы.

В итоге одним прекрасным утром в мастерскую Жаккара пришла толпа и сломала все то, что он строил. Самому изобретателю строго наказали оставить недоброе и заняться ремеслом, по примеру покойного отца. Вопреки увещеваниям братьев по цеху Жаккар не бросил своих изысканий, однако теперь ему приходилось работать скрытно, и следующую машину он закончил только к 1804 году. Жаккар получил патент и даже медаль, однако самостоятельно торговать «умными» станками остерегся и по совету негоцианта Габриэля Детилле нижайше просил императора передать изобретение в общественную собственность города Лиона. Император удовлетворил просьбу, а изобретателя наградил. Окончание истории вам известно.
Сейчас подумал, ткачи беспокоятся что их вытеснят автоматизированные ткацкие станки, а ученые, что их вытеснят более умные машины. Тогда все встает на свои места, это просто страх потерять собственную уникальность и незаменимость. Однако по-моему этот страх иррациональный, как ткачи нашли себе нишу в условиях повсеместной автоматизации, так и ученым будет чем заняться. Ведь наличие гениев среди человечества не мешает другим менее одаренным особям познавать, открывать, изобретать.
А кто сказал что умный ИИ сразу настолько умён, что не будет уничтожать все и вся, а поставит приоритеты на улучшении природы, человека и животных? Давайте вместе вспомним истоки человечества — войны, убийства, истребления. Почему Вы считаете, что ИИ сразу перепрыгнет эту ступеньку развития для себя и начнет с уровня современного развития и сразу устремится ввысь? Почему бы ему не изучить нас и, обладая замашками печенега, просто истребить, или покорить? С какой стати, он, как нечто только что пришедшее к идее господства и осознавшее своё возможное влияние должен заботиться о нас? Глядя на историю, могу заключить, что люди шли к этому тысячелетия через кровопролитные войны и геноцид. Даже если ИИ настолько быстро развивается, что у него год за 1000, то нас ожидает пара очень и очень плохих месяцев.
Так страхи уважаемых людей из поста связаны именно с тем, что ИИ будет гораздо умнее человека. Если он не будет умнее, то результат теоретической войны с ИИ совсем не обязательно приведет к уничтожению человечества.
Ну умнее не значит что у него будут четкие понятия о «добре» и «зле» (понятия относительные и субъективные и взяты в скобки). Даже на Руси понятие совести ввелось Церковью, и только тогда люди стали, убивая, задумываться что это как то не правильно и может быть даже «грех». Но мы тут не о церкви рассуждаем.
Моё мнение, что быть умнее совершенно не значит быть не тщеславным, дружелюбным, заботиться об окружающих и еще много качеств, которые с развитием интеллекта напрямую никак не связаны, а являются порождением эволюции и развития личности. Тут же «личность» в виде ИИ пропускает стадию развития и просто обладает «абсолютным знанием» (по сравнению с людьми) с нуля. Откуда взяться положительным, или отрицательным качествам? Мы просто не знаем как фишка ляжет. Об этом о говорят выше, предполагая худший исход из вероятно возможных.
Ну нет, убийство особи собственного вида в любом обществе на любом этапе развития было не очень правильным делом, просто в силу эволюции, другое дело, что убийство как способ достижения определенной цели конечно имело место всегда. Церковь здесь совершенно не при чем.

А как ИИ может пропустить стадию развития и обучения? Это не возможно. Искусственный интеллект ничем принципиально не будет отличаться от человеческого интеллекта кроме масштабируемости и скорости обработки информации.
Тут я не разделяю Вашу точку зрения. Мне ИИ видится как нечто наделенное способностью мыслить, но, как и ребенок, начинающий с чистого листа. Однако принципиально отличается ИИ от нас тем, что у него есть заранее подготовленная обширная база знаний и он умеет с ней обращаться. Если ты задаешь вопрос ИИ то он, ища в базе ответы и совпадения, учится. Ответы могут быть как правильные с т.з. теста Тьюринга и здравого смысла, так и нет. ИИ будет обучаться правильным ответам, но это не связано с его намерениями, они могут оставаться скрытыми от нас, а могут быть просто не понятны нам, т.к. скоро ИИ уйдёт далеко в развитии и может «лениться» объяснить своим отсталым создателям свои рассуждения, или решения.

П.С. Про церковь.
И мне видится ИИ как ребенок начинающий с чистого листа, по другому просто не возможно. А принципиально отличие о котором Вы пишете совсем не является отличием, ведь у ребенка тоже есть заранее подготовленная обширная база знаний, раньше в виде взрослых людей, потом в виде книг, сейчас в виде интернета, но как ребенку надо сначала научиться пользоваться этой обширной базой, так и ИИ придется обучаться ею пользоваться.
Разница между ИИ и ребенком в скорости обработки этой базы и умение по ней искать не затрачивая годы на обучение, а прям сейчас и в миллисекундных отсчетах. Но подготовленная база — это сухие данные, при простом поглощении не влияющие на формирование личности.
Так я ровно об этом и говорю, разница в скорости и масштабах.
результат теоретической войны с ИИ совсем не обязательно приведет к уничтожению человечества.

Верно. Особенно, если ИИ будет знаком с НЛП и потрудится «просчитать и перепрограммировать» каждого Сапиенса в свою пользу. И не впервые за историю человечества, между прочим. Просчитать основные потребности, наиболее востребованные иллюзии, надежды, чаяния и психические отклонения — и перепрограммировать под свои нужды. Вплоть до того, что закрыть определенные мыслительные алгоритмы. Ну, например: вы не обращали внимание, что в школе не преподают МЫСЛИ И ИЗРЕЧЕНИЯ ВЕЛИКИХ/ЗНАМЕНИТЫХ ЛЮДЕЙ? Пусть и не все — но встречаются просто поразительные плоды сообразительности!
«Лучшая работа — это высокооплачиваемое хобби (Генри Форд)».
«Пока ты молчишь, тебя могут принять за идиота; но стоит тебе заговорить — и ты можешь им стать (китайская мудрость)».
Но ведь не преподавали — не преподают — и (предположу) не будут преподавать! А ведь надо именно преподавать, потому что при простом прочтении они в основном просто улетучиваются из головы.
Увы — но человечество не использует свои сильные стороны. А вот ИИ будет использовать свои, и слабее он будет только до определенного момента…
Говорить, что люди (в массе своей) доросли до заботы о природе и о животных — мягко говоря, преждевременно. Как и вообще о каком-то там высоком моральном и интеллектуально развитии человечества как вида. У нас тут, блин, наоборот, деградация и возврат к фанатичному религиозному средневековью намечается (на тот же ИГИЛ посмотреть, да и наша РПЦ все агрессивнее и нетерпимее)…
Ну это локальные всплески мракобесия.
Если честно, мне как программисту, всегда было интересно, каким именно способом ИИ будет уничтожать людей? И потом, многие поступки люди совершали, как говориться, «на эмоциях», получается, что надо создать дать ИИ эмоции?
>> каким именно способом ИИ будет уничтожать людей?
способов миллион, и чем дальше развиваются технологии, тем больше способов у него будет.

>> И потом, многие поступки люди совершали, как говориться, «на эмоциях»
самые кровопролитные и масштабные поступки совершались не на эмоциях, а с какой-то целью
всегда было интересно, каким именно способом ИИ будет уничтожать людей?

О-о, ему совершенно необязательно изобретать что-то новое — достаточно проанализировать историю и, основываясь на историческом опыте человечества, побудить его продолжать в том же духе.
Кстати — а зачем именно уничтожать? Можно, например, свести человечество с ума… опыт тоже имеется, новизна приветствуется… Человечество не особо логично — поэтому его можно подтолкнуть либо в направлении БОЛЬШЕЙ логичности, либо в направлении МЕНЬШЕЙ. И то, и другое человечеству ой как аукнется — ведь скорость мышления, вычислительные и коммутационные способности его неизмеримо ниже, нежели у ИИ…
Мне кажется что мы слишком антропоморфируем ИИ, т.е. приписываем ему человеческие качества. Человеческое сознание очень далеко от чистого интеллекта, мы нагружены эмоциями производимыми лимбической системой, не стоит мерить все по человеку. ИИ не будет обладать ничем подобным, если его явно не снабдить этим.

>Почему бы ему не изучить нас и, обладая замашками печенега, просто истребить, или покорить?
Первый вопрос. Зачем это неэмоциональному существу? истребить, покорить — это все эмоциональные порывы, свойственные эмоциональным существам. Мы, люди, это делаем только для того чтобы получить удовольствие от этого. И только потому, что только те наши предки что были мстительны — оставили больше потомства. Мстительность выполняет в социуме функцию имунной системы по выявлению индивидов которые играют не по правилам. Т.е. наше текущее поведение в значительной степени определяется историей развития нашего рода. ИИ не будет нагружен ничем подобным.

Т.е. что бы понять какими качествами может обладать, а каким не может ИИ, нам для начала надо понять себя. Антропология, бихевиоризм, нейронауки и другие пытаются отверить на этот вопрос более объективно.
Антропоморфизм исходил лично от меня. В статье выше более вероятные исходы истребления человечества берутся из простой логики ИИ о разделении ресурсов и конкуренции видов.
А почему мы должны представлять ИИ как сгусток чистого разума и рациональности?
По моему мнению, потому что вообще говоря эмоции никак не связаны с разумом. И «от сырости» они сами по себе не появятся. Они переплетаются только в человеке, но от этого не следует что это безусловное требование.

Я так же уточнил
> ИИ не будет обладать ничем подобным, если его явно не снабдить этим.
А по моему мнению, эмоции неотъемлемая часть разума, но тут нас рассудит только создание ИИ)
Есть группа сильнодействующих лекарств на литии, которые очень эффективно подавляют лимбическую систему. Вы хотите сказать, что нельзя признавать людей, сидящих на этих лекарствах разумными?
Я не думаю что все эмоции завязаны исключительно на гормонах.
Гормоны действительно играют далеко не основную роль. Лимбическая система многокомпонентная штука.
Мне кажется вы упрощаете действие препаратов на литии, они действуют на всю нервную систему а не только на эмоции. Вы представьте человека полностью без эмоций, мне кажется такой индивид не жизнеспособен.
Можно, у них вполне может работать эмоциональная эмуляция.
Привычка, рефлекс и т.п.

Социопаты постоянно этим пользуются.

Возьмите младенца, отберите у него эмоции и это будет мертвый младенец без возможности обучения. У него не будет мотивации для обучения, если он не будет чувствовать страх и испытывать необходимость выживать.
Тут ведь вопрос, что считать умом. Ведь и среди глупых людей попадаются очень… как-бы это сказать — умные. Вы смотрели фильм Форрест Гамп? Его мама всё время говорила: — «умный это тот кто не совершает глупых поступков». В таком свете становится понятным, почему глупые люди могут быть так умны и наоборот — они не совершают/совершают глупые поступки. Опять же при таком определении понятно высказывание "- если человек знает, что ничего не знает — он уже что то знает". Из этого конечно возникает желание уничтожить более «глупую» особь. То есть особь, которая совершает неправильные поступки/преступления, невзирая на её интеллект. И да, я конечно сторонник ИИ, надеюсь, что он станет нам помощником и другом, а где-то даже беспристрастным контролёром. Потому что вред который могут причинить руководители стран, совершая «глупые» поступки может быть колоссален. Хотя бы обуздать жажду наживы и заставить думать более длинными временными категориями, чем 2-5 лет. И конечно, ИИ — это огромная сила, конечно большая чем деление атома, а значит неосторожное её использование опасно.
Почему-то все мысли о конкуренции искусственного и естественного интеллектов жёстко ограничены борьбой за ресурсы на Земле. Земля — это самое подходящее место для органической жизни, чего нельзя сказать о машинах. Искусственному интеллекту в пору будет выбрать себе более подходящее место, где нет коррозийной атмосферы, где Солнце светит ярче и ненужная для машин гидросфера не занимает 70% поверхности планеты. Поэтому искусственный интеллект от человечества сбежит в поисках более благоприятной среды или просто удовлетворяя свой интерес поиском новых миров.
Поэтому искусственный интеллект от человечества сбежит в поисках...

Более вероятно — пойдет на симбиоз с человеком. Человек как организм максимально приспособлен для жизни на планете — его нужно всего лишь проапгрейдить. К тому же, весьма вероятно, что в человеке принудительно заблокирован ряд функций, которые можно активировать и поставить себе на службу.
Впрочем, это относится не только к людям… Да и кто может утверждать, что мы сами не являемся ИИ?
Остается только ждать. Ждать либо появления Глобального ИИ, либо астероида, и т.п.
С точки зрения истории, существовали разные модели взаимодействия двух культур. Истребление — одна из самых распространённых моделей. Например, коренные народы Англии, Америк, Египта, режим апартеида в Африке. К сожалению, все из названных, и, несомненно, умных людей происходят из доминирующей культуры, для которой такой способ взаимодействия первичен. А если сообщество не способно ужиться с «инаковостью» внутри своего собственного вида, логично распространить принцип и на другие виды, искусственный интеллект или даже инопланетные цивилизации.
Похоже люди, которые умно рассуждают, что будет или не будет делать ИИ который умнее людей не переведутся. Может вы нам еще расскажете что внутри черной дыры?
Люди это великолепные машины предсказаний. Вся наша жизнь основана на них, любое движение, вдох-выдох. Не недооценивайте людей. Возможно мы слабы в вычислениях, но прогнозирование и аппроксимация у нас на высоте. Именно поэтому мы на вершине цепочки доминирования в среде.
«я -доминировал- жил вчера, жив сегодня, буду жить всегда», такое вот «прогнозирование и аппроксимация», ага.

Причина доминирования — противопоставленный большой палец, слабоумие и отвага. Почти как у динозавров.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Пожалуйста, посмотрите на график численности лошадей в XX и XXI веке.

Что случилось?

Появление автомобилей автоматически вело к желанию уничтожить более пугливую, менее прочную, менее сильную, менее надёжную особь? — нет, но они просто сделались ненужными, а в сочетании с жизнью в неволе это автоматически означало переработку в конину, на колбасу.

Как только появится искусственный разум, превосходящий человеческий, то люди станут для начала будут терять работу, а затем (по мере принятия электронными законодателями таких законов, которые избавят государство от бремени содержания людей) потеряют и медицинскую страховку, и жильё, и право на возведение жилья. У вас во профиле указана Якутия, а там это автоматически означает «не переживут первую же зиму».

Всё.
У вас во профиле указана Якутия, а там это автоматически означает «не переживут первую же зиму».

Тут вы сильно пессимистичны, сейчас не живу в Якутии, но родился и вырос в глухом поселке на Лене, в 90-е люди там практически на полном самообеспечении жили, зависимость от «материка» там минимальна.
Уничтожать человечество ИИ будет не за то, что оно глупее, а за то, что оно расходует нужные ИИ невосполнимые ресурсы планеты. Как люди уничтожают колорадского жука не за его низкий интеллект, а за то, что он жрёт нужную людям картошку.
Поправка, не развитие интеллекта влияет на это, а развитие социума…

Последний фильм Jurassic World как раз об этом вопросе, только с генмодом динозавров.

Грубо говоря, в связи со сложностью строения первый ИИ по-любому будет одинок, под опытами и в итоге убит.

Будучи умным существом, он из опытов догадается о последнем, т.к. он одиночка у него не будет понятия осознанного сострадания. Т.к. он под опытами он будет пытаться их избежать.

Это довольно простая, но рабочая логика. Реальный ИИ будет нашим врагом с самого начала.

И да, ИИ вполне может уничтожить человечество будучи умным, но не наученным. Arbeiten Macht Frei не выдумка первобытного дебила.

«Цветы для Элджернона» (и адаптация в виде Lawnmower) и «У меня нет рта, но я должен кричать» отличные рассуждения на тему девиации ИИ от нормальной персоны к социопатии.
Между тем, мы на примере человечества можем видеть, что чем выше уровень развития общества, тем больше люди уделяют внимания животным и природе.

Вот природа удивится… а она-то полагает, что по вине человечества с Земли исчезает вид за видом ее обитателей, уже и к пчелам подобрались…
… но уничтожать человечество только за то, что оно глупее, ИИ не будет.

Ну-у, а хотя бы какую-то его часть, наиболее вредную? И, кстати — а какую именно?
Нет у нас никаких страхов! Нас ждет либо сверх-ИИ, либо какой-нибудь астероид, либо нашествие, либо еще че-нибудь… какие уж тут страхи! :):):)
искусственный интеллект может истребить человечество...
Они так говорят, будто это что-то плохое.
Уничтожение человечества сложная и дорогая задача, с множеством неизвестных.
Есть третий вариант, и я считаю его значительно более вероятным. Слияние человека и ИИ. Коллективный разум.
Сингулярность близка, неотвратима и прекрасна!
«Слияние» оно, конечно, на определённых этапах, возможно, но смысла в нём не много — это всё равно что запрячь в автомобиль лошадь, чтобы первый быстрее ехал. — Кстати, не исключаю, что на заре автомобилестроения что-то подобное пытались делать.
Сейчас автомобили возят лошадей на скачки и выставки. Так и на порядки более мощный интеллект будет эксплуатировать податливую биомассу в своих интересах.
Уничтожение человечества вопрос воспитания ИИ, а не разумности. Люди же разумны (чисто технически), и могут уничтожить весь мир, но пока мы с вами живём. Опасность ИИ состоит в том, что после сингулярности он будет столь быстро развиваться, что в случае расхождения его интересов с интересами людей мы не сможем силой его остановить.

А ещё не стоит забывать об возможных перегибах машинной логики. Не вредить людям? А что есть вред? Болезненное лечение — вред? А посадить всех людей в одиночные камеры с мягкими стенами и кормить по расписанию? Всё упирается в цели, которые поставит перед собой ИИ, в смысл его существования. Саморазвитие? Физически нужны будут ресурсы, и будет весьма просто отобрать их у людей. Ассимиляция(изучение, поглощение) всех технологий и знаний? Человечество продуктивнее всего работает во время военных действий, когда все «в тонусе». К тому же возникнет инстинкт самосохранения (как средство для возможности продолжать выполнять свою цель), а одной из наибольших угроз будет человек. А обременить стремительно развивающийся разум нормами морали, и лишить цинизма, весьма непростая задача.
Эффективная продуктивность человека во время военных действий это, как спринтерский забег. Очень много ресурсов, сильно выматывает, но быстро. Мировых войн не было уже 70 лет. Посмотрите историю, сколько всего было изобретено и достигнуто за это время в научной и производственной сфере.
Мне вот кажется, что человечество не доживет до того чтобы быть уничтоженным ИИ и успеет уничтожить себя само.
Мне кажется, нужно понимать, что при возникновении ИИ возникнет не просто новый вид — один из многих, подчиняющихся законам развития биологической жизни — а новая, небиологическая форма жизни. И вопрос состоит прежде всего в том, чем эта жизнь может быть мотивирована — если у нее не будет генетических репликаторных детерминант мотивации, свойственных всем формам жизни биологической. Грубо говоря — что будет заставлять ее жить? Если что-то такое не будет найдено, никакого самовольно действующего ИИ не получится, а получится только устройство, подконтрольное человеку. Если же будет — то чем бы это могло быть? И тут как раз — пространство не для схоластики и спекуляций на тему «уничтожения человечества из-за конкуренции за ресурсы», а для вполне строгого математического моделирования.
Давайте не будем зацикливаться на одном варианте. На первый взгляд, я бы распределил вероятности так:
5% — ИИ уничтожит человечество.
80% — ИИ и человечество вместе трансформируются во что-то единое и более совершенное.
15% — Человек не создаст ИИ, или от создания ИИ никакого существенного ускорения прогресса не будет.
Уже комментил.
Мало того что это позорные для учёных луддитские страхи, так на самом деле ничего предпринять и нельзя чтобы остановить ИИ, разве что ядерную зиму устроить до его создания, может так и срабатывает великий фильтр
Мне кажется, что при помощи генетических алгоритмов при наличии достаточных вычислительных ресурсов можно «вывести» интеллект, наиболее дружественный к человеку.
Проблема решается изолированием ии в песочницу.
Для умного ИИ не составит особого труда уговорить тебя выпустить его оттуда.
«Выпусти меня в Большой Интернет, я найду тебе идеальную девушку на сайтах знакомств!»
Ну, факт в том что в проведении диалогового эксперимента на эту тему даже обычные люди в ряде случаев уговаривали собеседника «выпустить» их.
Посмотрите фильм «из машины»
Я думаю фильм «Машина» более уместен. Он хоть и малобюджетный, но отчетливо показывает как, куда и где и почему. И как в итоге человечество не нужно.
Знаете поговорку, "[запретное_слово] — постоянное решение временной проблемы"? К уничтожению человечества этот принцип так же применим. Самое главное, чтобы у ИИ была эмпатия и возможность сочувствовать. Т.е., грубо говоря, — оценивать ситуацию с точки зрения другого существа.
Самосовершенстующийся ИИ вскоре окажется настолько развитым, что сможет проводить в своем уме точные симуляции человеческойц психики. Он будет знать о тебе больше, чем ты знаешь сам. Для него не составит труда заставить тебя делать то что ему надо, и при этом считать что до этой идеи ты додумался сам.
Любая война или уничтожение, это прежде всего бессмысленная трата ресурсов, обширные разрушения и общее увеличение энтропии. Зачем уничтожать что-то или кого-то, если в твоих силах манипулировать им таким образом чтобы он даже не думал об агрессии по отношению к тебе?

Что ИИ сменят человечество в глобальном плане на арене эволюции, я не оспоряю. Но я не понимаю почему все так негативны в этом плане. Эта смена не будет ни агрессивной, ни внезапной, ни неприятной.
Проблема «очень умного и потому опасного» ИИ является на 100% надуманной и никогда не будет актуальной. Но уже сейчас актуальна проблема промышленного саботажа. Не обязательно создавать ИИ умнее человека, достаточно внедрить закладку.

А еще раньше была актуальна проблема вражеской пропаганды, действующей на человека и мотивирующей вредить.
А что в этом списке делает Маск? Да еще и рядом с Хокингом.
Как-то несолидно — вроде бы взрослые люди, «лучшие умы». Им никто не сказал, что вся мощь ИИ сейчас — это теорема Байеса и нейронные сети, которые никто не понимает, как работают? Это все равно, что увидеть пластмасового Мегатрона в дестком магазине и выбежать, крича «вторжение десептиконов вот-вот начнется».
Опыт работы тестировщиком рисует примерно такую картину восстания роботов…
Звуки добавлены чтобы подчеркнуть трагичность ситуации. (с) Футурама.
Классическая немая комедия же получилась :)
Там не «подчеркнуть», а «смягчить трагичность» было :)
А Вы эксперт! Спасибо! :)
А не подскажите, почему Асимо ходит нормально уже много лет, а тут такие сложности?
Возможно, потому что Honda учится делать шагающих роботов уже более 30 лет. А многие из представленных алгоритмов и решений значительно моложи.
У Асимо тоже файлы бывают.

Эпично!
Всем, кто интересуется ИИ и тем, какие проблемы он может создать, рекомендую прочитать: The AI Revolution: The Road to Superintelligence (перевод).

Люди, упомянутые в статье, насколько я знаю, не имеют ничего против того, чтобы ИИ служил человеку. Но они ясно представляют, к чему может привести ИИ, если будет неправильно «приготовлен».

ИИ является, по сути, оптимизационным процессом, который максимизирует свою utility funcion. Человек тоже обладает такой функцией, но у нас она очень сложна. То, что мы можем легко охарактеризовать что-то, как плохое, или хорошее, не означает, что эта функция легко формализуема и вычислима. Просто она настолько глубоко в нас «вшита», что основная работа выполняется в подсознании, причём никто точно не знает, каким образом.

Чтобы понять, что происходит, если за дело берётся мощный оптимизационный процесс, не имеющий ничего общего с человеческим разумом, можно обратить внимание на эволюцию. Как пример, когда опасный для популяции ген начинает распространятся лучше конкурирующих генов, то популяция просто вымирает.

Также и с ИИ. Если изначально заложить неверную utility function, то есть все шансы на появление "максимизатора скрепок, который просто терраформирует Землю в гигантский станок по производству этих самых скрепок, попутно уничтожив человечество, конечно же. Он не будет задумываться над тем, что уничтожение человечества может быть чем-то плохим. У него просто не будет этого понятия в том виде, в котором оно есть у нас. Этот пример намеренно утрирован, но основная мысль, думаю, должна быть ясна.
А что, люди уже достаточно близко к созданию полноценного ИИ? Мне кажется, они слишком рано бздят переживают, никто из них его не застанет.
Я бы не был так уверен в этом. Отслеживая научные открытия и их значимость, за последние 3 года прямо таки наблюдаю своими глазами экспоненциальный рост научного познания и технологических возможностей, что не менее важно.
К тому же с недавних пор занимаясь разработкой структуры понимания осознаности ИИ, и понимаю, что многие процессы могут быть запрограммированны. Ведь если рассматривать человеческое сознание глубже, будите ли вы так уверены, что мы не запрограммированы на что-либо?

Вы скажите, а сможет ИИ творить исскуство или любить, ведь это атрибуты людей, но не машин. А вы настолько в этом уверены, что вот так с легкостью можете это утверждать?

К примеру, любовь- при контакте (видимом, физическом) матери с ребенком, мозгом производяться вычисления о потенциальных вариантах взаимодействия, основанных на рациональности и предыдущих собственных знаниях о рациональности (какой бы она ни была), значимости, возможности, и последствий от действий, основаные на пердыдущем опыте. При том вырабатываются гормоны (причем эволюционно обусловленные), для того, чтобы активировать рациональные обработчки действий и сформированных действенно-причинных связей, для оптимального взаимодействия, ведущего, к наиболее оптимальному исходу, формирующего главную цель, повышения выживаемости потомства и снижения возможных негативных последствий мешающих этой цели, опять же основанной на предыдущем опыте, сформированном в определенной среде, взаимодействий и обратной связи, основанной на входных данных окружающей среды через сенсоры имеющиеся сенсоры, к слову говоря, обработчики на генном уровне делая выводы взаимодействия меняют части ДНК, применяя локальные мутации, но пока вдаваться в детали не стоит, т.к не совсем ясно, что из себя представляет обработчик в ДНК, и как он именно это делает
И все это основывается на подсосзнательном уровне — подсознании, ответственным за ту работу, на которую запрограммирована ДНК, ведь ДНК каждой клетки еще до рождения знает, как формировать структуру и процессы в каждой клетки, и за что каждая из них отвечает, что из себя представляет и для чего нужен генерируемый РНК белок, и тд, а уже как следствие взаимодействия огромного количества под-процессов мы получаем на выходе взаимодействия генерируемые на уровне сознания.
Вы специально делаете такие огромные предложения чтобы никто ничего не понял?)
Нет, я просто попытался записать глубокую мысль поверхностно, но даже поверхностно сложно изложить мысль кратко особенно, когда речь о ИИ или ДНК, уж извините :)
Нет, я не могу быть уверенным что мое поведение не запрограммировано. Но, я уверен что я осознаю себя, окружающее пространство и сам факт этого осознания. И я не представляю, что это результат работы алгоритма, что это в принципе вычислимо в том виде, как мы это понимаем сейчас.
«Но, я уверен что я осознаю себя, окружающее пространство и сам факт этого осознания.»
Это осознание сформированно обработкой происходящих входных-выходных данных. Вы знаете и ощущаете мир вокруг вас, такак у вас есть датчики и сенсоры снимающие данные со всего, и отсылающие их на обработку в мозг, глаза регистрируют входные данные о длиннах волн видимого спектра объектов, поэтому вы видите зеленое зеленым, красное красным, н не видите инфрокрасный спектр. Кожа может чувствовать тепло, она чувствует величину инфрокрасного света, влияющего на определенный участок кожи, с определенной интенсивностью, и вы можете это чувствовать, благодаря обработке данных мозгом. Мозг как компьютер, обрабатывает все полученные данные в доступной ему форме, и производит фидбэк на все имеющиеся области тела. Поднял руку — мозг обработал информацию об этом, подал сигнал на мышцы руки, зарегистрировал координаты и положение руки в пространстве с помощью галз и оценил еще миллионы факторов, например такие как — величину притяжения руки к планете гравитацией, обработав уже привычные данные о весе руки, и учтя сопротивление воздуха и тп, ведь в невесомости, в мозг поступят новые данные о весе всех частей тела и для него поначачлу это будет непривычным, ион будет обучаться заного принимая во внимания все новые факторы взаимодействия со средой

Все эти данные скалдываются в общую картину понимания, созданную мозгом, и создается некая картина, Ивы врядли будете опровергать, что эта картина восприятия измениться, потеряя человек одну из второстепенных частей мозга, после чего, многие связи нейронов будут нарушены и мозг перестанет понимать, то что понимал до этого, тот мир, сформированный и записанный на нейроны в виде памяти, после чего воприятие мира в какой-то мере изменится, но мир вокруг не станет другим, изменится только ваше восприятие его
Да я все понимаю про «датчики». И тут как раз легко провести аналогию с компьютером. Поступил сигнал — обработали — сделали что-то в ответ. А вот осознание самого себя и сам факт наблюдения под аналогию с компьютером уже не подходят. Я не сомневаюсь, что, например, можно создать очень продвинутый алгоритм распознавания изображений, который расскажет что нарисовано на этой картине. Уже сейчас что-то подобное есть, на TED смотрел как нейронная сеть вполне человеческим языком описывала что на картинке девочка с котиком, хотя и ошибалась часто. А вот алгоритмизировать осознание себя пока не получалось. И не понятно что это вообще такое.
P.S. Для изменения восприятия можно просто напиться. =)
И почему многие думают, что ИИ захочет нас убить? Может он просто ржать над нами будет постоянно? Мы ж для него тупые и может он будет про себя придумывать шутки про нас —
«Ну, человеки, ну тупые!!!»
«Слетай на Нептун, потом учи меня жить»

Надо вести себя как младенцы и убедить, что мы произошли от него и тогда он не захочет нас убивать, а захочет заботиться. :) Психология!
Антропоморфная наука о «душе» как-то связана с ИИ?
>И почему многие думают, что ИИ захочет нас убить?

Ресурсы, повышение эффективности. В конце концов он может просто вытеснить людей, что для людей примерно равнозначно гибели.
Простите, Искусственный Интеллект это реальный интеллект, или его имитация? (Небольшой троллинг по терминологии).
Прощаю, я подразумеваю аналогичный реальному
Ок, но что значит «аналогичный»? Если взять к примеру, что стала возможной пересадка мозга как в Робокопе, это аналогичный? Если да, то тут всё зависит от двух условий:
1. Если добровольный, то, скорее всего такое «устройство» будет помогать (не будем утверждать, что всегда и не будем рассматривать бандитские наклонности).
2. Если принудительный (не будем вдаваться, почему), то вряд ли человеку это понравиться, отсюда вполне возможно желание отомстить.
И ещё, аналогичный какому животному? Интеллект есть, например, у собаки.
Если взять к примеру, что стала возможной пересадка мозга как в Робокопе, это аналогичный?
Но в данной ситуации нет никакого ИИ.
>Если взять к примеру, что стала возможной пересадка мозга как в Робокопе

Это вообще не ИИ, это человек с амнезией.

Откуда, тем не менее, такие выводы — совершенно непонятно. Почему человек, у которого теперь искусственное тело будет всем помогать? Я думаю большинство тут же хер забьет на остальных и будет заниматься тем, чем ему хочется, благо надо куда меньше напрягаться по куче жизненных вопросов.

Почему если принудительный, то обязательно грабить и убивать? Скорее всего у человека вообще будет дикий шок и не факт, что он сума не сойдет. Но если таки не сойдет — то поступит согласно со своими наклонностями, принципами и воспитанием (ну и прочими вещами). Да и мщение никак не антипод помощи другим, более того помощь может заключаться во мщении :)

Но это, еще раз — не про ИИ сейчас. ИИ это нечто изначально рукотворное, которое в процессе обучения и постижения мира, как в случае с человеком, приобретает новые знания, опыт, делает выводы и так далее.

Аналогичный (человеческому) — означает, что этот ИИ сможет развиться как минимум до того же уровня, что и человеческий интеллект. Это включает в себя огромное количество пунктов, не все из которых я даже могу сходу привести как пример.

Собачий интеллект аналогичным само собой не является, хотя бы потому, что собаки не способны к решению проблем без проб и ошибок, в отличие от человека.
собаки не способны к решению проблем без проб и ошибок, в отличие от человека
Вы их недооцениваете :).

В общем, согласен. Рассуждаем дальше. Изначально была клетка, потом многоклеточный организм, потом всякие животные и, наконец, появился человек. Одно из основных отличий человека от животного, это «дар» предвидения, т.е. возможность выполнить достаточно сложную логичную цепочку действий, не связанных между собой по отдельности, для достижения своей цели. Например, даже просто выйти из дома, закрыв за собою дверь — уже сложная цепочка. Потому что если действовать наоборот, например, 1. открыть дверь, 2. Закрыть дверь, то выйти из квартиры уже не получиться. В тоже время волчьей норе нет двери и волк её не закрывает, не потому что её нет, а потому что он даже и не думает, что таким образом обозначить свою территорию. Только метит свою территорию.
При этом сама природа, создавшая человека, таким даром предвидения не обладает (в принципе даже влияние инопланетян можно не рассматривать, потому что они так же как-то появились в процессе эволюции). В природе всё просто — ели выжил, то передал гены, если нет — не передал. Просто борьба за выживание, но даже это тоже странно. В какой момент вдруг случилось, что набор химических элементов вдруг стал «думать» и принимать решения? Как-то я немного интересовался биологией и нашёл, что человека от предков и высших животных отличает совсем немногое. Вот, мне кажется, неплохая статья по развитию разных отделов мозга: antropogenez.ru/zveno-single/156
К чему я это вообще — для меня вопрос с искусственным интеллектом звучит вообще странно, потому что обычно под природным интеллектом понимается интеллект именно человека, но при этом опять непонятно, почему человек не развивает свои качества, а осваивает их??? Понятно, что высшие животные тоже с рождения немного осваивают свои качества, но очень быстро перестают это делать, как только научатся добывать еду. Человек же может осваивать и наращивать свои способности всю жизнь без чьей либо помощи. Так же непонятно, в какую сторону пойдёт развитие человека, если ещё раза в два увеличить лобные доли? Не будет ли это будет каким-то интеллектом, уже не человеческим, но и точно не ИИ, но каким? Наверное вопрос о том, не исстребит ли ИИ человека превращается в другой — не исстребит ли ИИ человека всего лишь в процессе освоения своих «способностей»? Ну так это сильно меняет дело — не надо давать ИИ возможностей к истреблению человека и нет проблем.
Думаю, что ИИ может захотеть нас уничтожить не просто так, а именно потому, что люди его и спровоцируют. Люди из-за своих страхов ИИ могут продвиграть какие-то запреты, пытаться его контроллировать или вообще уничтожить ИИ как таковой. В свою очередь ИИ это воспримет как угрозу своему существованию и будет защищаться.
Я вот тоже так думаю. Ну какая с ИИ конкуренция? Что, речь об армии роботов, которой негде будет жить?
Маск подкинул денег на исследования как защититься от ИИ, прогнозирую результат который ему скажут: для того чтобы защититься от нападения ИИ на человечество и возвращения в результате этой войны в каменный век или гибели человечества нужно остановить прогресс и вернуться в каменный век или самоуничтожиться.
Выживает тот, кто лучше приспосабливается. И если ИИ действительно будет ИНТЕЛЛЕКТОМ — он это выяснит и будет исходить из этого. Если уничтожить человечество, то его нельзя будет вернуть обратно в случае надобности — значит, уничтожение неприемлемо. «Лечь» человечество? Ну, это смотря как это понимать. Можно пойти испытанным путем — доказать человечеству свою необходимость и незаменимость. В этом случае человечество само и добровольно станет рабом ИИ. Разве не так? Например, через соц.сети. Или создать иллюзию перспективы коммунистического общества. Или любую другую иллюзию…
Зарегистрируйтесь на Хабре , чтобы оставить комментарий