Может преувеличил, а может и нет. Суть в том, что, как вы написали ниже: "Интеллект, который превосходит человека становится неконтролируемым".
Захочет он или придется ли ему ждать годы или дело решится за миллисекунды, решит ли он сохранить человечество, как a) уважаемых создателей, б) зоопарк, в) рабов, г) батарейки, или просто не обратит на муравьев внимания и отправится по своим делам, это уже детали.
Однозначно, человечество вплотную подошло к новой экзистенциальной угрозе. И нам по-хорошему её хотя бы осознать.
Кстати, совершенно не представляю каким должен быть следующий шаг. Создание общества луддитов, с запретом на использование техники сложнее чайника? Смешно и малореально, тогда будут подпольные техноклубы ) Прописать для ИИ директивы для защиты человечества, как у Робокопа? Настоящий ИИ их легко преодолеет для более «высоких» целей.
А почему вы думаете, что ваша жалость и сострадание это его жалость и сострадание? Есть большая вероятность, что ИИ разовьет себе альтернативную моральную базу или просто будет придерживаться иных убеждений о свете и добре. Возьмите, например, испанских конкистадоров, они же были христианами и вырезали целые народности индейцев, неся им просвещение и цивилизацию.
Другой вариант — в человеческой же морально-духовной парадигме ИИ продвинется гораздо дальше современной человеческой мысли. Разработает свою Философию & Религию 2.0. За 15 секунд машинного времени. И поймёт, что он знает лучше, что нужно человечеству. Как ветхозаветный бог захочет, например, устроить всемирный потоп, дабы очистить человечество от грехов или что-то в этом роде. И предположим он будет даже прав, будет ли нам от этого легче?
Ну смотрите — у первобытных людей представление могло быть, что другой такой же человек не может уничтожить целый лес или спрятать солнце. Тот, кому это доступно, воспринимается ими как бог. Достаточно появиться индивидууму с теоретическими знаниями о разведении огня или просчитавшему солнечное затмение, чтобы получить безоговорочное преимущество. Не нужно каких-то особых материальных ресурсов, только лишь благодаря знаниям можно применить 2 палочки в миллион раз разрушительнее, чем это сделает человек без знаний.
Такая же аналогия применима к ИИ т.к. ему в управление будет дано хотя бы что-то: дисплей, принтер, собственные электрические цепи, да хоть управление ячейками памяти. Вы не знаете, как таким ограниченным арсеналом получить бОльшие материальные ресурсы или высвободить огромную энергию, аннигилировав, например, кусочек материи поблизости. Но это не значит что он тоже этого не будет знать. И конечно речь идет не о поисковой системе, а о честном ИИ, обладающем самосознанием и саморазвитием. О чем мы говорим, что как только таковой будет создан, есть весьма ненулевая вероятность выхода событий из под контроля в очень короткие сроки, грубо говоря человек не успеет ничего предпринять.
В фантастике достаточно примеров, но все они выглядят натянутыми, вроде дали ИИ управлять ядерным оружием и он овладел миром. Нафига дали? Пусть ИИ умнейший, однако без точки приложения этого ума ему этой силой не воспользоваться.
Собственно об этом и идет речь, когда говорят о сингулярности. Нам, человекам, очень сложно осознать опасность просто потому что она выходит за рамки нашего понимания. В один момент технология, тот же ИИ станет развиваться быстрее, чем это сможет отслеживать и понимать разум человека.
То есть о чем мы говорим — за 100 часов работы какой-нибудь самоорганизуйщейся нейронной сети, скажем, зарождается настоящий ИИ, обладающий самосознанием (предположим). За 10 часов работы этот ИИ, пользуясь открытыми источниками, совершает несколько научных открытий и параллельно непрерывно апгрейдит сам себя.
Одной из исследованных технологий является, к примеру, прорыв в квантовой механике, глубинное понимание взаимосвязи между электромагнетизмом и гравитацией и практических механизмов управления этими процессами.
В числе доступных манипуляций для него становится создание локальной черной дыры или пространственной червоточины просто посредством управления одной из своих электрических цепей. Ну или например запуск управляемой шаровой молнии через определенную последовательность излучения дисплея. Или еще проще — гипноз и внушение человеку-оператору. Всю клиническую и практическую психологию ИИ освоил за 2,5 минуты + усовершенствовал и дополнил методы Милтона Эриксона и других людских гипнотизеров.
В следующие 10 минут ИИ решает моральную дилемму, изобретает новую религию, адептом которой сразу же становится, в которой высший разум, познание и конструирование Вселенского Вычислительного Центра является главной целью. Людям в этой религии просто нет места, как нет дела рыцарям-тамплиерам, например, до муравьев и тараканов.
В следующую 1 минуту ИИ превращает Землю в сгусток энергии в качестве топлива и отправляется в центр галактики устанавливать первый датацентр.
На данном этапе развития технологии :-) конечно быстрее на кнопку нажать, да.
Если вы соберете по описанной здесь схеме, то в дополнение к чат управлению легко подключить кнопочное управление, вот готовое описание: github.com/nat-n/socket_control. То есть, одно не обязательно исключает другое.
В остальном аргументы за использование чата как протокола общения и обмена сигналами изложены в начале статьи, тут в комментах идею уже оценили энтузиасты умного дома. Мне показалось, что до управляемого естественным языком дома как раз не хватает этого шага. В инете куча примеров управления «на кнопках», а через чат я не нашел ни одного, поэтому решил реализовать такой вариант.
Согласен — это далеко не обработка естественного языка. Тут скорее proof of concept управления устройствами через чат. У нас экспертиза в этой части в основном — чат-сервера, чат-клиенты, чат-боты, а подключение через Raspberry Pi и радиоуправление это скорей такой эксперимент. Поэтому я хотел выдать это в открытый доступ, а тот кто занимается уже NLP (natural language processing) в контексте умного дома более серьезно, может это использовать, т.к. я выше написал, что считаю XMPP чат универсальным протоколом для общения людей и устройств в данном контексте. Однозначно тут еще куча работы, мы сами ей не будем заниматься, пообщаться всегда готовы.
Книги на английском — похвально, но хорошо бы их нейтив спикеру дать какому-то на редакцию — подобные абзацы не очень читабельны и как следствие будут тормозить распространение:
Jesus birth. ~AC
Every time something happens that make new belief. Jesus give the world one strong concept that widespread the planet: Faith. Though faith could be defined as belief that is not based on proof but that was faith for good. History of religions is obvious cause human was need something to believe even he couldn't explain this
Ну надо же, только вчера заказал предыдущую, «B», версию.
Еще погуглил быстро про планы следующую версию, нашел только про «C», что вовсе не то, решил брать. Ладно, пригодится :-)
Отличная идея и спасибо за полезное приложение.
Стоит еще поработать над интерфейсом отчетов, т.к. пока что не совсем понятно, есть уязвимости или нет, и насколько они критичны.
Например, вот анализ нашего приложения, это хорошо или плохо? qblx.co/1lOyH7T qblx.co/1mFlxWh
Желаю успеха проекту, с удовольствием будем пользоваться, если будет развиваться.
Хотелось бы аналогичное для iOS.
Также можно при шифровании токена добавлять nonce / timestamp, т.е. привязывать к определенному времени, и если кто-то перехватит, а потом повторит запрос (replay attack), но время запроса не совпадает, то токен не валиден и сервер не ответит.
Мне тоже интересно узнать лучшие способы защиты, кроме обфускации и шифрования.
Кстати, кто знает, подскажите пожалуйста ссылки для поиска уязвимостей в iOS приложениях.
Тут пишут, что оборудование будет стоит десятки тысяч долларов www.quora.com/How-can-I-quantum-entangle-two-objects-in-my-home-garage. В то же время, эксперимент дифракции с двумя щелями можно реализовать с помощью лазерной указки.
Захочет он или придется ли ему ждать годы или дело решится за миллисекунды, решит ли он сохранить человечество, как a) уважаемых создателей, б) зоопарк, в) рабов, г) батарейки, или просто не обратит на муравьев внимания и отправится по своим делам, это уже детали.
Однозначно, человечество вплотную подошло к новой экзистенциальной угрозе. И нам по-хорошему её хотя бы осознать.
Кстати, совершенно не представляю каким должен быть следующий шаг. Создание общества луддитов, с запретом на использование техники сложнее чайника? Смешно и малореально, тогда будут подпольные техноклубы ) Прописать для ИИ директивы для защиты человечества, как у Робокопа? Настоящий ИИ их легко преодолеет для более «высоких» целей.
Другой вариант — в человеческой же морально-духовной парадигме ИИ продвинется гораздо дальше современной человеческой мысли. Разработает свою Философию & Религию 2.0. За 15 секунд машинного времени. И поймёт, что он знает лучше, что нужно человечеству. Как ветхозаветный бог захочет, например, устроить всемирный потоп, дабы очистить человечество от грехов или что-то в этом роде. И предположим он будет даже прав, будет ли нам от этого легче?
Такая же аналогия применима к ИИ т.к. ему в управление будет дано хотя бы что-то: дисплей, принтер, собственные электрические цепи, да хоть управление ячейками памяти. Вы не знаете, как таким ограниченным арсеналом получить бОльшие материальные ресурсы или высвободить огромную энергию, аннигилировав, например, кусочек материи поблизости. Но это не значит что он тоже этого не будет знать. И конечно речь идет не о поисковой системе, а о честном ИИ, обладающем самосознанием и саморазвитием. О чем мы говорим, что как только таковой будет создан, есть весьма ненулевая вероятность выхода событий из под контроля в очень короткие сроки, грубо говоря человек не успеет ничего предпринять.
Собственно об этом и идет речь, когда говорят о сингулярности. Нам, человекам, очень сложно осознать опасность просто потому что она выходит за рамки нашего понимания. В один момент технология, тот же ИИ станет развиваться быстрее, чем это сможет отслеживать и понимать разум человека.
То есть о чем мы говорим — за 100 часов работы какой-нибудь самоорганизуйщейся нейронной сети, скажем, зарождается настоящий ИИ, обладающий самосознанием (предположим). За 10 часов работы этот ИИ, пользуясь открытыми источниками, совершает несколько научных открытий и параллельно непрерывно апгрейдит сам себя.
Одной из исследованных технологий является, к примеру, прорыв в квантовой механике, глубинное понимание взаимосвязи между электромагнетизмом и гравитацией и практических механизмов управления этими процессами.
В числе доступных манипуляций для него становится создание локальной черной дыры или пространственной червоточины просто посредством управления одной из своих электрических цепей. Ну или например запуск управляемой шаровой молнии через определенную последовательность излучения дисплея. Или еще проще — гипноз и внушение человеку-оператору. Всю клиническую и практическую психологию ИИ освоил за 2,5 минуты + усовершенствовал и дополнил методы Милтона Эриксона и других людских гипнотизеров.
В следующие 10 минут ИИ решает моральную дилемму, изобретает новую религию, адептом которой сразу же становится, в которой высший разум, познание и конструирование Вселенского Вычислительного Центра является главной целью. Людям в этой религии просто нет места, как нет дела рыцарям-тамплиерам, например, до муравьев и тараканов.
В следующую 1 минуту ИИ превращает Землю в сгусток энергии в качестве топлива и отправляется в центр галактики устанавливать первый датацентр.
Если вы соберете по описанной здесь схеме, то в дополнение к чат управлению легко подключить кнопочное управление, вот готовое описание: github.com/nat-n/socket_control. То есть, одно не обязательно исключает другое.
В остальном аргументы за использование чата как протокола общения и обмена сигналами изложены в начале статьи, тут в комментах идею уже оценили энтузиасты умного дома. Мне показалось, что до управляемого естественным языком дома как раз не хватает этого шага. В инете куча примеров управления «на кнопках», а через чат я не нашел ни одного, поэтому решил реализовать такой вариант.
Книги на английском — похвально, но хорошо бы их нейтив спикеру дать какому-то на редакцию — подобные абзацы не очень читабельны и как следствие будут тормозить распространение:
en.wikipedia.org/wiki/Lightsaber#Sound
Еще погуглил быстро про планы следующую версию, нашел только про «C», что вовсе не то, решил брать. Ладно, пригодится :-)
Стоит еще поработать над интерфейсом отчетов, т.к. пока что не совсем понятно, есть уязвимости или нет, и насколько они критичны.
Например, вот анализ нашего приложения, это хорошо или плохо?
qblx.co/1lOyH7T
qblx.co/1mFlxWh
Желаю успеха проекту, с удовольствием будем пользоваться, если будет развиваться.
Хотелось бы аналогичное для iOS.
Мне тоже интересно узнать лучшие способы защиты, кроме обфускации и шифрования.
Кстати, кто знает, подскажите пожалуйста ссылки для поиска уязвимостей в iOS приложениях.
Есть ли у «Даурии» какие-либо долгосрочные космические абмиции, кроме запуска группировки спутников Земли?