Comments 24
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.Без этого статья была бы не полной :)
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Эти правила не применимы к сущестующим роботам. Все же возможные варианты, когда можно причинить физический или психологический вред не запрограммируешь.
А если эти правила понимать, как законы для роботов, а не для производителей роботов, то как автопилоту, умной кофеварке или термостату объяснить, когда он принесет вред? Что бы кофеварка поняла это, ей надо как мнимум обладать интеллектом/сознанием/понятием на уровне человеческого. А если кофеварка обладает таким же сознанием/пониманием/интеллектом как и человек, является ли она еще роботом, должна ли она жертвовать свой жизнью ради какого-то человека?
А если эти правила понимать, как законы для роботов, а не для производителей роботов, то как автопилоту, умной кофеварке или термостату объяснить, когда он принесет вред? Что бы кофеварка поняла это, ей надо как мнимум обладать интеллектом/сознанием/понятием на уровне человеческого. А если кофеварка обладает таким же сознанием/пониманием/интеллектом как и человек, является ли она еще роботом, должна ли она жертвовать свой жизнью ради какого-то человека?
Робот, который сможет соответствовать этим принципам, будет на пару ступенек выше по лестнице эволюции нежели человек. Либо это будет рекламный булшит.
Перепись не знакомых с творчеством Азимова завершена, или ещё нет? :)
Если кто не знает: в ходе пилотируемого полёта к Юпитеру искусственный интеллект HAL 9000, полностью управляющий всеми системами корабля и радикально облегчающий жизнь астронавтам, начинает серьёзно глючить.Каждый раз, когда я такое слышу у меня возникает два вопроса:
1. А смотрел ли сказавший сиквел?
2. Если нет, то смотрел ли он саму Одиссею?
- А стоит?
- Описание достаточно общее, так что вполне подходит вроде, что не так?
1. Это каждый решает сам. Хотя из первой части такой культ возвели, что многим любые продолжения покажутся кощунством. :)
2. Не так то, что в первом фильме причины бунта HAL не раскрыты. Он просто сделал это. Это превратило HAL в эталон злодейской машины. Хотя казалось бы у машины не может быть личных мотивов.
Во втором фильме тайна раскрыта. HAL приказали произвести изучение монолита, но велели держать экипаж в неведении. Ему не посчитали нужным сказать, что экипаж уведомят о монолите позже. В результате он пришёл к выводу, что сохранить тайну можно только уничтожив экипаж, что и попытался сделать.
2. Не так то, что в первом фильме причины бунта HAL не раскрыты. Он просто сделал это. Это превратило HAL в эталон злодейской машины. Хотя казалось бы у машины не может быть личных мотивов.
Во втором фильме тайна раскрыта. HAL приказали произвести изучение монолита, но велели держать экипаж в неведении. Ему не посчитали нужным сказать, что экипаж уведомят о монолите позже. В результате он пришёл к выводу, что сохранить тайну можно только уничтожив экипаж, что и попытался сделать.
Вторая часть снята другим человеком, более того, Кубрик, по слухам, даже уничтожил модель корабля, чтобы не было сиквелов. Таким образом можно предположить что объяснение из второй части только одна из версий, но никак не единственно правильное.
Или я неправ и они выяснили у автора что это именно так и задумывалось? Я правда не знаю и мне интересно.
Автора? ;-) Автор там только Артур Кларк. Ну, может не только. Сценарий и роман писались одновременно. Но именно Кларк начал писать элементы будущей Одиссеи в рассказах и романах и именно он продолжил. А Кубрик ушёл, показав лишь то, что он хотел показать.
Впрочем, если взять сводную интерпретацию смысла фильма, то меняется не много. Исчезает злонамеренность HAL. Утрата создателем инструмента контроля заменяется на утрату контроля пользователем. Впрочем, если учесть, что там говориться не об отдельных людях, а о человечестве, то разницы нет.
Забавный, кстати, момент. Кубрику и Кларку потребовался разумный компьютер, чтобы человек потерял контроль, хотя ИИ ещё нет, контроль мы уже теряем. :)
Впрочем, если взять сводную интерпретацию смысла фильма, то меняется не много. Исчезает злонамеренность HAL. Утрата создателем инструмента контроля заменяется на утрату контроля пользователем. Впрочем, если учесть, что там говориться не об отдельных людях, а о человечестве, то разницы нет.
Забавный, кстати, момент. Кубрику и Кларку потребовался разумный компьютер, чтобы человек потерял контроль, хотя ИИ ещё нет, контроль мы уже теряем. :)
Я даже книжку читал… Да, он начал «глючить», причины объясняются.
Причина — он попал в противоречивую ситуацию. Оказался слишком умным, но втиснутым в рамки приказа и взаимоисключающих правил. В итоге попал в ситуацию, когда должен быть отключен «во избежание» и уже начал бороться за свою жизнь.
Причина — он попал в противоречивую ситуацию. Оказался слишком умным, но втиснутым в рамки приказа и взаимоисключающих правил. В итоге попал в ситуацию, когда должен быть отключен «во избежание» и уже начал бороться за свою жизнь.
Автор слегка коснулся темы дублирования и рисков, но не довел мысль до конца.
То что мы сейчас наблюдаем в мире автопилотов и IoT технологий — это еще разработка, не доведенная до конца. Люди просто хотят воспользоваться плодами инноваций как можно раньше и добровольно готовы выступать подопытными хомячками, игнорируя вполне конкретные инструкции производителей. Также сами производители, а особенно стартапы, выходя на рынок с новым продуктом, не всегда понимают разницу между обычным продуктом, и продуктом, который может нанести вред здоровью человеку (или животному). Но ничего — суды и компенсационные выплаты поставят все на свои места.
В конце концов все должно прийти к общему подходу, по которому сейчас проектируются системы управления самолетов или защитные системы электростанций — дублирование датчиков, дублирование исполнительных механизмов, дублирование самого процессора, с обязательно разным ПО от разных разработчиков. При рассогласовании управляющих сигналов — безопасный режим и контролируемая остановка на парковке.
Это уже не так дорого на сегодня.
То что мы сейчас наблюдаем в мире автопилотов и IoT технологий — это еще разработка, не доведенная до конца. Люди просто хотят воспользоваться плодами инноваций как можно раньше и добровольно готовы выступать подопытными хомячками, игнорируя вполне конкретные инструкции производителей. Также сами производители, а особенно стартапы, выходя на рынок с новым продуктом, не всегда понимают разницу между обычным продуктом, и продуктом, который может нанести вред здоровью человеку (или животному). Но ничего — суды и компенсационные выплаты поставят все на свои места.
В конце концов все должно прийти к общему подходу, по которому сейчас проектируются системы управления самолетов или защитные системы электростанций — дублирование датчиков, дублирование исполнительных механизмов, дублирование самого процессора, с обязательно разным ПО от разных разработчиков. При рассогласовании управляющих сигналов — безопасный режим и контролируемая остановка на парковке.
Это уже не так дорого на сегодня.
UFO just landed and posted this here
Ну в случае с теми же самолетами все довольно таки быстро устаканилось.
Здесь тоже — примут соответствующие стандарты, сертификационные и испытательные методики, и следующие разработки сырыми уже никто на дороги не выпустит.
Здесь тоже — примут соответствующие стандарты, сертификационные и испытательные методики, и следующие разработки сырыми уже никто на дороги не выпустит.
Тут во всей своей красе сияет закон Парета. Казалось бы вот, небольшим усилием мы добились своего, почти. Машины катаются сами, реагируют на знаки, на светофоры и иногда на пешеходов. Казалось бы только дублируй датчики, да побольше ставь. По ощущениям остались только мелочи, которые нас слегка отделяют от стопроцентного решения, но, что бы эти мелочи решить, надо неимоверно много усилий. Где там товарищ Геохот, который обещал нам автопилот за тыщу баксов до конца 2016? Все, что оно может это «Right now, the software enables adaptive cruise control and lane keeping assis».
Самолет довести и посадить на автопилоте, без человеческого фактора намного проще. Там только физические законы и математика. Я помню после столкновения двух самолетов, башкирского с детьми и грузовика над боденским озером издали инструкцию — отдавать предпочтение системе TCAS, а не диспетчеру в таких ситуациях. Там все больше и больше исключают человеческий фактор.
А тут непредсказуемое человеческое поведение. Пока человеческий фактор играет хоть какую то роль в автотранспортном движении — просто нереально учесть все факторы. Начиная с перебегающих дорогу детишек, пьяных водителей и кончая криво спланированными в средниче века городскими улицами. Я думаю автопилот для автобана еще более менее реально реализовать, но вот для населенных пунктов вряд ли. Тут псевдо-ИИ недостаточно.
Самолет довести и посадить на автопилоте, без человеческого фактора намного проще. Там только физические законы и математика. Я помню после столкновения двух самолетов, башкирского с детьми и грузовика над боденским озером издали инструкцию — отдавать предпочтение системе TCAS, а не диспетчеру в таких ситуациях. Там все больше и больше исключают человеческий фактор.
А тут непредсказуемое человеческое поведение. Пока человеческий фактор играет хоть какую то роль в автотранспортном движении — просто нереально учесть все факторы. Начиная с перебегающих дорогу детишек, пьяных водителей и кончая криво спланированными в средниче века городскими улицами. Я думаю автопилот для автобана еще более менее реально реализовать, но вот для населенных пунктов вряд ли. Тут псевдо-ИИ недостаточно.
UFO just landed and posted this here
Странно, что вы не видите закономерность — чем больше от техники зависит жизнь человека, тем больше регуляция и медленней развитие. Примеры с самолетами и космосом в этом плане показательны.
И почему так правильно — как раз показывают примеры ДТП с автопилотами в ввтомобилестроении — стоило ослабить регулирование и из-за техники начали погибать и калечиться люди. Если бы такое случилось, например, с тормозами — это немедленно бы привело к огромному скандалу
Я вам скажу еще больше — мне доподлинно известно, что у наших корпоративных IoTшников очень чешутся руки залезть в системы регулирования электросетей, вплоть до электростанций, включая атомные. Потому, что они просчитали, что с ИИ можно получить гораздо большую прибыль при снижении затрат. Как вы думаете, стоит ли их туда пустить?
И почему так правильно — как раз показывают примеры ДТП с автопилотами в ввтомобилестроении — стоило ослабить регулирование и из-за техники начали погибать и калечиться люди. Если бы такое случилось, например, с тормозами — это немедленно бы привело к огромному скандалу
Я вам скажу еще больше — мне доподлинно известно, что у наших корпоративных IoTшников очень чешутся руки залезть в системы регулирования электросетей, вплоть до электростанций, включая атомные. Потому, что они просчитали, что с ИИ можно получить гораздо большую прибыль при снижении затрат. Как вы думаете, стоит ли их туда пустить?
UFO just landed and posted this here
Да, есть закономерность, чем опаснее, тем больше зарегулировано. Но, на мой взгляд, сейчас есть очень сильный перекос именно в сторону "мгновенной" безопасности — то есть мы запретим сейчас потому что сейчас могут быть жертвы. А безопасности на длинной дистанции уделяется мало внимания — из-за строгого регулирования прогресс медленный и значит реально безопасные системы появятся позже, соответственно пока они появятся умрет больше людей из-за несовершенства существующих вещей чем погибло бы из-за несовершенства новых технологий. К сожалению безопасность в долгосрочной перспективе очень сложно оценивается и моя точка зрения кажется мне недоказуемой формально — я не знаю как можно посчитать для нее что-либо в реальных цифрах. Собственно это ровно та причина по которой перекос и существует.
Так что отвечая на ваш вопрос — думаю стоит, но аккуратно.
Ну и зачем такой автопилот, за которым надо постоянно следить нужно? Концентрация внимания однозначно будет меньше, а аварийные ситуации имеют свойство развиваться внезапно. Это получится не контроль, а чистейшее самоуспокоение. В общем, или трусы или крестик, рубикон надо перейти и довериться уже автоматическому лифту без лифтера.
В самолете рулежку по полосе, взлет, полный проход штормового фронта и посадку в сложных метеоусловиях, тоже делает не робот, но почему-то никто не вопит о том что это НЕ автопилот.
Автопилот хорош когда почти полная интеграция контролирующей техники и ведомого обьекта. На дорогах сейчас нет специальных вешек для машин и почти нет машин с системами опознавания, обмена данными сенсоров, общим центром управления и т.п. На дороге Автопилот может вести машину допустим по междугородней дороге, но в час пик количество нештатных для автопилота ситуаций зашкаливает. Поэтому спуститесь на землю.
Автопилот хорош когда почти полная интеграция контролирующей техники и ведомого обьекта. На дорогах сейчас нет специальных вешек для машин и почти нет машин с системами опознавания, обмена данными сенсоров, общим центром управления и т.п. На дороге Автопилот может вести машину допустим по междугородней дороге, но в час пик количество нештатных для автопилота ситуаций зашкаливает. Поэтому спуститесь на землю.
1. Пулемет с автоматикой наведения и обстрелом до тех пор, пока цель не перестанет двигаться… несложная штуковина. Робот?
2. Человек — понятие растяжимое. Не знаешь пароль — ты уже не человек. Робот?
3. Самонаводящаяся торпеда. Робот?
2. Человек — понятие растяжимое. Не знаешь пароль — ты уже не человек. Робот?
3. Самонаводящаяся торпеда. Робот?
Основная проблема в том что люди непонимают того что автопилот ≠ полностью автоматическая доставка из пункта А в пункт Б.
Даже в той-же авиации такого нет, хотя там центры контроля траффика и самолетная начинка представляют собой единый комплекс.
В машинах сейчас каждый сам за себя. Нет объединяющей инфраструктуры даже в пределах города. Пока не будет наземных ЦУП для ВСЕГО городского траффика и пока каждая машина не будет оснащена системами свой чужой, системой обмена маршрутов и сенсорных данных, не будет того автопилота о котором мечтают.
Сейчас люди пытаются на инженерном калькуляторе делать чертежи для зданий. Ну не приспособлены они для этого, отдельные моменты и формулы-запросто, а вот всю систему-нет ее.
Даже в той-же авиации такого нет, хотя там центры контроля траффика и самолетная начинка представляют собой единый комплекс.
В машинах сейчас каждый сам за себя. Нет объединяющей инфраструктуры даже в пределах города. Пока не будет наземных ЦУП для ВСЕГО городского траффика и пока каждая машина не будет оснащена системами свой чужой, системой обмена маршрутов и сенсорных данных, не будет того автопилота о котором мечтают.
Сейчас люди пытаются на инженерном калькуляторе делать чертежи для зданий. Ну не приспособлены они для этого, отдельные моменты и формулы-запросто, а вот всю систему-нет ее.
Скорее всего, использование беспилотных автомобилей будет мало отличаться от привычного вождения, разве что именно водить не надо будет: просто водитель будет сидеть за рулём и следить за дорогой, в то время как управлять машиной будет автопилот.
В этом случае технологию автопилота ждет забвение — иначе зачем он тогда вообще нужен?
Ведь её использование подразумевает распространение в качестве культурной нормы такого понятия, как недопустимость замены человеческого внимания автоматизированными системами в ответственных процессах, способных нанести вред здоровью или создать угрозу жизни.
Тем не менее, то что светофоры уже очень давно контролируются компьютерами, однако почему-то никого не волнует «а вдруг оно там откажет чего и включит зеленый когда не надо?», и специальных полиционеров, «готовых в любой момент перехватить управление», на каждом перекрестке не наблюдается.
Тем не менее, то что светофоры уже очень давно контролируются компьютерами, однако почему-то никого не волнует «а вдруг оно там откажет чего и включит зеленый когда не надо?»
Ну, почему не волнует?
С 4:20.
А полиционеры на каждом перекрестке — это, конечно, решение проблемы безработицы, но больно уж дорого.
Sign up to leave a comment.
Доверяй, но контролируй