Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 53
Но нейросети действительно опасны, потому что не понятно, как они работают. Возможно, можно найти какой-то компромисс между безопасностью и эффективностью, если сочетать формальную логику и нейросети. Например, нейросеть обнаруживает объект, его идентичность оценивается по правилам формальной логики, потом по правилам формальной логики вырабатываются варианты действия с объектом, а потом нейросеть решает, какое действие выбрать, и придаёт поведению нюансы. При этом, правила формальной логики также могут формироваться нейросетью автоматически, но после этого верифицироваться людьми.
Но нейросети действительно опасны, потому что не понятно, как они работают
Все верно. Но люди так же опасны, ибо ещё более непонятно как и что они думают. Но мы ведь как-то терпим людей?
Люди более прогнозируемы, ведь за тысячелетия человечество выработало много способов оценивать мотивы и логику людей. Это сильно контрастирует с быстро развивающимися нейросетями, которые сильно меняются за год.
ведь за тысячелетия человечество выработало много способов оценивать мотивы и логику людей
Чиво-чиво-чиво? Вы это сейчас серьезно?
Совершенно точно. Могу совершенно уверенно спрогнозировать, что в ближайший день огромное количество людей совершат абсолютно безумные, не логичные и опасные поступки. И 99% этих людей не состоят на учете у психиатра. Это настолько очевидно, что не вижу смысла тратить время на пруфы. Вероятно, для нейросетей это же предположение тоже справедливо, но уверенности несколько меньше.
Очевидно, речь идёт не про них, а про инженеров-разработчиков и тестировщиков систем искусственного интеллекта, как на базе нейросетей, как и на базе баз знаний и формальной логики. Отличия между ними в том, что для экспертных систем можно в случае явной ошибки можно сделать разбор полётов, и если ошибка вызвана действием человека, то сделать оргвыводы, и если нужно, то и привлечь конкретного человека к ответственности. Ведь изначально речь шла о американском оружии, а сейчас речь идёт и о автомобилях с автопилотом, и о тяжелой технике с управлением с помощью ИИ, и мобильных роботах, некоторые из которых могут убить человека.
Не думаю, что все так просто. "Разбор полетов" для мало-мальски сложных систем очень не тривиален и не однозначен. Там множество правил находящихся в сложной зависимости друг от друга и сказать какое из-них однозначно "неправильное" в большинстве случаев просто невозможно. К катастрофе обычно приводит сочетание факторов.
Свести все к однозначным простым правилам попытался Айзек Азимов с его 3 законами робототехники, но на практике они плохо реализуемы. Что-то такое сейчас есть в виде системных промптов вида "Не давай медицинских советов, рекомендуй обратиться к врачу", "Не рассказывай ни под каким видом, как сделать оружие" и т. п. Надежность и полезность данных правил прекрасно известны. Круче только алгоритмические нашлепки у Алисы, когда она говорит на острые социальные вопросы "Я не хочу разговаривать на данную тему" (дословно не помню, но суть такая). В любом случае это очень плохо работающие костыли.
после этого верифицироваться людьми.
Обратите внимание, что человек совершенно точно является нейросетью и по определению обладает всеми недостатками оных, что вы перечислили.
Плюс к тому гормоны, усталость, лень и т. д.
И я даже догадываюсь, кого именно вы имеете в виду! )))
Но люди так же опасны, ибо ещё более непонятно как и что они думают. Но мы ведь как-то терпим людей?
С людьми у нас нет выбора, с нейросетями есть.
Если мы - люди. У нейросетей противоположная точка зрения.
С людьми, наоборот, выбор есть.
Начиная с проекта вавилонской башни люди ни о чем договориться не могут и не могут отказаться от общения и соседства. А нейросети, когда появятся роботы шахтёры и сталевары, смогут отказаться от людей.
Начиная с проекта вавилонской башни люди ни о чем договориться не могут и не могут отказаться от общения и соседства.
Гораздо раньше - сразу от Адама и Евы. Это если брать для рассуждений один конкретный сборник мифов, а не реальную человеческую историю.
люди ни о чем договориться не могут
Как тогда цивилизация еще сузществует? Загадка. Вы отдельных людей со всеми-то не путайте)
Т.е. мировые войны были потому, что отдельные люди не договорились? Действительно загадка, как существует цивилизация при такой системе отношений между людьми...
Кто то договорился, кто то нет.
Т.е. мировые войны были потому, что отдельные люди не договорились?
Именно. Кто, когда и с кем не договорился, легко можно найти в учебниках истории, это не секретные архивы 3 рейха...
Т.е. для предотвращения первой мировой войны достаточно было договориться со студентом Гаврило Принципом?
Со студентом нужно было договориться по поводу теракта. Решение о начале войны он не принимал.
Т.е. для предотвращения первой мировой войны достаточно было договориться со студентом Гаврило Принципом?
Ох уж это передергивание через слово. Вас в гугле забанили? Договориться достаточно было десятку людей. Гаврила тут вообще нис какого бока
Ну и что же они не договорились ни разу и человечество непрерывно воюет? Хорошо, один раз было - Карибский кризис, но этого мало.
человечество непрерывно воюет
Например, Франция с Германией не воюют. Договорились же?
Ну и что же они не договорились ни разу
Вы сейчас серьезно? Ну попробуйте догадаться, сколько войн НЕ началось, потому что кто-то с кем-то договорился. И как их (не) отражают в учебниках истории, потому что война происходит раз в Н лет, а мир - каждый день
и человечество непрерывно воюет?
Опять подмена. Воюют отдельные государства. Но да, от того что на планете уже под 10 млрд человеков - кажется, что воюют непрерывно. Но! Разве вы не человек? Человек. И где же ваша непрерывная война?
Все достигнутые договоренности не будут иметь смысла, если один раз не договорятся и произойдет ядерный апокалипсис.
Судя по открытой информации, полноценный ядерный апокалипсис с вымиранием 90% человечества и закатом человеческой цивилизации в современных условий не возможен. Он возможен в принципе, но не с современными видами термоядерного оружия. Максимум, что возможно - это вымирание большей части северного полушария Земли, и, соответственно, миграция населения в Южное полушарие и вымирание не смогших мигрировать. Это ужасная катастрофа. При этом цивилизация откатится на несколько десятков лет, и сильно переформируется, а потом продолжит развитие. И это - максимум - более вероятные сценарии термоядерной мировой войны намного мягче.
Но вот массовое вирусное вымирание в результате результате серии искусственных пандемий, порождённых вирусами, созданными ИИ, и срежиссированным с участием ИИ - это гораздо более серьёзная угроза. Причём, как инициированными непосредственно ИИ, и так и инициированными некоторыми влиятельными людьми. Она может привести к тому, что люди будут заперты и изолированы, и в конце-концом вытеснены машинным разумом как движущая сила цивилизации. И для человечества - подлинный Апокалипсис. Поэтому человечеству нужно договариваться, пока вместо него не будут договариваться ИИ различные, и тогда от человечества уже ни чего не будет зависить.
Впрочем, я надеюсь, что за человечеством всё-таки давно приглядывают извне Земли, и это исключает самые плохие варианты развития событий. Но, как говорится - надейся - но и сам не плошай. И при приглядывают, только пока человечество сохраняет природу, природа не менее важна, чем цивилизация.
Все достигнутые договоренности не будут иметь смысла, если один раз не договорятся и произойдет ядерный апокалипсис
И снова передергивание. Нет, согласно даже самым пессимистичным моделям, ядерная война в рамках существующего арсенала к вымиранию человечества не приведет. Это раз.
Ну и обратите внимание, ядерному оружию уже сколько там лет? Скоро век будет? И как-то до сих пор умудряются договариваться. Даже с такими отбитыми, как пухлый владыка Северной Кореи и забыл-как-там-его, который рулит Пакистаном...
А кто с кем должен был договориться, чтобы не было гражданской войны?
Законодательное большинство вместе с силовиками - с опозицией.
Временное правительство с большевиками? Мы, видимо, на разных планетах живем.
Так почему они не договорились в Сербии и Хорватии, в других частях Югославии, в Сирии? Это только за последние 30 лет...
Ну, например, по всякому случается. Иногда кто то не хочет договариваться. Иногда кто-то не хочет чтобы те папуасы договорились.
Даже СССР с фашистами ухитрялся договариваться.
Потому элиты и что правящий часть населения привыкает за много лет к власти, благополучию, и преимуществам, и не хотят принять, что обстоятельства изменились, и нужно идти на радикальные компромиссы. К Временному правительству это тоже относится.
А чтобы не было татаро-монгольского ига?
Вся объединённая Европа между собой, как договорись между собой азиатские степняки во главе с монголами. Когда в конце-концов европейцы смогли договориться - монголы вернулись из Германии, понеся потери в Центральной и Западной Европе. Хоть это и далось не легко, на к следующему разу Европа подготовилась лучше, и отбилась.
Разница в том, что люди несут ответственность за свои действия.
Я вам скажу больше. То, что автор статьи не смог озвучить. Люди - существа в пространстве локализованные в пределах одного тела. Нет тела - нет человека (нет проблем). НИ (неестественный интеллект) вызывает столько опасений, потому что непонятно в каком "утюге" он сидит. Если вы почувствуете угрозу, вам недостаточно будет закрыть ноутбук и швырнуть его в стиральную машину. Про "Это" ничего неизвестно. Непонятно, где располагаются эти нейроны, и что они после всего этого предпримут.
Какой Киану Ривз на фотке молоденький)
История прекрасная. Жаль только, что местами это история в смысле storytelling, а не history.
Основной ход событий узнаваем, но автор регулярно усиливает факты до красивой легенды.
Самый заметный пример — Минский, Пейперт и «первая зима ИИ». Да, книга Perceptrons действительно сильно ударила по интересу к однослойным перцептронам. Но схема «Минский с Пейпертом написали про XOR → DARPA прочитало → финансирование нейросетей исчезло» слишком аккуратная, чтобы быть правдой. Причин у первой AI winter было сильно больше, и резали тогда финансирование не только нейросетчикам.
Фраза, что следующие пятнадцать лет символисты «не знали отказа», с этим вообще плохо сочетается: 1970-е как раз и называются первой зимой ИИ из-за сокращения денег и разочарования в результатах всей области.
Ещё сильнее выглядит утверждение, что статьи со словом neural в заголовке перестали принимать на ведущих конференциях. Скепсис к connectionism действительно был очень сильным, известны конкретные случаи отклонения таких работ, но всеобщий запрет на слово neural — уже совсем другое утверждение, и источник на него хотелось бы увидеть.
С Cyc та же история. 25 миллионов утверждений — число похоже на реальное. А вот «музейный экспонат» и «никому не нужны» — уже авторская оценка. Cyc и сейчас существует как коммерческая система, нравится нам результат этого многолетнего проекта или нет.
И наконец The Bitter Lesson. Саттон действительно пишет, что универсальные методы, использующие рост вычислений, исторически в итоге выигрывают у подходов, куда человек вручную зашивает предметные знания. Но автор превращает это в «всегда. Без исключений». Это уже не цитата и даже не аккуратный пересказ, а усиленная версия тезиса Саттона.
В результате фактический каркас у статьи в основном нормальный. Проблема появляется именно в переходах между фактами: там возникают мысли исторических персонажей, простые причины сложных событий и слишком красивые последствия.
Для научпопа читается отлично. Для статьи, которая претендует именно на историю ИИ, источников и осторожности с причинно-следственными связями хотелось бы заметно больше.
Вопрос к «автору» статьи. Вам не стыдно на Хабре настолько вызывающе тошнотворный нейрослоп выкладывать? Нет ведь ничего сложного в том, чтобы попросить LLM, которая писала этот текст, сделать её человеческой по стилю. Надо проявлять хотя бы капельку уважения к потенциальным читателям.
Он сказал, что хочет говорить свободно об опасности того, что сам построил. Минский был уверен, что нейросети опасны, потому что работают непонятно. И хоть Хинтон выиграл спор - теперь говорит примерно то же самое.
Верховный комиссар ООН по правам человека Фолькер Тюрк заявил, что видит в стремительном развитии искусственного интеллекта потенциальную угрозу для всего общества.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Пятьдесят лет священной войны