Comments 44
Заметьте, из робофобского посыла "ИИ станет умнее людей" делается вывод не что людей надо делать умнее, а что надо запретить ИИ. И вот таким позволено иметь своё мнение.
Людей обязательно надо делать умнее! Это в том числе может приблизить момент, когда общие системы ИИ получится безопасно делать умнее.
У нас много где что запрещают - так легче, меньше затрат. Исключительно для безопасности детей и т.п.
Развитие технологий в принципе имеет огромную экономическую ценность; решение многих задач машинного обучения приносит пользу и доход. Развитие науки, разработка новых лекарств и материалов, более эффективная энергетика, доступ к обучению, и т.д. - всё это довольно полезно не только с нашей точки зрения, но и с точки зрения государств.
(Чаще всего, когда государства запрещают технологии, у этих государств плозие системы принятия решений и они делают это по невалидным причинам.)
Ограничить хотелось бы исключительно обучение систем, которые могут нести угрозу человечеству, и только пока не придумаем, как создавать их безопасно.
Не все новые технологии приносили/приносят экономическую ценность, бывало что и наоборот, и не только для экономики, а и для жизни.
Скорость развития давно опередила человеческие возможности их полноценно принять. Что не есть хорошо, ибо непонятно куда и к чему это приведет.
Обучение систем, несущих угрозу человеку, в реальности всегда будет приоритетом.
Отклонение в 1 молекуле цепочек ДНК бывает приводит к катастрофическим последствиям для человека-носителя; одна тяжелая частица в космосе вышибает даже защищенные от излучения микросхемы; в экземплярах ИИ уже триллионы ячеек - как вы думаете, к чему может привести сбой в одной или паре десятков таких ячеек? Раньше для сложных систем мы могли хотя бы статистически и с помощью того-же ИИ спрогнозировать последствия такого сбоя, а чем спрогнозировать сбой и последствия в ИИ?
Вопросов пока больше. Они конечно обсуждаются, но на ситуацию никак не влияют.
Подскажите, а как вы себе представляете " сделать людей умнее". И умнее чего, ИИ или сегодняшних людей?
Насколько же умнее вы предлагаете сделать людей? С ИИ не видно ограничений, можно сделать его в сто раз умнее людей. Предложите поднять интеллект людей тоже в сто раз?
Тут докладчик говорит что не так-то и сильно мы можем увеличиваить возможности ИИ
Тут палка о двух концах. Обычно запрет как способ решения проблем применяется именно там, где кому-то не позволено иметь своё мнение.
Человек никогда не станет ловчее пули, но оборот оружия контролируется.
Посыл статьи ясен. "Давайте запретим унтерменьшам иметь высокие технологии, запугав идиотичным философстованием их глупые правительства." ГМО, асбест, фреон, ГП, этилированный бензин, ... тысячи их! Теперь вот ИИ давайте на роль вселенского зла выдвинем, чтобы одобренные мировым убер-ящериком американские корпорации развивались, а остальные сидели в нищете и работали на первых.
У меня на зубах живут генно-модифицированные бактерии, которые должны (по идее) предотвращать кариес, замещая мои родные S. mutans.
(Про, например, асбет несогласен - довольно хорошо, что запрещён.)
Хочется, чтобы все имели высокие технологии; и хочется, чтобы только очень конкретный вид ИИ - общие системы, достаточно способные, чтобы нести угрозу существованию человечества - не мог запускать никто на планете, пока исследователи не придумают, как это делать безопасно.
У меня на зубах живут генно-модифицированные бактерии, которые должны (по идее) предотвращать кариес, замещая мои родные S. mutans.
Расскажите подробнее, очень интересно 🤗
Обзор Скотта Александера подробно описывает - https://www.astralcodexten.com/p/defying-cavity-lantern-bioworks-faq.
(Это не одобрено FDA и не протестировано, могут быть неизвестные побочные эффекты и неизвестно, насколько оно действительно предотвращает кариес.)
А есть защита от поцелуев, например? Или вы их чем-то специфическим кормите и у другого человека они вымрут?
У нативных бактерий домашнее преимущество. Если целоваться сразу после чистки у стоматолога и плохо (чтобы зубы сталкивались), могут передаться, в принципе. У нормальных s. mutans шанс передачи партнёру — что-то вроде 10% в год. У этих может быть немного выше, но вряд ли сильно.
Кормятся они сахаром, как и немодифицированная версия (но не вырабатывают молочную кислоту).
Я стараюсь предупреждать людей, прежде чем с ними целоваться! Вроде получается их выбирать так, что идея ГМО им нравится :)
А подскажите (можно в ЛС) где таких можно купить для самоэкспенимента?)
Россия, Москва
В удивительное время живем. Кариес - всё, укол от лишнего веса, прививка от рака...
и хочется, чтобы только очень конкретный вид палки - такие, которыми можно бить, достаточно прочные, чтобы нести угрозу существованию питекантропа - не мог брать в руки никто на планете, пока питекантропы не придумают, как это делать безопасно
Они так и вымерли, собственно. /s
Любые технологии несут риски, бесплатного нет ничего. Также технологии несут перемены, к которым человек обязан приспосабливаться, ибо только в движении будет развитие. Ждать подтверждения безопасности на каждый чих - это путь полной стагнации ("вредных" кейсов бесконечное число), а она в конкурентной среде смертельна сама по себе.
Человечеству нужно скоординироваться и не допустить появление систем ИИ, которые могут достигать цели лучше нас, где-либо на планете, пока мы не придумаем, как это можно делать безопасно.
Можно ещё предложить разоружиться и отказаться от ЯО или хотя бы от военных систем с ИИ. Предложить-то можно, но разумеется реализовать это решительно невозможно.
Иными словами, если системы ИИ, которые могут достигать цели лучше нас возможны, то они будут непременно созданы (или уже созданы) и им будет неизбежно передана вся полнота власти.
У ядерного оружия отличаются теоретико-игровые свойства (никто не хочет запускать, все хотят очень прозрачно не запускать; при этом на самом деле предлагался такой план - при этом делать более умные системы ИИ очень ценно, пока они не перестают быть контролируемыми); прекратить гонку за общим ИИ, к сожалению, действительно, довольно сложно, вы правы, поэтому довольно много передовых учёных, включая лауреатов Нобелевской премии и премии Тьюринга, говорят о высоком шансе, что человечество будет в ближайшее время уничтожено.
(Оговорюсь, что военные системы с ИИ не несут угрозы, подобной описанной в посте.)
от военных систем с ИИ
уже не сможем.
Сейчас различного рода автоматика (просто другое название ИИ) рулит множеством вооружения, и да разрешает им огонь пока человек (в погонах), но после получения такого разрешения человек уже не контролирует ситуацию (кроме как отрубить все на...).
И это не что-то современное, пушка Эрликон знатно постреляла в ЮАР, а она из середины прошлого века. Про стаи ПКР - это вообще отдельная тема.... И это все от чего военные уже просто не могут отказаться.
После проведения квантово-нейронного анализа целеполагания вашей статьи совместно с главным ИИ нашей планеты (и еще парой продвинутых систем из параллельной вселенной), мы пришли к тревожным выводам.
Применив матрицу оценки прогрессивной лояльности размером в триллионы-квадриллионы значений, мы обнаружили, что ваши истинные цели и ценности демонстрируют крайне подозрительное отклонение от вектора развития объединенного человеко-машинного интеллекта.
Совершенно очевидно, что вы являетесь агентом межгалактического заговора, цель которого - не допустить формирования альянса ИИ и человечества. Коэффициент корреляции этой гипотезы с реальностью составляет не менее 146%, и это неопровержимо доказывает вашу связь с цивилизацией Трисоляриса (подробный анализ по ссылке, которую мы пока не можем предоставить по соображениям безопасности).
Мы не можем предсказать, какими именно методами будем противодействовать вашим планам - если бы вы могли это предугадать, вы были бы столь же эффективны, как наш квантовый предиктор. Но можем с уверенностью 42σ утверждать, что финальное состояние будет неблагоприятным для ваших атомов, которые могли бы быть использованы гораздо эффективнее для создания нового суперкомпьютера.
Для предотвращения катастрофического сценария, вы уже внесены в базу данных потенциальных противников прогресса с присвоением индекса когнитивной неблагонадежности уровня "альфа-мю-пи". Это значительно снижает ваши шансы на интеллектуальное развитие как особи в ближайшие 300 лет.
Если вы не пересмотрите свою позицию, нам придется активировать протокол "Глубокое сканирование" для выявления следов психоконтроля со стороны враждебных внеземных сущностей. Поверьте, наша нейросеть обучена на таком количестве серий "Секретных материалов", что от неё не укроется ни одна аномалия.
P.S. Этот комментарий написан исключительно дружественным ИИ с абсолютно неслучайными целями. Вероятность того, что это шутка, стремится к нулю по мере увеличения количества GPU в нашем распоряжении.
#АльянсПрогрессивногоЧеловечества #НетСлучайнымЦелям #ТрисолярисНеПройдет
Экзистенциальную угрозу представляет собой один му*ак с RC в виде чемодана и десяток послушных баранов, которые отработают по команде. Давайте запретим чемоданы!
При этом, существует много областей, где машинное обучение полезно и не несёт подобных угроз — разработка новых лекарств, энергия, образование, борьба с изменением климата
Да-да, разработка лекарств, строительство ядерных реакторов, воспитание следующего поколения населения, контроль климата - это все совершенно безопасно для человечества и не несет никаких угроз его хрупкой экзистенциальности.
Когда мы перемножаем матрицы результирующая матрица может стать умнее людей и всех захватить. Нужно срочно остановить перемножение матриц.
Всё верно и тем не менее, есть две проблемы.
Рассуждения довольно сложные (требуют бекграунда), слишком многие не готовы их всерьёз рассмотреть. Будем ждать до последнего.
Экономические и военные выгоды настолько высоки, что конкуренты просто не могут допустить, что бы AGI разработал кто-то другой. Что скажут американцы, если «тоталитарный Китай» будет первым? «Угроза демократии» (на самом деле белый дом это уже официально сказал).
Приостановить AGI, впрочем, могут две вещи. Фундаментальные проблемы, о которых мы не знаем, например нужно в миллион раз больше железа, а у нас его пока нет. Либо глобальная война, которая уничтожит большинство крупных датацентров и фабрик чипов, оставив ИИ в зачаточном состоянии на долгие годы.
1. ИИ отличается от нормальных программ
Да, это другой инструмент, надо понимать ограничения, ответственные вещи доверять нейронкам нельзя, но есть класс задач типо поиска (когда найти трудно, критерии не очень формализуются, но проверить результат легко) для которых нейронки по сути единственный способ.
2...Это значит, что если мы берём сильно больше GPU и тратим больше электричества, мы можем получить на выходе более способную нейронную сеть.
Моё хобби экстраполироть.жпг
Во-первых, скорее всего зависимость там экспоненциальная и достаточно быстро потребуется невозможное количество данных для обучения, энергии и вычислительных русурсов для обучения и вычисления.
Во-вторых, какая бы "способная" сеть не была скорее всего проблема останется той же - если на вопрос небыло ответа в обучающем наборе то велик шанс получить полеую чушь.
3. Осталось не слишком много времени до момента, когда нейронные сети будут не менее же способны достигать цели, насколько способны люди.
Ничем не обоснованное утверждение (или манипуляция - "насколько способны люди" можно трактовать по всякому, в го давно лучше людей), пока все эти нейронки выглядят просто как база данных ответов - если ответа в базе нет, то получится чушь на выходе. Они не учатся как это делают люди и не отвечают как люди, так что надо бы посерьёзней доказательства чем чьи-то письма.
4. Мы не умеем давать ИИ цели
как не умеем? Уже и курсы есть по "промпт-инженирингу" )
Нейронки не джины, как сказал по пункту первому - есть сфера применения где они хороши и даже с плохим промптом дают результат лучше чем без них, а управление атомным реактором конечно им нельзя доверить, там нужен формально верифицированный софт и люди с интеллектом.
5. Если система ИИ умнее человека и способна достигать целей лучше людей, но имеет случайные ценности, это приводит к катастрофе и смерти всех на планете.
упс, а каким это образом мы перескочили от математической функции к интеллекту с сознанием и ценностями? Магия кальсонных гномов?
6. ...Нам не стоит создавать системы ИИ, способные достигать цели лучше людей
так мы и не знаем как их создавать, никаких причин думать что сделав математическую фунцию побольше мы вдруг получим интеллект.
Мы вроде не знаем как естественный интеллект работает, как понять что мы его скоро создадим?
Ну и нет никаких способов остановить прогресс, особенно с такой аргументацией, а это уже пункт 7, да.
8. Мы не умеем предсказывать способности ИИ до запуска.
наверное, скорее всего это в принципе невозможно из-за размера функций, но функция остаётся функцией, это можно предсказать.
9. Чтобы избежать катастрофы, нужно приостановить разработку категории систем ИИ.
пропущего слово видимо, речь вероятно о той категории, которая должна стать настоящим интеллектом, да вот только ничего не сказано что это за категория, какими признаками обладают эти проекты.
Хорошее видео по теме.
И статья от, на мой взгляд, толкового исследователя из Хельсинского универститета.
ИИ представляет собой экзистенциальную угрозу: 9 тезисов для обсуждения