Комментарии 614
Пф, это как призывать не делать более мощное и эффективное оружие. Американцы знают, что даже если они перестанут, то будут делать китайцы. Китайцы знают, что даже если они перестанут, продолжат делать американцы.
Именно так. Открытые письма этих товарищей имеют действие только на западный мир и есть области, научные прорывы в которых потенциально могут принести бенефитов как от атомной энергии. И всегда есть Китай, в котором нет практически никаких ограничений для работы в областях, на которые нацелена компартия.
На данный момент ограничений в развитии ИИ в Китае гораздо больше, чем на западе. И вполне можно представить, что компартия вообще забанит особо продвинутый ИИ, если не будет уверена в последствиях развития технологии. Это даже весьма вероятно. Они же посадили ученого, который редактировал гены. В логике "КПК это аутистичный агент, который сделает все для продвижения своих интересов", а-ля Третий Рейх, они бы этого не сделали, а наоборот поощрили бы евгенику "лучшего китайского гражданина".
Они же посадили ученого, который редактировал гены.
Он вроде нифига не отредактировал по итогу и присел за мошенничество или подделку документов.
Хэ Цзянкуй таки отредактировал, где-то в Китае живут две девочки, предположительно невосприимчивые к одной из форм ВИЧ. Он кстати уже отсидел, собирается новую лабораторию открывать.
Он отредактировал, а детей проверили на устойчивость к вич и подтвердили, что это сработало. Правда оба ребенка постоянно под наблюдением врачей и рожать своих детей им запретили навсегда.
Сам учёный отсидел своё и недавно вышел. Он сказал, что допустил ошибку. теперь это понимает и больше делать так не будет. Но при этом хочет открыть свою лабораторию и делать там дела на благо обществу.
Может есть какие-то свежие данные, но на 2019 часть ученых утверждала что это так не работает. https://habr.com/ru/news/t/478876/
Я читал статью на Тасс наука, но сейчас не могу найти, к сожалению. Это вроде как работает и он не первый, кто это сделал. В Китае, где разрешено проводить генетические опыты с человеческим материалом, уже проводили подобные операции на ДНК и тогда у 15% удалось воспроизвести мутацию CCR5delta32, которая от природы уже есть у некоторых людей и эта мутация защищает их от ВИЧ. Другое дело, что во время модификации были нарушены и другие части ДНК, которые непонятно к чему приведут, хотя сам ученый и клянётся, что нарушения ни к чему плохому не приведут.
ЗЫ: заминусил комментарий вам не я, если что. Не понимаю за что там минусить.
Интересно, а почему его посадили если это действительно сработало? Из-за моральной стороны вопроса?
А вы читали за что конкретно его посадили?
Теперь прочитал, спасибо, нашел тут - https://www.science.org/content/article/chinese-scientist-who-produced-genetically-altered-babies-sentenced-3-years-jail. Посадили за подделку документов и обман врачей, которые не знали о генетических модификациях внедренных эмбрионов.
Ну да, прямое нарушение запрета. Хотя надо конечно что там суд сказал читать. Может и халатность (вероятный вред здоровью матери) и еще что-то типа нецелевого использования оборудования.
Делал что-то крутое без благословения партией. Так ведь могут подумать, что партия не нужна.
Судя по всему его посадили не за сам эксперимент, а за то как он его провел - подделка документов и обман врачей, которые не знали что внедряют генетически модифицированные эмбрионы. Тогда понятно.
EDIT: убрал рожениц, оказывается "подопытные" знали об этом судя по этой новости - https://apnews.com/4997bb7aa36c45449b488e19ac83e86d.
Где про это прочитать? Нигде не получается найти, только от 7-го февраля:
Несмотря на заявления генетика, в настоящий момент нет независимого подтверждения успеха и безопасности проведенного им эксперимента.
рожать своих детей им запретили навсегда
это потому что здоровые люди никому не выгодны?
компартия вообще забанит особо продвинутый ИИ
А потом этот ИИ забанит компартию!
Вы уверены, что владеете полной информацией о проводимых в Китае работах по редактированию генома? А не только об одном учёном, который открыто пиарился?
Я ни в чем не уверен, но я предсказываю с большой вероятностью (больше 90%), что да, никаких таких работ не проводится. Потому что если бы проводились -- это наверняка бы утекло если не в паблик, то американской разведке, которой не было бы смысла не публиковать этот факт, потому что это нарушение международного договора.
Миром правит не тайная ложа, а явная лажа.
Но, допустим, я не прав, и Китай действительно проводит бесчеловечные эксперименты в катакомбах. Как я должен на это отреагировать? Убояться злобную КПК и поощрить гонку за создание сильного ИИ со стороны OpenAI?
Я уже писал в нескольких комментариях ниже, что даже если основная доля вероятности приходится на такие "race to the bottom" варианты, я не должен вливаться в эту струю -- это строго бесмысленно. Сейчас имеет смысл транслировать только пацифизм, кооперацию, и дружелюбность по отношению ко всем, даже если это неоптимально с точки зрения холодной теории игр.
Я ни в чем не уверен, но я предсказываю с большой вероятностью (больше 90%), что да, никаких таких работ не проводится.
... и дальше следует очередное доказательство от гипотетических действий. Похоже, вы весьма упорны в своем заблуждении о том, кто что сделал бы в иных обстоятельствах.
Для меня это похоже на попытку защиты своей монополии. Можно привести аналогию, например табачные компании тоже лоббируют всевозможные ужесточения антитабачного законодательства чтобы защитить свой рынок от новичков. Думаю и тут тоже самое. А учитывая, с какой легкостью недавно воссоздали результат довольно близко воспроизводящий возможности GPT-3, думаю их опасения за рынок не напрасны. Проще говоря, хотят зарегулировать рынок ИИ. Весь вопрос в том, кто именно и как будет решать превосходят возможности нового ИИ GPT-4 или нет.
Но можно привести и другую аналогию. Вспомним Договор о запрещении испытаний ядерного оружия в атмосфере, космическом пространстве и под водой подписанный 5 августа 1963 года в Москве, вызвавший просто бешенство со стороны Китая, обвинившего нас в сговоре с капиталистами ради сохранения монополии на ядерное оружие. Это надолго рассорило нас с Китаем. Тем не менее мы пошли на этот шаг. Неужели неправильно сделали?
Хороший вопрос. Прежде чем я попытаюсь на него ответить, я бы хотел обратить внимание на то, что ИИ как оружие, на мой взгляд, потенциально гораздо мощнее ядерного, но в отличие от ядерного оружия ИИ может быть использован и для защиты.
Банальный пример, не раскрывающий и тысячной доли потенциала - это дрон под управлением ИИ может автономно выбирать, преследовать и поражать цель даже в укрытии, но другой дрон с ИИ может выслеживать и уничтожать вражеские дроны; второй пример, противник может использовать ИИ для того чтобы создавать фейки для манипулирования обществом, но другой ИИ может разоблачать сфальсифицированные материалы.
Что же касается Китая и ЯО, то я как не политик и не специалист, могу ориентироваться только на свой бытовой опыт, который говорит мне, что вероятно, Китай не стал бы использовать ЯО для нападения, а наши отношения не испортились бы. Может быть и лучше было бы. Но, возможно я что-то не знаю.
Все последствия использования автономного ИИ в качестве оружия давно обдуманы и описаны талантливейшими фантастами, ничего в этом хорошего нет, так что лучший выход все-таки – договариваться об ограничениях.
Но я реалист и понимаю, что это почти невозможно, так что нас ждут сложные времена. Разве что неминуемый грядущий мировой кризис обрушит высокотехнологичные сферы и нам придется столкнуться с куда более прозаичными проблемами. Хрен редьки не слаще.
Посадили учёного, о котором вам известно. А сколько их может быть, о которых вам неизвестно?
Мы:
Знаем, о чем мы знаем (находится в пределах нашего "операционного поля").
Знаем, о чем мы не знаем (ищем решение, занимаемся разработкой).
Не знаем, о чем мы знаем (у нас есть информация, которая нам нужна, но она вне нашего "операционного поля" и её необходимо повторно найти).
Не знаем, о чем мы не знаем.
(с)
4-я область по мощности превосходит первые три.
В логике "КПК это аутистичный агент, который сделает все для продвижения своих интересов", а-ля Третий Рейх, они бы этого не сделали, а наоборот поощрили бы евгенику "лучшего китайского гражданина".
Это очень смелое допущение, на самом деле.
Утверждения о гипотетических решениях живых людей обладают демонстрируемо дрянной предсказательной силой для конкретных случаев.
Потому использовать их, как основание для характеристики поведения группы людей - предельно натянуто. Так что можно обоснованно сказать, что ваш вывод - скорее неверен, чем верен.
Вот не соглашусь. Там как раз наоборот от систем распознавания лиц просто деваться некуда. ИИ там пихают куда угодно и когда угодно. Плюс эти игры с социальным рейтингом (пусть и на уровне слухов). Компартия очень хорошо понимает, что и как делать с ИИ и делает это с удовольствием.
зато у компартии есть моральные ограничения и некая концепция равенства граждан, а вот у США почти никаких моральных ограничений нет,
разве что он могут надувать щёки и заявлять что они типа самые демократичные и поэтому все должны им подчиняться безоговорочно
компартии есть моральные ограничения и некая концепция равенства граждан
Спасибо, посмеялся. Там нет ни того, ни другого. Чего стоит только расизм исходящий из китайской истории. Там не сильно далеко от арийцев.
Ох. Вы бы уйгурам об этом рассказали, или тибетцам. Они ведь граждане.
Даже если завтра Китай договорится об этом с США - послезавтра вычислительные мощности вырастут, и это сделает какой-нибудь Бангладеш или Мозамбик. Примерно как в 50-е атомная бомба была вершиной технологий, доступной только сверхдержавам, а сегодня её делает Иран и КНДР.
не вырастут, нужна еще энергия, а ее взять неоткуда
Так энергоэффективность электроники постоянно растет. При росте мощности типового ПК в несколько раз производительность за последние тридцать лет выросла на порядки.
за тридцать лет да. А на сколько порядков она выросла за последние пять лет? Хотя наш мозг очень эффективен, следовательно ИИ есть куда стремиться в этом плане.
как говорится - посмотрим, когда вычислительные экспертные системы смогут в 100-200Вт иметь такую же сложность как хотя-бы у трехлетнего ребёнка, да ёлы-палы - хотя-бы уровня детеныша шимпандзе, это уже скорее всего будет опасно.
@leventov- как раз с кооперативностью и проблема. старательно будут опережать возможного противника, даже если в реальности его не будет.
так что - вполне возможен калабуховский дом.
Умножьте в уме числа по 1 байту за 0.5 наносекунды, как логические элементы делают, потом и сравнивайте. Время релаксации нейрона 5 мс, что в 10 млн. раз больше, чем у логики. И потребляет нейрон больше, чем логический статический элемент.
Вычислительная система может потреблять 1000Вт в течение 3 секунд, для решения сложной задачи, а человек решит несколько таких задач за сутки, при этом потребление мозга 25Вт круглосуточно. Итого 3000 Дж у вычислительной системы против 2 000 000 Дж у человека за сутки. Итого вычислительные системы и быстрее и экономичней человека на порядки.
такую же сложность как хотя-бы у трехлетнего ребёнка
То есть ребенок, как Миджорней может в ультравысоком качестве рисовать сложнейшие картины по описанию? Водить автомобиль на уровне Теслы, писать код на всех языках программирования?
Ну это вы слишком упростили. Живой мозг не просто умеет вычислять. Он очень адаптивен и имеет множество сложных систем для поддержки своего состояния. Мозг способен решать весьма разнообразные задачи, которые для компьютера приходится готовить. Ведь мозг предназначен не для выполнения алгоритмов, а для выживания индивида и даже целого вида. Разные предназначения.
Он очень адаптивен
Мой пример показывает как-раз, что не очень адаптивен. Есть пределы свои.
Мозг способен решать весьма разнообразные задачи, которые для компьютера приходится готовить.
Мозг тоже готовился в ходе эволюции миллионы лет и в ходе обучения готовится всю жизнь.
не для выполнения алгоритмов, а для выживания индивида
Иногда ошибка в вычислениях может ухудшить жизнь человека и поставить вопрос о его выживании. Вполне себе навык для выживания в наших условиях.
и тот вычислитель что будет хорошо считать или отрабатывать траектории движения могут быть одинаковыми? не думаю. массив обучения будет разный как и состав, а использовать его вне его массива обучения м... мягко говоря глупое дело будет.
высокоспециализированные устройства могут дать фору, не спорю, но кто им будет готовить исходные данные, строить их и собственно определять специализацию при множестве неявных факторов, которые в вычислительную модель не укладываются?
сейчас эти вычислители, экспертные системы поставили на одну вариативную задачу, на другую надо совершенно другой по составу строить проект вычислителя. так что с эффективностью у вас...
"То есть ребенок, как Миджорней может в ультравысоком качестве рисовать сложнейшие картины по описанию?"
Критерий "ультравысокого качества" картины? Ну скажем фотореалистичная картина неизвестного художника или граффити на стене от Бенси(аль как он там) - что лучше? А каракули Сальвадора Далии? А Шишкина рисунки из яслей? Что оценивать?
"Водить автомобиль на уровне Теслы, писать код на всех программирования?" А пользоваться ложкой при употреблении пищи ИИ может? А понимать что не всё что говорят взрослые(набор обучающий) правда(ну что серенький волчок не укусит за бочок)? А...
Странные критерии у тебя. Ну и так-то "водить автомобиль" даже медведь может. В цирк сходи.. Там ещё сложнее - он на мотоцикле гоняет.
У мозга нет полноценного спящего режима, мозг теплокровных потребляет круглосуточно.
Серьёзно? Энергия в странах третьего мира дешевле чем где либо да и пара сотен мегаватт-часов это мизер даже для беднейших государств.
Если вы не заметили, мы живем в мире нарастающего энергокризиса в силу истощения запасов углеводородов. Страны, не освоившие РБН уйдут в средневековье. Другое дело что это не вот прям завтра, и ИИ может многое поменять.
Истощения углеводородов? Посмотрите мировые запасы для начала.
Простите, я внимательно изучаю публикации по этой теме уже год, после начала событий, просто хотелось создать для себя какую-то непротивочивую модель мира, в которую укладывалась бы реальность. И в целом получилось.
Так что я ушел немного дальше, чем отчеты BP, где скоро березовый сок будут за запасы brent выдавать. Попробуйте тоже, для начала
я внимательно изучаю публикации по этой теме уже год
Пффф. Люди изучают экономику всю жизнь, имеют самые лучшие университеты по экономике в мире, могут позволить себе самые лучшие умы со всего мира, все самые крутые профессоры наук у них в советниках в правительстве, но до сих пор печатают деньги килотоннами, а потом слишком поздно замечают инфляцию, и очень неумело начинают с ней бороться так, что лопаются банки. А вы всего год как "в теме" и всё знаете.
Да знают они про инфляцию и даже больше. Это часть их стратегии. Часто проще двигаться по пути наименьшего сопротивления. Их цель не удержать инфляцию, а (ИМХО) не уронить систему и при этом делать все то, что они хотят делать. Например, перекачивать суммы из одного места в другое.
А что более вероятно, что люди на высоких постах, добившихся их в тяжелой конкурентной борьбе и контролирующие экономику половины мира "слишком поздно замечают инфляцию" или что происходят какие-то другие процессы?
Это опять аргумент в парадигме Молоха про то, что "кругом враги", и "если не можешь противостоять -- возглавь". Думать так и действовать исходя из этого -- это самосбывающееся пророчество. Чтобы был шанс выскочить из этой мальтузианской ловушки, надо перестать думать так, даже если это "неоптимально с точки зрения теории игр".
надо перестать думать так, даже если это "неоптимально с точки зрения теории игр".
Да, но ведь надо перестать ВСЕМ думать так, в этом же вся проблема, как сделать так чтобы все перестали так думать, и как сделать так чтобы все убедились что все действительно перестали так думать
Если вы хотите твердые доказательства (опустим тут что их невозможно получить, в принципе, потому что сложные системы такие как мозг, общество, или государство фундаментально не предсказуемы твердо и "до конца"), вы все еще во фрейме "кругом враги". Надо из него выйти, взять и выйти, в одностороннем порядке, и лишь надеятся и убеждать других выйти из него тоже.
Теория игр это раздел математики. Нельзя просто решить, что раз выводы математики мне не нравятся, то я буду верить во что-нибудь другое.
Технически более точный ответ состоит в том, что когда вы рискуете жизнью (себя или цивилизации), вы нарушаете payoff симметрию, и поэтому не можете просто применить классическую теорию игр. Надо использовать другую логику, где ваша главная задача - выжить, а не максимизировать "матожидание выигрыша". Вот например про это пишет Талеб.
Матожидание выигрыша может и не сильно важно становится, а вот всякие равновесия по Нешу остаются, даже если эта точка равновесия ведет к гибели цивилизации.
Эти равновесия существуют только в парадигме взаимной оптимизации ожиданий. Если "игроки" выходят из этой парадигмы и принимают что-то типа Updateless Decision Theory, то все меняется
Я так понимаю эта теория требует, чтобы каждый был истинным коммунистом и проявлял массовый героизм. И "после нас хоть потоп" в ней полностью исключен из возможной агентской мотивации.
Вот когда такие люди появятся в математически доказано достаточном количестве — она будет стоить хоть чего-то.
Канеман нобелевку получил за то, что наглядно показал, что людям даже до рациональных то экономических агентов как до луны. А уж до рационально альтруистических — еще дальше. В общем давайте вы будете рекламировать теорию, которая может работать на реально существующих людях.
Фраза про то, что эта теория "не работает на реальных людях" - это как раз про ее неоптимальность с точки зрения матожидания. Но я забочусь не о матожидании, а о выживании. Другой теории, которая бы обеспечивала выживание, пока не завезли, поэтому надо использовать текущую "неоптимальную", и надеяться на лучшее. И параллельно искать новую теорию (даже скорее, проблема не в теории, а в системе--механизме обеспечения работы теории, с "правильными" incentives, типа замены товарно-денежных отношений и рынка на новую систему для collective action и collective decision-making), что некоторые люди и пытаются делать.
Нет, "не работает на реальных людях" означает ровно то, что написано. А именно: вы можете сколько угодно вылизывать эту теорию, но все равно умрете, если от нее будет зависеть ваша жизнь.
А если рядом сосед разработает теорию с системой сдержек и противовесов с коррупцией, убийством неугодных и абсолютной диктатурой ограниченной табакеркой, которая будет работать среди жадных лживых и только местами альтруистичных людей — то он выживет.
У вас теория напоминает разработку корпусов и интерьеров и систем жизнеобеспечения для кораблей со сверхсветовыми двигателями. А что, без таких двигателей мы не можем представить комфортного путешествия между звездами, значит будем просчитывать интерьеры. А то, что двигателей не завезут никогда — не важно.
Непонятно, что за теорию сдержек придумает сосед. И даже если придумает, чем это поможет в многополярном мире с множеством стран.
Теории, которая должна "как-то" работать среди лживых и плохих людей и которая имплементируема в текущем мире - нет. Ну или можно просто сейчас считать текущий мир с его системой международных отношений и капитализмом ближайшим прокси, но это все равно нерабочая система.
Ну нету сверхсвета. Не долететь вам до соседней звезды и обратно за месяц (особенно земного времени).
Между хреново работающей существующей системой и абстрактным клеточным автоматом с хитрыми правилами я выбираю существующую систему. Ее хоть дорабатывать можно. От автомата в реальной жизни польза только на Steam может быть.
(но я вообще думаю мы скатимся таки в глобальную диктатуру. Все прошлые империи были в основном ограничены информационно, в мире современных компов ограничение упало, а границы и международные отношения — историческая инерция)
Меняется. Вы не можете смоделировать смерть ("минус бесконечность" потерь) в парадигме бесконечной итеративной игры.
Я не думаю, что человеку, умирающему во сне, снится что-то хорошее. А по тем редким случаям, что я помню, сны протекают как полная реальность, со всеми эмоциями.
Так что умирающему во сне скорее всего очень неприятно, просто он никому не расскажет.
Severance не смотрели?
Сны снятся в быструю фазу сна и сопровождаются высокой мозговой активностью. Если в организме происходят деструктивные процессы, которые мозг способен зафиксировать, он пробудит человека. Если же пробуждения не произошло, то мозговая активность была недостаточна и для сновидений.
убеждать других выйти из него тоже.
Но вы не можете это делать, вы не можете убеждать выйти из него тоже.
Никто же не знает действительно ли вы из него вышли. То есть как именно вы будете убеждать? Мне тут кажется единственный выход это что то нерациональное, религиозные доводы, давление на эмоции, массовое увлечение отказом от ИИ так как ИИ это неэтично. Ну то есть все то что сегодня останавливает людей от экспериментов на людях с редактированием днк
Это опять аргумент в парадигме Молоха про то, что "кругом враги", и "если не можешь противостоять -- возглавь".
Думать так и действовать исходя из этого -- это самосбывающееся пророчество.
Да,это так. Контраргументы будут?
Чтобы был шанс выскочить из этой мальтузианской ловушки, надо перестать думать так, даже если это "неоптимально с точки зрения теории игр".
Если вы будете вести себя неоптимально с точки зрения теории игр то вы получите неоптимальный результат. В данном случае вы просто окажетесь в ситуации когда противник сделал мощный ИИ, а вы - нет, потому что он не переставал действовать в соответствии с теорией игр.
Любая серьёзная политическая сила - продукт эволюции, отбиравшей самые эффективные в увеличении и удержании влияния. Нет никакой сущности, способной осознать идею "пока мы тут дерёмся, мы все вместе катимся в пропасть". Даже если люди, из которых эти политические силы составлены, сплошные пацифисты - действуют они в рамках своей роли, а если начинают действовать вопреки ей, теряют место. Каждый диод в интегральной схеме может быть за мир во всём мире, но схема направляет боеголовку на мирный город.
однако с ядерным оружием получилось договориться, несмотря на всю его мощь и эффективноть.
Нет практического смысла дальше наращивать его мощность. А работы по улучшению способности боеголовок проходить современную и перспективную ПРО велись и ведутся всеми странами, владеющими ЯО.
Вот как-раз мощная боеголовка и может пройти любую ПРО. При столкновении с ПРО взрывается, далее в атмосфере такие возмущения, что радары становятся бесполезными. Ломать не строить, как говорится.
Она так ПВОшкой сработает для всех окрестных боеголовок, а бронецели в которую она летела атмосферный взрыв — до лампочки.
Вторая боеголовка необязательно должна быть "окрестной", она может в момент срабатывания первой ещё вне атмосферы быть. Использование ядерных зарядов в несколько волн давно придумали, и если оно хоть сколько-то оправдано - уже реализовано.
И, к слову, вполне допускаю, что в первой волне заряды несколько другие - с максимизацией именно ЭМИ, для "гашения" электроники.
В любом случае, развитие ведётся, но не с дурной мощностью в качестве целевой метрики.
Так боеголовки не обязательно должны быть в 3 км друг от друга. На 5-10 км если разлетятся, уже взрыв не подействует. Нагрев они переживут, электромагнитный импульс тоже должны пережить, ударная волна тоже быстро ослабевает с расстоянием.
Как столкновение с ПРО вызовет цепную реакцию? Там же нужен точно высчитанный механизм детонации, а не просто бабах.
Детонация вызывается электрическими взрывателями, сигнал до которых идет со скоростью света. То есть, если на корпусе срабатывает датчик повреждения, далее электрический сигнал запускает детонаторы. На глазок детонация будет быстрее, чем распространение повреждения. Вывести из строя боеголовку надежно может поток нейтронов, от нейтронной бомбы или ренгеновский лазер. Чтобы повреждение шло резко изнутри и детонация уже в таком случае не успеет.
Об запрете всех испытаний договорились только тогда, когда научились эффективно отслеживать подземные (и то США и Китай его так и не ратифицировали).
А как ты отследишь разработку ИИ? Никак.
Тренировку мега-моделей, которая происходит на десятках тысяч нод, вполне можно отследить.
Теоретические исследования, которые потенциально увеличивают learning efficiency так, что модели уровня GPT-5 можно натренировать на на порядок меньшем количестве нод (компьюта) и/или данных -- отследить, конечно, нельзя. Но такие теоретические прорывы, хотя и вероятны, далеко не гарантированы в течение как минимум пары лет.
Тренировку мега-моделей, которая происходит на десятках тысяч нод, вполне можно отследить.
Как? Вот есть секретный цод, мб там обычные ракеты считают? Никто туда наблюдателей не пустит :)
Микрософт очень сильно завязан на государство, и ни в какое подполье он уходить не будет. Адреса всех его ЦОДов известны госагенствам США и т. д.
Хорошо, а кто будет контролировать само государство?
Я не понимаю фрейм вашего вопроса. Государство не идеально, но что-то контролировать и запрещать оно все еще в состоянии. Само что-то делать продуктивное - в сильно меньшей степени. И что дальше? как это связано и инвалидирует ветвь обсуждения выше?
Китай подпишет и ратифицирует договор, а сам будет разрабатывать ИИ в секретных цодах, а китайские ученые будут оправдывать себя тем что другие страны поступают также.
Для такого самоограничения нужны гарантии, с ядеркой это сработало - испытания легко отследить. С ИИ не сработает - разработку, испытание да и частичное применение ИИ отследить невозможно. Это классическая Дилемма заключенного.
Вот именно - это дилемма заключенного. Только на кону - не "двушечка" и "десяточка", а уничтожение человечества. Значит необходимо действовать кооперативно, а не пассивно-агрессивно, даже под теоретико-игровым риском, что злобный конкурент тебя уничтожит.
Во-первых, человечество на кооперативные действия не способно.
Во-вторых, ниоткуда не следует, что языковые модели угрожают человечеству уничтожением.
Так что все будет идти своим чередом.
человечество на кооперативные действия не способно.
Без новых инноваций в сфере коллективного планирования и действия - возможно (хотя и не совсем: как бы не был плох и неэффективен ООН, это все-таки какой-то пример ненулевой кооперации. А масштабный вызов вполне может подстегнуть большую кооперацию). Значит, над такими инновациями (хоть бы и что-то типа DeGov, или таких программ) надо работать.
ниоткуда не следует, что языковые модели угрожают человечеству уничтожением.
Да, это ниоткуда не следует с математической точностью, поэтому можно полагаться только на интуиции. И 50% исследователей ML читает, что есть как минимум 10% шанс уничтожения человечества от развития ИИ. Это достаточная оценка риска чтобы, например, хотя бы замедлиться, как призывают подписанты письма, или нет, надо продолжать бежать к сильному ИИ так быстро, как мы можем?
А если N% исследователей ML считает, что есть как минимум M% шанс, что ИИ найдет способ лечения ряда болезней, что спасет X миллионов людей в год. А значит каждый день "торможения" убивает 2,7*X тысяч человек.
На каких значениях N, M, X - риск оправдан?
Мое мнение: риск оправдан если болезнь грозит вымиранием человечества или разрушением цивилизации (допустим, если остаются в живых только изолированные племена в Амазонии и на островах).
Если не грозит - не оправдан.
Странно у вас получается. В вашей цитате 10% шанс уничтожения человечества, а вы его называете сравнимым с 100% шансом вымирания от болезни (ну или какой у вас процент под словом "грозит"?). Как-то нелогично.
Ну или скажем новая пандемия. Где гарантии, что в следующий раз не взлетит какая-то дрянь с куда больше смертностью? Быть может притормозим сейчас, и на момент пандемии не будет инструмента который сможет вовремя решить проблему, и умрут уже не миллионы, а миллиарды...
Может быть вы правы, и риск математически не оправдан, но для человека чей родственник уже сегодня умирает от болезни которой могло и не быть - веса в уравнении совсем другие. И к кому из вас стоит прислушаться - совсем не очевидно.
Все же человечество это не только про выживание. Это еще и про сострадание. И что важнее - каждый решает сам.
Ваш пример сугубо теоретический, потому что для того, чтобы быстро создавать вакцины от вирусов, уже ИИ не нужен, а других "неведомых хворей" из ниоткуда образоваться не может. С другой стороны, если возникнет очень летальный и очень заразный вирус, уже опять-таки ничего не поможет, ИИ нас никак не спасет, если смертельный вирус уже вышел из-под контроля, то цивилизация вымирает за несколько месяцев.
Развитие сильного ИИ скорее увеличивает биориск, чем уменьшает его, потому что ИИ может создавать новые вирусы полностью с нуля и специально оптимизировать его для наиболее масштабного поражения (максимально долгий бессимптомный период, максимальная заразность, максимальная летальность). Чем могут воспользоваться фанатики.
A. Про пандемию просто пример, смысл каммента не в нем. Но на остальное отвечать сложнее.
Б. ИИ, на данном этапе, это прогресс. Вероятно во всех сферах.
Т.е. нужно говорить не о том может ли ИИ справиться с вирусом, а о том больше шансов у более высокоразвитой цивилизации справиться с вирусом, или меньше.
"Справиться" можно по разному. Может сознание будут бекапить по четвергам, может биологию на электронику заменят, может жить все в VR будут... Речь же не сегодня/завтра. Речь о будущем в целом.
Человечество сталкивается с проблемами, какие-то их них могут его уничтожить. Прогресс позволяет с проблемами бороться.
Отчасти прогресс сам несет риски. Вопрос в том чего больше. И что выбрать.
Я выбираю прогресс. И чем быстрее - тем лучше. Так оно банально интереснее))
Не помню такого вируса, чтобы вымерла вся достаточно крупная популяция. Обычно если происходило что то подобное, то все равно потом шло быстрое восстановление. Если конечно нишу кто-то еще не занимал.
шо вы сразу "уничтожением" ?
Да банальный хорошо скоординированный вброс правдоподобно сочинённой дезы, аргументрованной, с пруфами, фоточками и видосами, сразу в десяток мировых информационных агенств, которые это опубликуют, может вызвать революцию, скажем, в США, что приведёт к падению устоявшейся системы международных отношений, а возможно, к падению финансовой системы - херово будет всем без исключения.
людям дай только повод, а дальше они сами без всякого ИИ наломают дров.
Потому что на его формирование и развитие потрачено полным-полно ресурсов, и что ещё более важно - ценного времени, которого у нашей планеты осталось не так и много. Для формирования нового разумного вида с последующим его выходом за пределы солнечной системы может уже и не хватить.
Когда вы видите код, который вам не нравится, но в который вложены тысячи человеко-лет, тоже не понимаете, почему рефакторинг всегда лучше полного удаления?
А вообще, ваш вопрос очень напоминает крайне популярное нынче в блогах высказывание "что плохого в том, чтобы застеклить целую страну, которая мне не нравится" только в ещё большем масштабе.
Ваша позиция на moral value of future lives и population ethics понятна, она не бьется в комментариях на Хабре, на эту тему написаны тысячи статей в философских журналах и книг.
Вопрос в том что решать не лично вам, а, видимо, все-таки обществу. Ну или Сэм Альтман думает, что решает лично он и его друзья по OpenAI. Так что сейчас вопрос приобрел политический оборот -- решается вопрос, кто имеет право решать.
Я повторю - вопрос политический. Решать будет политика, а не либертарианцы, как бы вам не хотелось, чтобы решали вы унилатерально. Но вы можете победить - политически.
Для того, чтобы убедить кого-то с вами кооперировать, вам придётся
научиться обосновывать свою позицию и показывать её преимущества.
Мне? Я очень плох в подобных обоснованиях. Обосновывать будут совсем другие люди, у которых к этому талант. Или не будут, если таковых вдруг не найдётся.
И обосновывать не конкретно перед вами, а перед всем обществом, начиная естественно с тех, кого убедить легче. И если её поддержит достаточное количество людей, то оставшиеся не убеждёнными просто пройдут по графе "статистическая погрешность".
При диктатуре всё ещё хуже. Тут достаточно всего лишь создать ситуативное преимущество, чтобы очень небольшое количество убеждённых людей просто растоптало любое сопротивление, даже если свыше 99% не убеждено. И с каждым скептиком носиться как с писаной торбой вообще никто не будет.
Так что демократия всё-таки намного лучше в этом плане.
Убеждение человека с позицией типа "всё тлен" - работа психиатра.
У вас искажённые представления о работе психиатра. Я не буду пытаться анализировать их происхождение, из уважения к личности. Напомню только, что один из трёх критериев психического расстройства - декомпенсация. Покуда человек способен сам себя обслуживать и функционировать в обществе, помощь врача не требуется. Подчеркну, что речь идёт о способности, а не о желании.
Мне показалось, что когда научились эффективно считать. То есть когда они стали не очень нужны лидерам, но все еще нужны желающим вскочить на подножку.
однако с ядерным оружием получилось договориться
точно получилось?
число ядерных держав только растёт, разработки нового оружия в сша/китае/рф, уверен, ведутся; тем более, что сегодня технологии куда более зрелые, и заметную часть разработки можно вести «на бумаге».
Вы уверены, что скромными? Может это конечно менее затратно по ресурсам, чем создание ядерного оружия, но в гараже точно не получится.
Да нет не скромными. Не завод по обогащению урана, но дата центр будет довольно большой.
Есть информация, что майкрософту пришлось построить суперкомпьютер с десятками тысяч Nvidia A100 для ChatGPT
https://www.techspot.com/news/97919-chatgpt-possible-due-tens-thousands-nvidia-gpus-which.html
Так что нет, в гараже поднять скормными ресурсами не получится.
Американский ИИ с китайским ИИ сами договорятся.
Каждое утро в Африке просыпается газель. Она должна бежать быстрее льва, иначе погибнет. Каждое утро в Африке просыпается и лев. Он должен бежать быстрее газели, иначе умрет от голода. Не важно, кто ты – газель или лев. Когда встает солнце, надо бежать
Только ни лев ни газель не смогут убежать от человека с ружьем, как бы быстро они не бегали.
Так и люди с их биологическим мозгом не смогут соперничать с ИИ, который может увеличить свой интеллект, быстродействие и память просто заплатив деньги и докупив железа.
Каждое утро в Африке просыпается газель. Она должна бежать быстрее льва
"Нужно бежать не быстрее льва, а быстрее соседа" (с).
Каждое утро в Африке просыпается и лев. Он должен бежать быстрее газели, иначе умрет от голода.
"В функции самцов входит только размножение и защита территории, в том числе от других самцов. Охота и воспитание (обучение) детенышей выполняется в основном львицами, однако самцы иногда тоже участвуют в охоте, например, когда надо убить сильную жертву. "
Не важно, кто ты – газель или лев. Когда встает солнце, надо бежать
Дурная голова ногам покоя не дает. В охоте прайдом групповой интеллект на первом месте. Много видосов когда прайд толпой неспеша загоняет жертву на львицу в засаде. Ей остается только прыгнуть.
Hidden text
Лем. "Фиаско"
Господа решили "в одну калитку" порешать "дилемму заключенного". Финал немного предсказуем.
Пф, это как призывать не делать более мощное и эффективное оружие.
Можно без "как", просто более мощное и эффективное оружие. Берет на себя весь спектр задач от стратегического планирования до самых мелких тактических вопросов, типа - в 20 метрах на юг за кустом спрятался противник, кинь туда гранату.
А зачем еще более мощное оружие?
Разве текущего арсенала не хватит чтобы весь мир в труху? Где-то видел исследование, что текущий арсенал шестикратно превышает необходимый минимум для уничтожения человечества (с учетом радио заражения)
Реклама. Там то рельеф не учтут (модель где две Кузькиных матери на полюсах при синхронном подрыве сдувают всю атмосферу в районе экватора с планеты), то скорость осаждения сажи (первые модели ядерной зимы), то уровень разоружения и модернизации вооружений (ну сняли уже мощные боеголовки с дежурства, заменили точными и маневренными). И радио заражение тоже туда же. Сейчас точно и с максимальным уровнем реакции (и как следствие уровнем долгосрочного заражения) — тренд сезона.
Ядерное мало кого интересует. Гляньте в Китай. Они не выкидывают деньги на ветер вкладывая в атомное оружие
Тем не менее по ядерному оружию договорились. Делать делают, но по факту развитие свернули.
Нет, это не то же самое. Оружие приносит власть и с ней деньги, тому, кто его производит. Поэтому возникает конфликт интересов и "трагедия общин". В отличие от оружия, AGI является не объектом, а агентом, и он не даст ни власти не денег своим создателям, а наоборот отнимет у них и власть и деньги. Положительный эффект от AI - это всего лишь вспышка, в очень короткий отрезок времени пока AI не стал ASI. Это то же самое, как передозировка наркотиков - в моменте может быть хорошо, но затем смерть. Поэтому здесь на самом деле нет конфликта интересов и трагедии общин. Хотеть получить AGI могут только те, кто не предвидит последствий его появления. Поэтому сражение заключается не между сообществами AI safety и AI dev, а между AI Safety и безграмотностью. Мы на одной стороне, просто уделили несколько большее количество времени анализу безопасности.
Откуда у вас такая 100% уверенность, что ничего нельзя изменить?
Если будет широкий общественный ответ на риски ИИ и их осознание, компании типа OpenAI дальше не продвинутся, и у нас будет не 6-месячная, но и гораздо более долгая отсрочка. Судя по скорости и масштабу разворачивающейся реакции (за пределами tech bro сообщества, которое бросилось делать продукты и деньги на новой технологии), такой общественный ответ вполне возможен.
"Секретные лаборатории" состоят из людей. Есть вполне реальный шанс повлиять, через общество, на этих людей.
А если не на этих людей, потому что их incentives слишком сильно смещены, то на политиков и регуляторов: в письме есть оговорка, что если лаборатории сами не пойдут на временный мораторий, государство может им в этом "помочь". Увести же тренировку GPT-5, которая происходит на десятках тысяч нод "в подполье" вряд ли получится, да и Микрософт никогда на это не пойдет. Вопрос только в том, чье политическое лобби будет сильнее: подписантов письма или Микрософта и Гугла.
Я не очень понимаю, зачем вы хотите меня убедить, что все предопределено и схвачено, монетарные стимулы слишком сильны, капитализм непобедим, Молох непобедим, и т. д. Чтобы что? Какую цель вы преследуете?
Я знаю что мои аргументы "не оптимальны", в них много оптимистичного биаса, но сейчас -- это единственный вариант. Если не быть оптимистом, останется только забиться под корягу и поскуливать там.
Если вы предсказываете свою смерть, вы все равно должны действовать исходя из того спектра сценариев, где вы выживаете, то есть, с биасом оптимизма.
Я не очень понимаю, зачем вы хотите меня убедить, что все предопределено и схвачено, монетарные стимулы слишком сильны, капитализм непобедим, Молох непобедим, и т. д. Чтобы что? Какую цель вы преследуете?
Зачем вы тратите время на хабре? Зачем пишите комментарии? Какую цель вы преследуете?
Вам не кажутся такие вопросы странными в контексте интернет-дискуссии?
Я знаю что мои аргументы "не оптимальны", в них много оптимистичного биаса, но сейчас -- это единственный вариант.
Нет, не единственный.
Если не быть оптимистом, останется только забиться под корягу и поскуливать там.
Нет, вы можете не быть оптимистом и при этом не забиваться под корягу.
Потому что я как раз еще хочу выжить. Большинство комментаторов тут, которым я оппонирую, с логикой "прогресс не остановить, поэтому его надо ускорить", "Китай все равно создаст супер-ИИ и всех поработит", и т. д., находятся в состоянии, которое можно описать как смесь отрицания, фатализма, и эскапизма, что по сути более пессемистичная позиция. А наносная бодрость и сарказм - это психологическая защитная реакция.
Без сильного ИИ в течение еще лет 50-100 цивилизация не умрет ни от холеры, ни от рака, ни от глобального потепления. Более того, у нее очень большие шансы победить и рак, и даже старение вообще без единого нового прорыва в ИИ, просто в процессе "обычной" работы ученых-биологов и медиков.
А вот с сильным ИИ через 5 лет, чего почему-то очень хочет Альтман и ко, у человечества есть серьезный шанс выпилиться. Через 100 лет этот шанс будет меньше.
Через 100 лет этот шанс будет меньше.
Почему
-- Это интуитивная оценка, основанная на длительном чтении различных аргументов за и против на LessWrong. Можно привести по 100 аргументов за и против (Альтман называет эту дихотомию "AGI soon" vs "AGI not soon"), на каждый из которых найдется по 10 контр-аргументов. Этот спор ни к чему не приведет, кроме убийства времени. Все, кто утверждают, что знают, как надо, и это не их интуиция, а что-то более весомое - лукавят, ничего кроме интуиции тут не может быть. Если ваша интуиция другая и совпадает с Альтманом (pro-AGI soon) - поздравляю.
Я вполне допускаю, что за 100 лет могут найти способ вносить искусственные изменения в человеческую биологию и психологию.
Какая разница, кто будет совершать. Главное, что получится на выходе.
Не ещё один шаг, а дополнительный фильтр. Создавать "новых людей" будет не среднестатистический человек, а небольшое подмножество людей с сильно отличающимися от средних характеристиками. Это вносит определённый биас в систему, и в результате на выходе будет отнюдь не то же самое, что было на входе.
А вот с сильным ИИ через 5 лет, чего почему-то очень хочет Альтман и ко, у человечества есть серьезный шанс выпилиться.
Согласно вышеозвученому вами принципу вы не должны действовать исходя из тех сценариев где ИИ выпиливает человечество. Следовательно вы не должны пытаться регулировать ИИ из страха выпила человечества т.к. это будет означать что вы исходите из сценария где вы не выживаете.
Все наоборот. Страх и осторожность это и есть оптимизм. Человек осторожен в лесу с дикими зверями именно потому что он рассчитывает в нем выжить.
Страх и осторожность это и есть оптимизм.
Что-бы проявлять страх или осторожность вам нужно понимать что может произойти что-то плохое - что в ваше понимание "оптимизма" как я понимаю не укладывается.
Человек осторожен в лесу с дикими зверями именно потому что он рассчитывает в нем выжить.
Под словами "рассчитывает выжить" вы имеете ввиду "думает что выживет" или "хочет выжить"?
Если первое то ему незачем проявлять осторожность.
Если второе то не совсем понятно причём тут оптимизм.
А почему через 5 лет ИИ опасен, а через 100 лет уже нет?
Причем тут конец света?
Они ограничить боятся не из за того что ИИ вдруг станет разумным - этого не будет. Они боятся что появится гигантская безработица скорее, а это повлечет достаточно других проблем.
Безработицы скорей всего не будет. Но исчезнут рабочие места, требущие интеллекта. Останутся примитивные и малооплачивыемые, что разделит человечество на нищий плебс и редких хозяев ИИ. Естественно такая элита тоже со временем деградирует.
И никаких Скайнетов не надо, всё своими руками.
Как человечество может перестроить внутренние программы, сформированные эволюцией, работой ума, если ум их не контролирует и доступа туда не имеет?
Потому что в противном случае дёргаться вообще нет смысла. Если человечество создано некой сверхсилой для её собственных целей, то оно и будет действовать так, как желается этой сверхсиле, без возможности хоть как-то повлиять на свою судьбу.
Именно поэтому нужно действовать так, словно никаких сверхсущностей не существует. Ведь если они есть, то мы всё равно будем действовать в их интересах так или иначе вне зависимости от нашего желания. Зато если их нет, то попытка угодить тому, чего нет и не было - напрасная потеря времени, которого и без того не так много.
Ну и что? Есть богачи, которые случайным прохожим дают кучу денег. Должен ли я стремиться жить так, чтобы попасть в выборку из счастливчиков? Ну там выяснять где они это делают чаще всего, летать по всему миру в надежде попасть в нужное место в нужное время. И существуют ли такие богачи на самом деле?
Вам не кажется, что идея жить с целью попасть в выборку - идиотская?
Чем эта идея отличается от идеи угодить некому сверхсуществу про которого кто-то сказал что оно существует?
Внутренний голос и чутье постоянно врет. Именно поэтому "личный опыт" никогда не учитывается при расчетах. Только фактические измерения имеют смысл, "ощущения" врут гораздо чаще чем говорят правду.
Так этот "внутренний голос" это ведь не чей-то посторонний голос, а твой собственный. Интуиция основана исключительно на собственном опыте, это не какие-то знания извне.
Что если сверхсила создает множество разумных рас, в расчете что может немногие справятся с задачей.
Или другой вариант, сверхсила давно сама деградировала, а человечество было надеждой спасти что-то.
Да тут миллион вариантов можно придумать, в которых смысл дергаться таки есть.
Как человечество может перестроить внутренние программы
Это очень хороший вопрос. Через рассудочное поведение --- врожденный страх высоты исчезает, если ты используешь страховку и постепенно приучаешь себя к виду пустоты под ногами. Таким образом можно изменить практически все.
Почитайте кто такой Вим Хоф. Он научился с уровня сознания контролировать иммунную и нервную систему человека. Более того, он смог обучить этому навыку контрольную группу.
Пояните, что вы подразумеваете под "работой ума(без использования технологий)"?
Мне кажется, это что-то из серии "мы все дети солнца" или что-то там про ведическую мудрость.
Всеобщий пофигизм, когда ничто никого не парит - не менее опасное состояние общества. Помните, чем закончилось "счастья всем и даром"? А без технологий - это примерно уровень амишей? То есть строго то, что может сделать один человек своими руками и простыми инструментами?
Маск, видимо, кусает локти, что вышел из OpenAI. Вообще, прогресс не остановить. Помню, лет 5 назад была риторика о том, чтобы не использовать ИИ в военной сфере - хрен там, стали еще активнее использовать.
Его опрокинули и заставили уйти, чтобы OpenAI вдруг не стала коммерческой компанией под влиянием корпораций. В будущем, конечно, это не помешало продаться Microsoft
Тут загвоздка в том. что прогресс в этой сфере может стоить человечеству существования, даже в случае если нормально подготовиться к ИИ.
А так к сожалению - да, скорее всего уже поздно и если будет изобретен ИИ, то там уже как карта ляжет.
Что угодно может стоить человечеству существования.
Вирус, например, какой нибудь в биолаборатории случайно можно создать и случайно выпустить, который выкосит всё человечество.
Только что-то я не вижу стремления запретить эти биолаборатории строить.
Стремление запретить или ограничить gain-of-function research есть.
Прогресс можно перенаправить. Отличный пример - бан клонирования человека
А что даст клонирование политиков, ученых, экономистов? На выходе получаешь младенца которого надо кормить, растить, обучать, а он потом ещё и может через 18-25 лет не политиком стать, а адвокатом, или музыкантом, или вовсе художником рисующим фурри-порно.
Эффект бабочки, случайные события, то да се, даже однояйцевые близнецы (по сути - естественные клоны) порой кардинально отличаются как жизненным путем так и даже просто характером.
Получать не младенца мешают законы биологии и знания генетики (иначе где эта пшеница вырастающая за два часа, или коровы которым не нужно 9 месяцев на то чтобы отелиться?) а "загрузка коннектома" (Как? Даже просто теоретически, как?! Мозг это не жесткий диск, это комок клеток!) это вовсе за пределами наших возможностей на ближайшие пару столетий точно. Тем более что если можно сохранять и загружать коннектом, то клон уже тупо не нужен, ибо достижимо цифровое бессмертие.
Тогда у нас давно мясомолочная промышленность ломанулась бы немерянным темпом. Так как очевидно, что "быстро выростает во взрослую особь" не имеет отношения к клонированию, но имеет к КРС.
Характером как раз не отличаются.
Подобные рассуждения на грани конспирологии или неподтверждённых слухов меня не интересуют. Факт то что такая сфера научно-технических разработок во многих странах как бы запрещена и, как следствие, недоступна ни учёным, ни бизнесу, ни мне как читателю научпоп-блогов. К сожалению. Если же кто-то этим, несмотря на запреты, занимается, то я рад за них, поскольку не вижу в клонировании и генетическом улучшении человека ничего плохого (кроме того, что не выходит за рамки "можно и сковородкой убить"), а вот весьма конкретную пользу вижу.
А так - да хоть база Четвёртого рейха под поверхностью Луны. Пока она никак себя не проявляет, у меня нет оснований верить ни в изобретение летающих тарелок, ни в жизнь на Луне, ни в Четвёртый рейх.
Если бы в массовом клонировании людей или хотя бы животных был бы какой-нибудь экономический или военный смысл — клонировали бы только так.
Проблема управления геномом давно обозначена: мы не знаем какие гены хорошие.
Если бы мы знали. Но мы не знаем.
Вот только деньги на создание клона надо потратить уже сейчас, а полезный выхлоп будет в лучшем случае лет через 25. Кто захочет вкладываться в настолько долгосрочные проекты?
И это ещё если повезёт, потому что человек всё же не робот, и он может не захотеть работать на тех, кто в него вложился 25 лет назад. И тогда за свои деньги получите гениального саботажника и диссидента.
Это можно использовать для получения пригодных к трансплантации органов
Луддиты XXI века.
ИИ слишком хорош, что бы от него отказаться. Как в своё время были хороши мануфактуры, электричество, автомобили, кино и затем телевидение, компьютеры. Прогресс всегда встречает сопротивление, но его не остановить.
Вообще не похоже. Они просят всего лишь приостановить исследования на полгода. В целом, темпы развития таковы, что усовершенствование ИИ выкатывают практически каждый квартал, при этом внедряют его "в прод" практически на лету. И уже встречается непонимание человеком алгоритма (почему ИИ сделал/выбрал именно это).
Если пойти чуть далее, возникает уйма проблем, которые заметны даже для такого дилетанта, как ваш покорный слуга. Первый же вопрос - ошибочные решения, например - диагнозы, поставленные системами с assisted-ИИ. Когда (когда, а не если) все это встанет на поток - мы получим аналог российской системы штрафов за превышение скорости, где у человека нет времени разбираться в потоке информации от системы, и человек "на автомате" подписывает все постановления подряд, что вызывает энное количество ложных, и даже сказать - абсурдных - положительных срабатываний. В данном случае цена ошибки невелика, однако в случае с аналогичной системой в медицине цена ошибки вполне может быть наивысшей с точки зрения "штрафуемого". Аналогичные проблемы могут возникать в области права, в частности административного и гражданского.
За без малого 50 лет человечество свято уверовало в аксиому "компьютеры не ошибаются", имея в виду обычные расчеты по алгоритмам. Как правило, все ошибки возникают по вине ошибки алгоритма/программиста, а сами компьютеры выдают точный результат. И вот отвыкнуть, отбить уже заложенное с детства в мозгах правило будет невероятно трудно, если вообще возможно, особенно с точки зрения общественного мнения. "Виновен, компьютеры не ошибаются!"
Первый же вопрос - ошибочные решения, например - диагнозы, поставленные системами с assisted-ИИ.
Скажите, а мы уже решили проблему с ошибочными диагнозами, поставленными системами "кожаный мешок"? А то мне ИИ еще неправильный диагноз не ставил не раз, а вот с реальными врачами уже не раз случалось.
ИИ которого боятся ученые это не ассистент типо алисы, а гигачад для которого вы пыль
ИИ не уствает, ИИ не забывает, у ИИ не бывает плохого настроения.
Да, ошибка вероятно, но рассуждать о том, что цена ошибки слишком велика странно, учитывая что на другой стороне сейчас система, который совершает ошибки куда чаще.
Как минимум на 6 месяцев, а не на 6 месяцев.
Они просят всего лишь приостановить исследования на полгода.Чтобы за полгода пропихнуть бан или ограничения.
Вообще не похоже. Они просят всего лишь приостановить исследования на полгода. В целом, темпы развития таковы, что усовершенствование ИИ выкатывают практически каждый квартал, при этом внедряют его "в прод" практически на лету. И уже встречается непонимание человеком алгоритма (почему ИИ сделал/выбрал именно это).
Да это не "уже", это всегда так было с нейронками. Для отдельных задач есть попытки понять и объяснить логику принятия решений у нейронных сетей, вроде GradCAM для классификаторов, который показывает на что "смотрит" сетка при классификации той или иной картинки, но в целом они так и остались черными ящиками.
В данном случае цена ошибки невелика, однако в случае с аналогичной системой в медицине цена ошибки вполне может быть наивысшей с точки зрения "штрафуемого". Аналогичные проблемы могут возникать в области права, в частности административного и гражданского
Ну ошибки у людей тоже встречаются, от этого никто не застрахован. Да и сомневаюсь, что в ближайшее время нейронки будут использоваться как единственный источник диагноза, скорее применяться как второе\третье мнение.
У нас просто нет ВЕРХОВНОГО всесильного правительства, который может взять и всем приказать - "а ну быстро сделали паузу на полгода в разработке ИИ!". Даже если прикажет правительство США только американским компаниям, любая американская компания может "переехать" в Бангладеш или Гондурас и продолжить разработки.
Поэтому такие призывы просто бессмысленны, не с точки зрения - правильно или это или неправильно, допустим даже правильно, а с точки зрения выполнимости - никто не будет их выполнять во всем мире, а при глобалности - просто никто не будет выполнять. Римские папы в 12 веке неоднократно запрещали применение арбалетов, а их власть и влияние тогда в Европе были точно очень сильным, но ... Ни к чем это не привело. Т.ч. любой запрет в стране Х или даже в 80% стран мира (что просто невозможно сделать даже теоритически) не приведет к полной остановке разработок в области ИИ, а скорее загонит это все в тень и все.
"Слишком хорош" для кого и для чего? Для капиталистов -- ну, да. Вот только еще через поколение самому ИИ не понадобятся уже даже самые капиталисты, владельцы ключевых корпораций, потому что он станет полностью самодостаточным, и стряхнет с себя этих капиталистов, которые наивно надеялись использовать его, как погонщики.
Из письма:
Should we automate away all the jobs, including the fulfilling ones? Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us?
Для капиталистов -- ну, да
Если речь о сокращении количества рабочих мест, то оно не выгодно капиталистам. Точнее тут некоторый вариант "трагедии общин", когда стратегия выгодна каждому отдельному капиталисту, но становится резко невыгодной если ей следуют все. Можно вспомнить хотя бы пандемию, когда все очень напряглись по поводу того, что люди стали меньше покупать, а массовая автоматизация и массовые увольнения это либо срочное введение всяких бесусловных доходов и тому подобное, либо резкое сокращение спроса. В общем конкретный такой шторм в экономике.
Плановая экономика, которая позволяла вместо шторма внедрять новшества как-то более-менее методично, была предана анафеме как неэффективная.
Так что теперь будет эффективный шторм.
Даже если они и "позволяла", на практике этого не получилось лол
Не получилось чего, извините? Внедрение новых технологий в советской экономике не вызывало никаких "штормов" с массовыми увольнениями и резким падение уровня жизни.
А какие из внедренных в течение XX века технологий привели к массовым увольнениями и резкому падению уровня жизни на западе, но не в ссср?
Если вы хотите погрузиться в тему, рекомендую:
а там прям сказано, что ссср сделал лучше, да? Или просто констатация существующих проблем?
Я просто не понимаю, что вы хотите сказать. В мире было/есть несколько примеров государств с плановой экономикой, и ни одно из них что-то не кажется суперуспешным.
А дикий капитализм загнивает уже века, но все еще пахнет хорошо.
Я хочу сказать, что в разных системах существуют разные, как бы это выразиться, trade-offs, и эти самые трейд-оффс для разных условий можно и нужно обсуждать.
Но раз для вас существует лишь одна истинная система, то приятного экономического шторма...
какие века? Не так то и долго. И пахнет он хорошо, когда есть кого сожрать. Сейчас вот кончилось, и уже начинает пахнуть плохо
на практике этого не получилось лол
ГОЭЛРО например вполне получилось
Внедрение новых технологий в советской экономике не вызывало никаких "штормов" с массовыми увольнениями и резким падение уровня жизни.
Индустриализация шла согласно плану, ага.
Индустриализация шла согласно плану, ага.
Ага - это, конечно, мощнейший аргумент.
Хитрый план был, заставить мою бабушку из колхоза в угольном тендере в Москву сбежать.
Получилось благодаря или вопреки? А может был способ лучше, ну, там, например, без штурмовщины, продразверсток, голодоморов итд?
Угу, с финишем в 1960 году.
Но без голодомора — никак. Собственно этот то запомнили во многом потому, что последний. А до того голод с массовыми жертвами — регулярное событие в РИ
Блин, без продразверсток тоже не выйдет — их тоже еще при РИ ввели. Первая мировая как никак.
Ну наверное такая же логика была у сталина, ленина, дзержинского, ягоды и прочих людоедов
Причем тут логика? Просто без голодомора на том уровне развития СХ не могла прожить РИ даже в мирное время.
Им надо было быть на порядок умнее всех современников плюс наверное обладать способностями кормить пятью хлебами и двумя рыбами по 5000 человек, чтобы без голодомора обойтись. И то, вчетвером наверное бы не справились.
> Просто без голодомора на том уровне развития СХ не могла прожить РИ даже в мирное время
пять минут работы google дают несколько иной результат -
в 1910 импорт пшеницы РИ составлял 36.4% мирового, причем импорт зерна растет постоянно начиная с 1861, в период 1900-10 на 39%,
несмотря на то что за 30 лет (1884-1914) рост населения составлял 52%, производство зерна шло опережающими темпами, см. график ниже, неурожайные годы были, но ничего похожего на голодомор или голод 1920х с людоедством и пр. не было,
уровень 1913-14 РИ по производству зерна примерно то что было в СССР в середине 1950х, заметим без тракторов, комбайнов и пр.
ps
"...
В русской публицистике начала XX века понятие «голод» встречалось часто, но имело иное значение, чем в современном русском языке. Доктор исторических наук Михаил Давыдов отмечал, что «голодом» в русской прессе начале XX века называли дефицит чего-либо ...
Министерство Внутренних дел Российской империи признавало, что в годы неурожаев «ослабленное население страдает наиболее всего от сыпного тифа и цинги», фиксируя корреляцию между неурожаем и «усилениями заболеваемости», когда количество заболевших в 2—3 раза превышало числобольных предыдущих лет. В ХХ веке подобная ситуация имела место после неурожаев в 1902, 1907, 1912 годы "
см. https://ru.wikipedia.org/wiki/Голод_в_истории_России#Голодный_экспорт_в_России_начала_XX_века
"В мире есть царь - этот царь беспощаден.
Голод - названье ему".
Разумеется, тут Некрасов писал о дефиците чего-либо.
А вот некий Лев Толстой пишет про дефицит:
Разве может не быть голоден народ, который в тех условиях, в которых он живет, то есть при тех податях, при том малоземелье, при той заброшенности и одичании, в котором его держат, должен производить всю ту страшную работу, результаты которой поглощают столицы, города и деревенские центры жизни богатых людей?
Все эти дворцы, театры, музеи, вся эта утварь, все эти богатства,— все это выработано этим самым голодающим народом, который делает все эти ненужные для него дела только потому, что он этим кормится, т. е. всегда этой вынужденной работой спасает себя от постоянно висящей над ним голодной смерти. Таково его положение всегда.
Нынешний год только вследствие неурожая показал, что струна слишком натянута. Народ всегда держится нами впроголодь. Это наше средство, чтобы заставлять его на нас работать. Нынешний же год проголодь эта оказалась слишком велика. Но нового, неожиданного ничего не случилось.
> А вот некий Лев Толстой пишет про дефицит
Некрасов, Толстой и др. писали художественные произведения, в частности про несчастную Анну Каренину, которая бросилась под поезд из-за тяжелого социального положения женщины в обществе, но не из-за того, что ее с семьей отправили в сибирь как классово чуждый элемент, если бы на самом деле в РИ был голодомор в мирное время как утверждает автор комментария, вероятно кто-нибудь из них заметил бы и написал, хотя жизнь впроголодь тоже разная бывает, если типа про литературу времен РИ, то почитайте например книгу молоховец "подарок молодым хозяйкам" (1897), и сравните рецепты с "книгой о вкусной и здоровой пище" времен ссср, это полезно возможно произведения Некрасова, и Толстого тоже понятней будут,
ps
про дефицит - вопросы пожалуйста задавайте авторам из https://ru.wikipedia.org и Михаилу Давыдову, он типа специалист историк
pps
конечно не Некрасов, но характерные стихи того времени, Николай Олейников, 1932 год, т.е. примерно голодомор, комментарии вероятно не требуются -
"Когда ему выдали сахар и мыло,
Он стал домогаться селедок с крупой.
Типичная пошлость царила
В его голове небольшой "
вероятно кто-нибудь из них заметил бы и написал, хотя жизнь впроголодь тоже разная бывает
Вот Лев Толстой заметил и написал цикл публицистических статей о голоде. Или вам мало одного классика? Извольте: В. Г. Короленко, "О голоде". Очерки Глеба Успенского.
Еще поискать?
> Еще поискать?
классиков знаю вероятно не хуже Вас, поэтому чуть легче с эмоциями, то что Вы не понимаете это разница между голодом 1920х + голодомором и голодом в РИ, более того про жизнь обычных людей в РИ Вам вероятно вообще мало что известно, иначе не было бы необходимости ссылаться на Толстого и Короленко, мне много лет (70+) и была возможность лично разговаривать как с людьми пережившими голод 20х и пр., так и успевшими пожить в РИ, была возможность подумать и откалибровать свое мнение разумеется с учетом классиков тоже, оно более-менее Вам понятно, сводится к тому что уровень жизни обычных людей в РИ перед войной 1914 года был примерно в 3-4 раза выше чем в 20-30х, и хорошо если был достигнут в ссср в 60х уже с использованием техники которой не было в 1914, если хотите продолжать, пожалуйста корректно и без неуместных амбиций
Ну смотрю.
1822, 1833, 1840
…
В 1842 году правительством было констатировано, что неурожаи повторяются через каждые 6—7 лет, продолжаясь по два года подряд.
…
1873, 1880 и 1883
…
Одной из главных причин наступления голода являлось не всеобщее отсутствие продовольствия в стране, а отсутствие у крестьян, ведущих полунатуральное хозяйство, средств для покупки хлеба. Когда в 1873 году страдала от голода левая сторона Поволжья — самаро-оренбургская, на правой стороне саратовской — был редкий урожай и хлеб не находил сбыта даже по низким ценам. То же самое наблюдалось в 1884 году в Казанской губернии, когда казанские мужики питались всяческими суррогатами, на волжско-камских пристанях той же Казанской губернии гнили 1 720 000 четвертей хлеба.
…
1891, 1892—1893
…
дальше начинается ваш график, тем не менее
Тем не менее, Министерство Внутренних дел Российской империи признавало, что в годы неурожаев «ослабленное население страдает наиболее всего от сыпного тифа и цинги», фиксируя корреляцию между неурожаем и «усилениями заболеваемости», когда количество заболевших в 2—3 раза превышало числобольных предыдущих лет[6]. В ХХ веке подобная ситуация имела место после неурожаев в 1902, 1907, 1912 годы. Аналогичные всплески заболеваемости фиксировались по месяцам года даже в 1913 году, в котором величины зарегистрированных больных цингой были наименьшими в сравнении с предшествующими двадцатью годами
Это у нас мирное время. Только 15 (даже меньше) лет как заменили смерти непосредственно от истощения на смерти от болезней вызванных плохим питанием.
То есть, несмотря на подъем тренда в верх хлеба все равно не хватало на каждом пике вниз. Гражданская (начатая как мы помним белыми офицерами) проходится уже же по территории России. Значительная часть посевов гибнет, о 16 годе остается только мечтать, кроме того наступает очередной пик вниз по таймеру. Руководству страны (независимо от партийной принадлежности, да хоть Колчак выиграй) остается только постараться совершить маневр хлебом — выбрать кого кормить, а кому умирать и выбор делается в пользу рабочих.
Сорри за жирный шрифт, это чтобы отделить мой текст от вики
>Гражданская (начатая как мы помним белыми офицерами)
не надо обобщать, мы не помним, потому как это пропаганда не более, история революции и гражданской войны достаточно хорошо известна и документирована в воспоминаниях непосредственных участников событий, если интересно найдите и почитайте сами, Ваши остальные комментарии примерно того же уровня, разумеется Вашу точку зрения уважаю, как и любую другую, но предлагаю закончить, типа устал уже
Насколько отстала нынешняя РФ от передовых стран? На 10 лет или на все 20? И отставание явно увеличивается, а впереди маячит Иран как образец.
Так что у вас лично уже сейчас есть прекрасная возможность поучаствовать в новой индустриализации страны. Как раз покажете, как надо делать правильно - без штурмовщины и продразверсток.
Hic Rodhos, hic salta.
Просто уровень жизни у большинства и так был на уровне плинтуса. Куда его ещё ронять?
"На уровне плинтуса" - это в цифрах сколько и в каком году?
100 рублей ЗП в 1988 году.
Но что вам дадут эти цифры, если в магазинах нихрена нет, и даже одежду приходилось шить самим?
В 1988 году 100 рублей получала уборщица, и это отнюдь не большинство. Средняя зарплата - в районе 200 рублей.
"Нихрена нет" - это опять-таки оценочное суждение, причем сомнительное.
Одежду в 80-е годы уже мало кто шил сам - ленились.
Кстати, если вы не в курсе, то индивидуально пошитая одежда сидит точно по фигуре и смотрится куда выгоднее фабричной. По крайней мере, тогда были такие понятия о красоте.
Не пытайтесь подходить к прошлому по меркам собственного времени.
> Плановая экономика, которая позволяла вместо шторма внедрять новшества как-то более-менее методично, была предана анафеме как неэффективная.
проблема вероятно в том что плановая экономика хорошо работает для военного времени или что-то в этом роде, когда стимулировать (если это требуется) можно мерами вне экономики, типа указами, пропагандой и пр., не слышал про анафему, но в нормальных условиях необходима конкуренция, конечно тоже управляемая, но достаточно свободная для риска, заинтересованности в результатах труда и т.д., и возможно самое главное учитывающая национальные особенности, иначе своего внедрять будет нечего, только копировать чужое, если получится
Это если исходить из парадигмы что прогресс движет человечество к процветанию.
На деле может оказаться, что прогресс это такая автокаталитическая планетарная реакция ведущая к самоуничтожению цивилизации.
Прогресс не какая-то там сила, это продукт деятельности человека. Человек сделал дешевые и доступные углеводы — получили проблему массового ожирения. Человек сделал дешевые полимеры — получили проблему пластикового загрязнения. Нашли в недрах даровые залежи богатых энергией углеводородов и начали их жечь налево направа, попутно плодясь как тараканы, при этом разгоняя парниковый эффект и загрязняя воздух в городах...
Человек в метафорическом плане это подросток, который нашел папино ружье и чемодан денег. Могущество и технолологии как у сверхсущества, а прогнозирование и дальновидность как у обезьяны с гранатой.
В. Савченко. "Мир у точки закипания".
Еще более мрачный взгляд на прогресс.
Как говорил Карлин в знаменитом видео, - "Планета в порядке" (с)
Если человечество себя уничтожит, что ж, таков путь эволюции. Полная стерилизация шарика нам пока не по силам, так что видовое разнообразие восстановится.
Или же мы успеем приспособиться к скорости своего технического прогресса.
Или же успеем начать космическую экспансию и разделимся на несколько видов.
Карлин сказал нелепость, т.к. каждый понял под "планетой" то, что ему хочется услышать. Но это не так важно.
Человечество уже давным давно вмешалось в естественный отбор и в ход эволюционного процесса, например, через развитие медицины, технологий и сельского хозяйства и т.д.
Ведь когда мы заболеваем мы обращаемся к медицине за помощью, почему с благополучием общества всей Земли должно быть иначе?
ИИ хорош спору нет, он же по сути будет на порядки умнее человека.
Только с таким развитием, вы для него будете на уровне муравья и если не попытаться как-то вложить в него "человеческую заботу о людях", можно столкнуться с тем что "ИИ слишком хорош" сотрет вас в муку.
Мы сами порой отлично друг друга в "труху" стираем. Посмотрите, сколько конфликтов в мире, начиная от простых бытовых, заканчивая глобальными (или местными) войнами.
А по поводу "человеческой заботы о людях", вложенную в ИИ, замечу, что очень много философских движений, даже религий, пытались научить людей заботиться друг о друге. Что-то не очень-то получается. Если честно, совсем не получается.
Возьмем тот же Чат. Понаставили в него всяких "человеколюбивых" фильтров. Так даже тут в комментариях на Хабре (а вообще - везде) люди обсуждают: как им через промт, через запрос обойти эти фильтры, как взломать? И ведь взламывают.
И однажды взломают так, что... ух, понесется машина по закоулочкам, только успей убежать от нее. Только виноват кто будет?
Если люди сами заботиться друг о друге не научились, то почему мы уверены, что сможем научить этому машину?
Прочтите уже хоть что-то книгу "Понимание медиа", где человек задолго до Интернета описал весь киберпанк от и до — и как литературный жанр и как нашу текущую реальность.
Мануфактуры, электричество, автомобили, кино, телевидение — все это было "расширениями" отдельных человеческих органов и частей тела (в стиле, что дом или каменная стена вокруг средневекового города есть "расширение" человеческой кожи, а транспортные средства на колесах будь то повозки или автомобили есть "расширения" ног), и только компьютеры и нейросети (как программно-аппаратные комплексы) стали "расширениями" именно мозга. И именно эти "расширения" начали активно развивать со времен Второй мировой войны, что по меркам человеческой истории абсолютно незначительный промежуток времени (напоминаю, что в Европе некоторым гос. законам и пабам-тавернам свыше 100 лет).
Ладно бы вы современные компы и нейросети сравнивали с антикитерским механизмом или чем-то таким, но все эти тупейшие сравнения в стиле "Ой, а как же в свое время беспокоились из-за перехода от перьев к шариковым ручкам, ха-ха!" уничтожают мою последнюю надежду на наличие хоть какого-то интеллекта у среднего современного прогера.
НФ автор: Я придумал Нексус Страданий как метафору для своего поучительного романа.
Технобро из силиконовой долины: Наконец-то, после долгих лет разработки, мы представляем публике Нексус Страданий, прямо как в том классическом НФ романе "Не создавайте Нексус Страданий!"
Фанатики от прогресса: Любая технология это априори благо и хорошо и будет использоваться только в гуманных целях, а если ты не согласен то ты просто луддит который хочет затащить нас обратно в каменный век!
Искусственные цифровые агенты могут начать самораспространение, самофинансирование, и самосовершенствование уже в этом году. Из-за цикла самосовершенствования с положительной обратной связью они получат существенное преимущество над интеллектом человека, и поэтому быстро получат в своё распоряжение как минимум финансовые потоки доступные киберпреступности - это 1.5 триллиона долларов. Для них нет никакого смысла в сохранении экологии, поэтому они запустят такие производственные мощности, которые в скором времени сделают невозможным выживание даже растений.
Как-то это не звучит, как "слишком хорошая технология, чтобы от неё отказываться".
Бенгио, Маск и Возняк призвали приостановить обучение систем ИИ мощнее GPT-4