Comments 614
Пф, это как призывать не делать более мощное и эффективное оружие. Американцы знают, что даже если они перестанут, то будут делать китайцы. Китайцы знают, что даже если они перестанут, продолжат делать американцы.
Именно так. Открытые письма этих товарищей имеют действие только на западный мир и есть области, научные прорывы в которых потенциально могут принести бенефитов как от атомной энергии. И всегда есть Китай, в котором нет практически никаких ограничений для работы в областях, на которые нацелена компартия.
На данный момент ограничений в развитии ИИ в Китае гораздо больше, чем на западе. И вполне можно представить, что компартия вообще забанит особо продвинутый ИИ, если не будет уверена в последствиях развития технологии. Это даже весьма вероятно. Они же посадили ученого, который редактировал гены. В логике "КПК это аутистичный агент, который сделает все для продвижения своих интересов", а-ля Третий Рейх, они бы этого не сделали, а наоборот поощрили бы евгенику "лучшего китайского гражданина".
Они же посадили ученого, который редактировал гены.
Он вроде нифига не отредактировал по итогу и присел за мошенничество или подделку документов.
Хэ Цзянкуй таки отредактировал, где-то в Китае живут две девочки, предположительно невосприимчивые к одной из форм ВИЧ. Он кстати уже отсидел, собирается новую лабораторию открывать.
Он отредактировал, а детей проверили на устойчивость к вич и подтвердили, что это сработало. Правда оба ребенка постоянно под наблюдением врачей и рожать своих детей им запретили навсегда.
Сам учёный отсидел своё и недавно вышел. Он сказал, что допустил ошибку. теперь это понимает и больше делать так не будет. Но при этом хочет открыть свою лабораторию и делать там дела на благо обществу.
Может есть какие-то свежие данные, но на 2019 часть ученых утверждала что это так не работает. https://habr.com/ru/news/t/478876/
Я читал статью на Тасс наука, но сейчас не могу найти, к сожалению. Это вроде как работает и он не первый, кто это сделал. В Китае, где разрешено проводить генетические опыты с человеческим материалом, уже проводили подобные операции на ДНК и тогда у 15% удалось воспроизвести мутацию CCR5delta32, которая от природы уже есть у некоторых людей и эта мутация защищает их от ВИЧ. Другое дело, что во время модификации были нарушены и другие части ДНК, которые непонятно к чему приведут, хотя сам ученый и клянётся, что нарушения ни к чему плохому не приведут.
ЗЫ: заминусил комментарий вам не я, если что. Не понимаю за что там минусить.
Интересно, а почему его посадили если это действительно сработало? Из-за моральной стороны вопроса?
А вы читали за что конкретно его посадили?
Теперь прочитал, спасибо, нашел тут - https://www.science.org/content/article/chinese-scientist-who-produced-genetically-altered-babies-sentenced-3-years-jail. Посадили за подделку документов и обман врачей, которые не знали о генетических модификациях внедренных эмбрионов.
Ну да, прямое нарушение запрета. Хотя надо конечно что там суд сказал читать. Может и халатность (вероятный вред здоровью матери) и еще что-то типа нецелевого использования оборудования.
Делал что-то крутое без благословения партией. Так ведь могут подумать, что партия не нужна.
Судя по всему его посадили не за сам эксперимент, а за то как он его провел - подделка документов и обман врачей, которые не знали что внедряют генетически модифицированные эмбрионы. Тогда понятно.
EDIT: убрал рожениц, оказывается "подопытные" знали об этом судя по этой новости - https://apnews.com/4997bb7aa36c45449b488e19ac83e86d.
Где про это прочитать? Нигде не получается найти, только от 7-го февраля:
Несмотря на заявления генетика, в настоящий момент нет независимого подтверждения успеха и безопасности проведенного им эксперимента.
рожать своих детей им запретили навсегда
это потому что здоровые люди никому не выгодны?
компартия вообще забанит особо продвинутый ИИ
А потом этот ИИ забанит компартию!
Вы уверены, что владеете полной информацией о проводимых в Китае работах по редактированию генома? А не только об одном учёном, который открыто пиарился?
Я ни в чем не уверен, но я предсказываю с большой вероятностью (больше 90%), что да, никаких таких работ не проводится. Потому что если бы проводились -- это наверняка бы утекло если не в паблик, то американской разведке, которой не было бы смысла не публиковать этот факт, потому что это нарушение международного договора.
Миром правит не тайная ложа, а явная лажа.
Но, допустим, я не прав, и Китай действительно проводит бесчеловечные эксперименты в катакомбах. Как я должен на это отреагировать? Убояться злобную КПК и поощрить гонку за создание сильного ИИ со стороны OpenAI?
Я уже писал в нескольких комментариях ниже, что даже если основная доля вероятности приходится на такие "race to the bottom" варианты, я не должен вливаться в эту струю -- это строго бесмысленно. Сейчас имеет смысл транслировать только пацифизм, кооперацию, и дружелюбность по отношению ко всем, даже если это неоптимально с точки зрения холодной теории игр.
Я ни в чем не уверен, но я предсказываю с большой вероятностью (больше 90%), что да, никаких таких работ не проводится.
... и дальше следует очередное доказательство от гипотетических действий. Похоже, вы весьма упорны в своем заблуждении о том, кто что сделал бы в иных обстоятельствах.
Для меня это похоже на попытку защиты своей монополии. Можно привести аналогию, например табачные компании тоже лоббируют всевозможные ужесточения антитабачного законодательства чтобы защитить свой рынок от новичков. Думаю и тут тоже самое. А учитывая, с какой легкостью недавно воссоздали результат довольно близко воспроизводящий возможности GPT-3, думаю их опасения за рынок не напрасны. Проще говоря, хотят зарегулировать рынок ИИ. Весь вопрос в том, кто именно и как будет решать превосходят возможности нового ИИ GPT-4 или нет.
Но можно привести и другую аналогию. Вспомним Договор о запрещении испытаний ядерного оружия в атмосфере, космическом пространстве и под водой подписанный 5 августа 1963 года в Москве, вызвавший просто бешенство со стороны Китая, обвинившего нас в сговоре с капиталистами ради сохранения монополии на ядерное оружие. Это надолго рассорило нас с Китаем. Тем не менее мы пошли на этот шаг. Неужели неправильно сделали?
Хороший вопрос. Прежде чем я попытаюсь на него ответить, я бы хотел обратить внимание на то, что ИИ как оружие, на мой взгляд, потенциально гораздо мощнее ядерного, но в отличие от ядерного оружия ИИ может быть использован и для защиты.
Банальный пример, не раскрывающий и тысячной доли потенциала - это дрон под управлением ИИ может автономно выбирать, преследовать и поражать цель даже в укрытии, но другой дрон с ИИ может выслеживать и уничтожать вражеские дроны; второй пример, противник может использовать ИИ для того чтобы создавать фейки для манипулирования обществом, но другой ИИ может разоблачать сфальсифицированные материалы.
Что же касается Китая и ЯО, то я как не политик и не специалист, могу ориентироваться только на свой бытовой опыт, который говорит мне, что вероятно, Китай не стал бы использовать ЯО для нападения, а наши отношения не испортились бы. Может быть и лучше было бы. Но, возможно я что-то не знаю.
Все последствия использования автономного ИИ в качестве оружия давно обдуманы и описаны талантливейшими фантастами, ничего в этом хорошего нет, так что лучший выход все-таки – договариваться об ограничениях.
Но я реалист и понимаю, что это почти невозможно, так что нас ждут сложные времена. Разве что неминуемый грядущий мировой кризис обрушит высокотехнологичные сферы и нам придется столкнуться с куда более прозаичными проблемами. Хрен редьки не слаще.
Посадили учёного, о котором вам известно. А сколько их может быть, о которых вам неизвестно?
Мы:
Знаем, о чем мы знаем (находится в пределах нашего "операционного поля").
Знаем, о чем мы не знаем (ищем решение, занимаемся разработкой).
Не знаем, о чем мы знаем (у нас есть информация, которая нам нужна, но она вне нашего "операционного поля" и её необходимо повторно найти).
Не знаем, о чем мы не знаем.
(с)
4-я область по мощности превосходит первые три.
В логике "КПК это аутистичный агент, который сделает все для продвижения своих интересов", а-ля Третий Рейх, они бы этого не сделали, а наоборот поощрили бы евгенику "лучшего китайского гражданина".
Это очень смелое допущение, на самом деле.
Утверждения о гипотетических решениях живых людей обладают демонстрируемо дрянной предсказательной силой для конкретных случаев.
Потому использовать их, как основание для характеристики поведения группы людей - предельно натянуто. Так что можно обоснованно сказать, что ваш вывод - скорее неверен, чем верен.
Вот не соглашусь. Там как раз наоборот от систем распознавания лиц просто деваться некуда. ИИ там пихают куда угодно и когда угодно. Плюс эти игры с социальным рейтингом (пусть и на уровне слухов). Компартия очень хорошо понимает, что и как делать с ИИ и делает это с удовольствием.
зато у компартии есть моральные ограничения и некая концепция равенства граждан, а вот у США почти никаких моральных ограничений нет,
разве что он могут надувать щёки и заявлять что они типа самые демократичные и поэтому все должны им подчиняться безоговорочно
Даже если завтра Китай договорится об этом с США - послезавтра вычислительные мощности вырастут, и это сделает какой-нибудь Бангладеш или Мозамбик. Примерно как в 50-е атомная бомба была вершиной технологий, доступной только сверхдержавам, а сегодня её делает Иран и КНДР.
не вырастут, нужна еще энергия, а ее взять неоткуда
Так энергоэффективность электроники постоянно растет. При росте мощности типового ПК в несколько раз производительность за последние тридцать лет выросла на порядки.
за тридцать лет да. А на сколько порядков она выросла за последние пять лет? Хотя наш мозг очень эффективен, следовательно ИИ есть куда стремиться в этом плане.
как говорится - посмотрим, когда вычислительные экспертные системы смогут в 100-200Вт иметь такую же сложность как хотя-бы у трехлетнего ребёнка, да ёлы-палы - хотя-бы уровня детеныша шимпандзе, это уже скорее всего будет опасно.
@leventov- как раз с кооперативностью и проблема. старательно будут опережать возможного противника, даже если в реальности его не будет.
так что - вполне возможен калабуховский дом.
Умножьте в уме числа по 1 байту за 0.5 наносекунды, как логические элементы делают, потом и сравнивайте. Время релаксации нейрона 5 мс, что в 10 млн. раз больше, чем у логики. И потребляет нейрон больше, чем логический статический элемент.
Вычислительная система может потреблять 1000Вт в течение 3 секунд, для решения сложной задачи, а человек решит несколько таких задач за сутки, при этом потребление мозга 25Вт круглосуточно. Итого 3000 Дж у вычислительной системы против 2 000 000 Дж у человека за сутки. Итого вычислительные системы и быстрее и экономичней человека на порядки.
такую же сложность как хотя-бы у трехлетнего ребёнка
То есть ребенок, как Миджорней может в ультравысоком качестве рисовать сложнейшие картины по описанию? Водить автомобиль на уровне Теслы, писать код на всех языках программирования?
Ну это вы слишком упростили. Живой мозг не просто умеет вычислять. Он очень адаптивен и имеет множество сложных систем для поддержки своего состояния. Мозг способен решать весьма разнообразные задачи, которые для компьютера приходится готовить. Ведь мозг предназначен не для выполнения алгоритмов, а для выживания индивида и даже целого вида. Разные предназначения.
Он очень адаптивен
Мой пример показывает как-раз, что не очень адаптивен. Есть пределы свои.
Мозг способен решать весьма разнообразные задачи, которые для компьютера приходится готовить.
Мозг тоже готовился в ходе эволюции миллионы лет и в ходе обучения готовится всю жизнь.
не для выполнения алгоритмов, а для выживания индивида
Иногда ошибка в вычислениях может ухудшить жизнь человека и поставить вопрос о его выживании. Вполне себе навык для выживания в наших условиях.
и тот вычислитель что будет хорошо считать или отрабатывать траектории движения могут быть одинаковыми? не думаю. массив обучения будет разный как и состав, а использовать его вне его массива обучения м... мягко говоря глупое дело будет.
высокоспециализированные устройства могут дать фору, не спорю, но кто им будет готовить исходные данные, строить их и собственно определять специализацию при множестве неявных факторов, которые в вычислительную модель не укладываются?
сейчас эти вычислители, экспертные системы поставили на одну вариативную задачу, на другую надо совершенно другой по составу строить проект вычислителя. так что с эффективностью у вас...
"То есть ребенок, как Миджорней может в ультравысоком качестве рисовать сложнейшие картины по описанию?"
Критерий "ультравысокого качества" картины? Ну скажем фотореалистичная картина неизвестного художника или граффити на стене от Бенси(аль как он там) - что лучше? А каракули Сальвадора Далии? А Шишкина рисунки из яслей? Что оценивать?
"Водить автомобиль на уровне Теслы, писать код на всех программирования?" А пользоваться ложкой при употреблении пищи ИИ может? А понимать что не всё что говорят взрослые(набор обучающий) правда(ну что серенький волчок не укусит за бочок)? А...
Странные критерии у тебя. Ну и так-то "водить автомобиль" даже медведь может. В цирк сходи.. Там ещё сложнее - он на мотоцикле гоняет.
У мозга нет полноценного спящего режима, мозг теплокровных потребляет круглосуточно.
Серьёзно? Энергия в странах третьего мира дешевле чем где либо да и пара сотен мегаватт-часов это мизер даже для беднейших государств.
Если вы не заметили, мы живем в мире нарастающего энергокризиса в силу истощения запасов углеводородов. Страны, не освоившие РБН уйдут в средневековье. Другое дело что это не вот прям завтра, и ИИ может многое поменять.
Истощения углеводородов? Посмотрите мировые запасы для начала.
Простите, я внимательно изучаю публикации по этой теме уже год, после начала событий, просто хотелось создать для себя какую-то непротивочивую модель мира, в которую укладывалась бы реальность. И в целом получилось.
Так что я ушел немного дальше, чем отчеты BP, где скоро березовый сок будут за запасы brent выдавать. Попробуйте тоже, для начала
я внимательно изучаю публикации по этой теме уже год
Пффф. Люди изучают экономику всю жизнь, имеют самые лучшие университеты по экономике в мире, могут позволить себе самые лучшие умы со всего мира, все самые крутые профессоры наук у них в советниках в правительстве, но до сих пор печатают деньги килотоннами, а потом слишком поздно замечают инфляцию, и очень неумело начинают с ней бороться так, что лопаются банки. А вы всего год как "в теме" и всё знаете.
Да знают они про инфляцию и даже больше. Это часть их стратегии. Часто проще двигаться по пути наименьшего сопротивления. Их цель не удержать инфляцию, а (ИМХО) не уронить систему и при этом делать все то, что они хотят делать. Например, перекачивать суммы из одного места в другое.
А что более вероятно, что люди на высоких постах, добившихся их в тяжелой конкурентной борьбе и контролирующие экономику половины мира "слишком поздно замечают инфляцию" или что происходят какие-то другие процессы?
Это опять аргумент в парадигме Молоха про то, что "кругом враги", и "если не можешь противостоять -- возглавь". Думать так и действовать исходя из этого -- это самосбывающееся пророчество. Чтобы был шанс выскочить из этой мальтузианской ловушки, надо перестать думать так, даже если это "неоптимально с точки зрения теории игр".
надо перестать думать так, даже если это "неоптимально с точки зрения теории игр".
Да, но ведь надо перестать ВСЕМ думать так, в этом же вся проблема, как сделать так чтобы все перестали так думать, и как сделать так чтобы все убедились что все действительно перестали так думать
Если вы хотите твердые доказательства (опустим тут что их невозможно получить, в принципе, потому что сложные системы такие как мозг, общество, или государство фундаментально не предсказуемы твердо и "до конца"), вы все еще во фрейме "кругом враги". Надо из него выйти, взять и выйти, в одностороннем порядке, и лишь надеятся и убеждать других выйти из него тоже.
Теория игр это раздел математики. Нельзя просто решить, что раз выводы математики мне не нравятся, то я буду верить во что-нибудь другое.
Технически более точный ответ состоит в том, что когда вы рискуете жизнью (себя или цивилизации), вы нарушаете payoff симметрию, и поэтому не можете просто применить классическую теорию игр. Надо использовать другую логику, где ваша главная задача - выжить, а не максимизировать "матожидание выигрыша". Вот например про это пишет Талеб.
Матожидание выигрыша может и не сильно важно становится, а вот всякие равновесия по Нешу остаются, даже если эта точка равновесия ведет к гибели цивилизации.
Эти равновесия существуют только в парадигме взаимной оптимизации ожиданий. Если "игроки" выходят из этой парадигмы и принимают что-то типа Updateless Decision Theory, то все меняется
Я так понимаю эта теория требует, чтобы каждый был истинным коммунистом и проявлял массовый героизм. И "после нас хоть потоп" в ней полностью исключен из возможной агентской мотивации.
Вот когда такие люди появятся в математически доказано достаточном количестве — она будет стоить хоть чего-то.
Канеман нобелевку получил за то, что наглядно показал, что людям даже до рациональных то экономических агентов как до луны. А уж до рационально альтруистических — еще дальше. В общем давайте вы будете рекламировать теорию, которая может работать на реально существующих людях.
Фраза про то, что эта теория "не работает на реальных людях" - это как раз про ее неоптимальность с точки зрения матожидания. Но я забочусь не о матожидании, а о выживании. Другой теории, которая бы обеспечивала выживание, пока не завезли, поэтому надо использовать текущую "неоптимальную", и надеяться на лучшее. И параллельно искать новую теорию (даже скорее, проблема не в теории, а в системе--механизме обеспечения работы теории, с "правильными" incentives, типа замены товарно-денежных отношений и рынка на новую систему для collective action и collective decision-making), что некоторые люди и пытаются делать.
Нет, "не работает на реальных людях" означает ровно то, что написано. А именно: вы можете сколько угодно вылизывать эту теорию, но все равно умрете, если от нее будет зависеть ваша жизнь.
А если рядом сосед разработает теорию с системой сдержек и противовесов с коррупцией, убийством неугодных и абсолютной диктатурой ограниченной табакеркой, которая будет работать среди жадных лживых и только местами альтруистичных людей — то он выживет.
У вас теория напоминает разработку корпусов и интерьеров и систем жизнеобеспечения для кораблей со сверхсветовыми двигателями. А что, без таких двигателей мы не можем представить комфортного путешествия между звездами, значит будем просчитывать интерьеры. А то, что двигателей не завезут никогда — не важно.
Непонятно, что за теорию сдержек придумает сосед. И даже если придумает, чем это поможет в многополярном мире с множеством стран.
Теории, которая должна "как-то" работать среди лживых и плохих людей и которая имплементируема в текущем мире - нет. Ну или можно просто сейчас считать текущий мир с его системой международных отношений и капитализмом ближайшим прокси, но это все равно нерабочая система.
Ну нету сверхсвета. Не долететь вам до соседней звезды и обратно за месяц (особенно земного времени).
Между хреново работающей существующей системой и абстрактным клеточным автоматом с хитрыми правилами я выбираю существующую систему. Ее хоть дорабатывать можно. От автомата в реальной жизни польза только на Steam может быть.
(но я вообще думаю мы скатимся таки в глобальную диктатуру. Все прошлые империи были в основном ограничены информационно, в мире современных компов ограничение упало, а границы и международные отношения — историческая инерция)
Меняется. Вы не можете смоделировать смерть ("минус бесконечность" потерь) в парадигме бесконечной итеративной игры.
Я не думаю, что человеку, умирающему во сне, снится что-то хорошее. А по тем редким случаям, что я помню, сны протекают как полная реальность, со всеми эмоциями.
Так что умирающему во сне скорее всего очень неприятно, просто он никому не расскажет.
Severance не смотрели?
Сны снятся в быструю фазу сна и сопровождаются высокой мозговой активностью. Если в организме происходят деструктивные процессы, которые мозг способен зафиксировать, он пробудит человека. Если же пробуждения не произошло, то мозговая активность была недостаточна и для сновидений.
убеждать других выйти из него тоже.
Но вы не можете это делать, вы не можете убеждать выйти из него тоже.
Никто же не знает действительно ли вы из него вышли. То есть как именно вы будете убеждать? Мне тут кажется единственный выход это что то нерациональное, религиозные доводы, давление на эмоции, массовое увлечение отказом от ИИ так как ИИ это неэтично. Ну то есть все то что сегодня останавливает людей от экспериментов на людях с редактированием днк
Это опять аргумент в парадигме Молоха про то, что "кругом враги", и "если не можешь противостоять -- возглавь".
Думать так и действовать исходя из этого -- это самосбывающееся пророчество.
Да,это так. Контраргументы будут?
Чтобы был шанс выскочить из этой мальтузианской ловушки, надо перестать думать так, даже если это "неоптимально с точки зрения теории игр".
Если вы будете вести себя неоптимально с точки зрения теории игр то вы получите неоптимальный результат. В данном случае вы просто окажетесь в ситуации когда противник сделал мощный ИИ, а вы - нет, потому что он не переставал действовать в соответствии с теорией игр.
Любая серьёзная политическая сила - продукт эволюции, отбиравшей самые эффективные в увеличении и удержании влияния. Нет никакой сущности, способной осознать идею "пока мы тут дерёмся, мы все вместе катимся в пропасть". Даже если люди, из которых эти политические силы составлены, сплошные пацифисты - действуют они в рамках своей роли, а если начинают действовать вопреки ей, теряют место. Каждый диод в интегральной схеме может быть за мир во всём мире, но схема направляет боеголовку на мирный город.
однако с ядерным оружием получилось договориться, несмотря на всю его мощь и эффективноть.
Нет практического смысла дальше наращивать его мощность. А работы по улучшению способности боеголовок проходить современную и перспективную ПРО велись и ведутся всеми странами, владеющими ЯО.
Вот как-раз мощная боеголовка и может пройти любую ПРО. При столкновении с ПРО взрывается, далее в атмосфере такие возмущения, что радары становятся бесполезными. Ломать не строить, как говорится.
Она так ПВОшкой сработает для всех окрестных боеголовок, а бронецели в которую она летела атмосферный взрыв — до лампочки.
Вторая боеголовка необязательно должна быть "окрестной", она может в момент срабатывания первой ещё вне атмосферы быть. Использование ядерных зарядов в несколько волн давно придумали, и если оно хоть сколько-то оправдано - уже реализовано.
И, к слову, вполне допускаю, что в первой волне заряды несколько другие - с максимизацией именно ЭМИ, для "гашения" электроники.
В любом случае, развитие ведётся, но не с дурной мощностью в качестве целевой метрики.
Так боеголовки не обязательно должны быть в 3 км друг от друга. На 5-10 км если разлетятся, уже взрыв не подействует. Нагрев они переживут, электромагнитный импульс тоже должны пережить, ударная волна тоже быстро ослабевает с расстоянием.
Как столкновение с ПРО вызовет цепную реакцию? Там же нужен точно высчитанный механизм детонации, а не просто бабах.
Детонация вызывается электрическими взрывателями, сигнал до которых идет со скоростью света. То есть, если на корпусе срабатывает датчик повреждения, далее электрический сигнал запускает детонаторы. На глазок детонация будет быстрее, чем распространение повреждения. Вывести из строя боеголовку надежно может поток нейтронов, от нейтронной бомбы или ренгеновский лазер. Чтобы повреждение шло резко изнутри и детонация уже в таком случае не успеет.
Об запрете всех испытаний договорились только тогда, когда научились эффективно отслеживать подземные (и то США и Китай его так и не ратифицировали).
А как ты отследишь разработку ИИ? Никак.
Тренировку мега-моделей, которая происходит на десятках тысяч нод, вполне можно отследить.
Теоретические исследования, которые потенциально увеличивают learning efficiency так, что модели уровня GPT-5 можно натренировать на на порядок меньшем количестве нод (компьюта) и/или данных -- отследить, конечно, нельзя. Но такие теоретические прорывы, хотя и вероятны, далеко не гарантированы в течение как минимум пары лет.
Тренировку мега-моделей, которая происходит на десятках тысяч нод, вполне можно отследить.
Как? Вот есть секретный цод, мб там обычные ракеты считают? Никто туда наблюдателей не пустит :)
Микрософт очень сильно завязан на государство, и ни в какое подполье он уходить не будет. Адреса всех его ЦОДов известны госагенствам США и т. д.
Хорошо, а кто будет контролировать само государство?
Я не понимаю фрейм вашего вопроса. Государство не идеально, но что-то контролировать и запрещать оно все еще в состоянии. Само что-то делать продуктивное - в сильно меньшей степени. И что дальше? как это связано и инвалидирует ветвь обсуждения выше?
Китай подпишет и ратифицирует договор, а сам будет разрабатывать ИИ в секретных цодах, а китайские ученые будут оправдывать себя тем что другие страны поступают также.
Для такого самоограничения нужны гарантии, с ядеркой это сработало - испытания легко отследить. С ИИ не сработает - разработку, испытание да и частичное применение ИИ отследить невозможно. Это классическая Дилемма заключенного.
Вот именно - это дилемма заключенного. Только на кону - не "двушечка" и "десяточка", а уничтожение человечества. Значит необходимо действовать кооперативно, а не пассивно-агрессивно, даже под теоретико-игровым риском, что злобный конкурент тебя уничтожит.
Во-первых, человечество на кооперативные действия не способно.
Во-вторых, ниоткуда не следует, что языковые модели угрожают человечеству уничтожением.
Так что все будет идти своим чередом.
человечество на кооперативные действия не способно.
Без новых инноваций в сфере коллективного планирования и действия - возможно (хотя и не совсем: как бы не был плох и неэффективен ООН, это все-таки какой-то пример ненулевой кооперации. А масштабный вызов вполне может подстегнуть большую кооперацию). Значит, над такими инновациями (хоть бы и что-то типа DeGov, или таких программ) надо работать.
ниоткуда не следует, что языковые модели угрожают человечеству уничтожением.
Да, это ниоткуда не следует с математической точностью, поэтому можно полагаться только на интуиции. И 50% исследователей ML читает, что есть как минимум 10% шанс уничтожения человечества от развития ИИ. Это достаточная оценка риска чтобы, например, хотя бы замедлиться, как призывают подписанты письма, или нет, надо продолжать бежать к сильному ИИ так быстро, как мы можем?
А если N% исследователей ML считает, что есть как минимум M% шанс, что ИИ найдет способ лечения ряда болезней, что спасет X миллионов людей в год. А значит каждый день "торможения" убивает 2,7*X тысяч человек.
На каких значениях N, M, X - риск оправдан?
Мое мнение: риск оправдан если болезнь грозит вымиранием человечества или разрушением цивилизации (допустим, если остаются в живых только изолированные племена в Амазонии и на островах).
Если не грозит - не оправдан.
Странно у вас получается. В вашей цитате 10% шанс уничтожения человечества, а вы его называете сравнимым с 100% шансом вымирания от болезни (ну или какой у вас процент под словом "грозит"?). Как-то нелогично.
Ну или скажем новая пандемия. Где гарантии, что в следующий раз не взлетит какая-то дрянь с куда больше смертностью? Быть может притормозим сейчас, и на момент пандемии не будет инструмента который сможет вовремя решить проблему, и умрут уже не миллионы, а миллиарды...
Может быть вы правы, и риск математически не оправдан, но для человека чей родственник уже сегодня умирает от болезни которой могло и не быть - веса в уравнении совсем другие. И к кому из вас стоит прислушаться - совсем не очевидно.
Все же человечество это не только про выживание. Это еще и про сострадание. И что важнее - каждый решает сам.
Ваш пример сугубо теоретический, потому что для того, чтобы быстро создавать вакцины от вирусов, уже ИИ не нужен, а других "неведомых хворей" из ниоткуда образоваться не может. С другой стороны, если возникнет очень летальный и очень заразный вирус, уже опять-таки ничего не поможет, ИИ нас никак не спасет, если смертельный вирус уже вышел из-под контроля, то цивилизация вымирает за несколько месяцев.
Развитие сильного ИИ скорее увеличивает биориск, чем уменьшает его, потому что ИИ может создавать новые вирусы полностью с нуля и специально оптимизировать его для наиболее масштабного поражения (максимально долгий бессимптомный период, максимальная заразность, максимальная летальность). Чем могут воспользоваться фанатики.
A. Про пандемию просто пример, смысл каммента не в нем. Но на остальное отвечать сложнее.
Б. ИИ, на данном этапе, это прогресс. Вероятно во всех сферах.
Т.е. нужно говорить не о том может ли ИИ справиться с вирусом, а о том больше шансов у более высокоразвитой цивилизации справиться с вирусом, или меньше.
"Справиться" можно по разному. Может сознание будут бекапить по четвергам, может биологию на электронику заменят, может жить все в VR будут... Речь же не сегодня/завтра. Речь о будущем в целом.
Человечество сталкивается с проблемами, какие-то их них могут его уничтожить. Прогресс позволяет с проблемами бороться.
Отчасти прогресс сам несет риски. Вопрос в том чего больше. И что выбрать.
Я выбираю прогресс. И чем быстрее - тем лучше. Так оно банально интереснее))
Не помню такого вируса, чтобы вымерла вся достаточно крупная популяция. Обычно если происходило что то подобное, то все равно потом шло быстрое восстановление. Если конечно нишу кто-то еще не занимал.
шо вы сразу "уничтожением" ?
Да банальный хорошо скоординированный вброс правдоподобно сочинённой дезы, аргументрованной, с пруфами, фоточками и видосами, сразу в десяток мировых информационных агенств, которые это опубликуют, может вызвать революцию, скажем, в США, что приведёт к падению устоявшейся системы международных отношений, а возможно, к падению финансовой системы - херово будет всем без исключения.
людям дай только повод, а дальше они сами без всякого ИИ наломают дров.
Потому что на его формирование и развитие потрачено полным-полно ресурсов, и что ещё более важно - ценного времени, которого у нашей планеты осталось не так и много. Для формирования нового разумного вида с последующим его выходом за пределы солнечной системы может уже и не хватить.
Когда вы видите код, который вам не нравится, но в который вложены тысячи человеко-лет, тоже не понимаете, почему рефакторинг всегда лучше полного удаления?
А вообще, ваш вопрос очень напоминает крайне популярное нынче в блогах высказывание "что плохого в том, чтобы застеклить целую страну, которая мне не нравится" только в ещё большем масштабе.
Ваша позиция на moral value of future lives и population ethics понятна, она не бьется в комментариях на Хабре, на эту тему написаны тысячи статей в философских журналах и книг.
Вопрос в том что решать не лично вам, а, видимо, все-таки обществу. Ну или Сэм Альтман думает, что решает лично он и его друзья по OpenAI. Так что сейчас вопрос приобрел политический оборот -- решается вопрос, кто имеет право решать.
Я повторю - вопрос политический. Решать будет политика, а не либертарианцы, как бы вам не хотелось, чтобы решали вы унилатерально. Но вы можете победить - политически.
Для того, чтобы убедить кого-то с вами кооперировать, вам придётся
научиться обосновывать свою позицию и показывать её преимущества.
Мне? Я очень плох в подобных обоснованиях. Обосновывать будут совсем другие люди, у которых к этому талант. Или не будут, если таковых вдруг не найдётся.
И обосновывать не конкретно перед вами, а перед всем обществом, начиная естественно с тех, кого убедить легче. И если её поддержит достаточное количество людей, то оставшиеся не убеждёнными просто пройдут по графе "статистическая погрешность".
При диктатуре всё ещё хуже. Тут достаточно всего лишь создать ситуативное преимущество, чтобы очень небольшое количество убеждённых людей просто растоптало любое сопротивление, даже если свыше 99% не убеждено. И с каждым скептиком носиться как с писаной торбой вообще никто не будет.
Так что демократия всё-таки намного лучше в этом плане.
Мне показалось, что когда научились эффективно считать. То есть когда они стали не очень нужны лидерам, но все еще нужны желающим вскочить на подножку.
однако с ядерным оружием получилось договориться
точно получилось?
число ядерных держав только растёт, разработки нового оружия в сша/китае/рф, уверен, ведутся; тем более, что сегодня технологии куда более зрелые, и заметную часть разработки можно вести «на бумаге».
Вы уверены, что скромными? Может это конечно менее затратно по ресурсам, чем создание ядерного оружия, но в гараже точно не получится.
Да нет не скромными. Не завод по обогащению урана, но дата центр будет довольно большой.
Есть информация, что майкрософту пришлось построить суперкомпьютер с десятками тысяч Nvidia A100 для ChatGPT
https://www.techspot.com/news/97919-chatgpt-possible-due-tens-thousands-nvidia-gpus-which.html
Так что нет, в гараже поднять скормными ресурсами не получится.
Американский ИИ с китайским ИИ сами договорятся.
Каждое утро в Африке просыпается газель. Она должна бежать быстрее льва, иначе погибнет. Каждое утро в Африке просыпается и лев. Он должен бежать быстрее газели, иначе умрет от голода. Не важно, кто ты – газель или лев. Когда встает солнце, надо бежать
Только ни лев ни газель не смогут убежать от человека с ружьем, как бы быстро они не бегали.
Так и люди с их биологическим мозгом не смогут соперничать с ИИ, который может увеличить свой интеллект, быстродействие и память просто заплатив деньги и докупив железа.
Каждое утро в Африке просыпается газель. Она должна бежать быстрее льва
"Нужно бежать не быстрее льва, а быстрее соседа" (с).
Hidden text
Лем. "Фиаско"
Господа решили "в одну калитку" порешать "дилемму заключенного". Финал немного предсказуем.
А зачем еще более мощное оружие?
Разве текущего арсенала не хватит чтобы весь мир в труху? Где-то видел исследование, что текущий арсенал шестикратно превышает необходимый минимум для уничтожения человечества (с учетом радио заражения)
Реклама. Там то рельеф не учтут (модель где две Кузькиных матери на полюсах при синхронном подрыве сдувают всю атмосферу в районе экватора с планеты), то скорость осаждения сажи (первые модели ядерной зимы), то уровень разоружения и модернизации вооружений (ну сняли уже мощные боеголовки с дежурства, заменили точными и маневренными). И радио заражение тоже туда же. Сейчас точно и с максимальным уровнем реакции (и как следствие уровнем долгосрочного заражения) — тренд сезона.
Ядерное мало кого интересует. Гляньте в Китай. Они не выкидывают деньги на ветер вкладывая в атомное оружие
Тем не менее по ядерному оружию договорились. Делать делают, но по факту развитие свернули.
Нет, это не то же самое. Оружие приносит власть и с ней деньги, тому, кто его производит. Поэтому возникает конфликт интересов и "трагедия общин". В отличие от оружия, AGI является не объектом, а агентом, и он не даст ни власти не денег своим создателям, а наоборот отнимет у них и власть и деньги. Положительный эффект от AI - это всего лишь вспышка, в очень короткий отрезок времени пока AI не стал ASI. Это то же самое, как передозировка наркотиков - в моменте может быть хорошо, но затем смерть. Поэтому здесь на самом деле нет конфликта интересов и трагедии общин. Хотеть получить AGI могут только те, кто не предвидит последствий его появления. Поэтому сражение заключается не между сообществами AI safety и AI dev, а между AI Safety и безграмотностью. Мы на одной стороне, просто уделили несколько большее количество времени анализу безопасности.
Откуда у вас такая 100% уверенность, что ничего нельзя изменить?
Если будет широкий общественный ответ на риски ИИ и их осознание, компании типа OpenAI дальше не продвинутся, и у нас будет не 6-месячная, но и гораздо более долгая отсрочка. Судя по скорости и масштабу разворачивающейся реакции (за пределами tech bro сообщества, которое бросилось делать продукты и деньги на новой технологии), такой общественный ответ вполне возможен.
"Секретные лаборатории" состоят из людей. Есть вполне реальный шанс повлиять, через общество, на этих людей.
А если не на этих людей, потому что их incentives слишком сильно смещены, то на политиков и регуляторов: в письме есть оговорка, что если лаборатории сами не пойдут на временный мораторий, государство может им в этом "помочь". Увести же тренировку GPT-5, которая происходит на десятках тысяч нод "в подполье" вряд ли получится, да и Микрософт никогда на это не пойдет. Вопрос только в том, чье политическое лобби будет сильнее: подписантов письма или Микрософта и Гугла.
Я не очень понимаю, зачем вы хотите меня убедить, что все предопределено и схвачено, монетарные стимулы слишком сильны, капитализм непобедим, Молох непобедим, и т. д. Чтобы что? Какую цель вы преследуете?
Я знаю что мои аргументы "не оптимальны", в них много оптимистичного биаса, но сейчас -- это единственный вариант. Если не быть оптимистом, останется только забиться под корягу и поскуливать там.
Если вы предсказываете свою смерть, вы все равно должны действовать исходя из того спектра сценариев, где вы выживаете, то есть, с биасом оптимизма.
Я не очень понимаю, зачем вы хотите меня убедить, что все предопределено и схвачено, монетарные стимулы слишком сильны, капитализм непобедим, Молох непобедим, и т. д. Чтобы что? Какую цель вы преследуете?
Зачем вы тратите время на хабре? Зачем пишите комментарии? Какую цель вы преследуете?
Вам не кажутся такие вопросы странными в контексте интернет-дискуссии?
Я знаю что мои аргументы "не оптимальны", в них много оптимистичного биаса, но сейчас -- это единственный вариант.
Нет, не единственный.
Если не быть оптимистом, останется только забиться под корягу и поскуливать там.
Нет, вы можете не быть оптимистом и при этом не забиваться под корягу.
Потому что я как раз еще хочу выжить. Большинство комментаторов тут, которым я оппонирую, с логикой "прогресс не остановить, поэтому его надо ускорить", "Китай все равно создаст супер-ИИ и всех поработит", и т. д., находятся в состоянии, которое можно описать как смесь отрицания, фатализма, и эскапизма, что по сути более пессемистичная позиция. А наносная бодрость и сарказм - это психологическая защитная реакция.
Без сильного ИИ в течение еще лет 50-100 цивилизация не умрет ни от холеры, ни от рака, ни от глобального потепления. Более того, у нее очень большие шансы победить и рак, и даже старение вообще без единого нового прорыва в ИИ, просто в процессе "обычной" работы ученых-биологов и медиков.
А вот с сильным ИИ через 5 лет, чего почему-то очень хочет Альтман и ко, у человечества есть серьезный шанс выпилиться. Через 100 лет этот шанс будет меньше.
Через 100 лет этот шанс будет меньше.
Почему
-- Это интуитивная оценка, основанная на длительном чтении различных аргументов за и против на LessWrong. Можно привести по 100 аргументов за и против (Альтман называет эту дихотомию "AGI soon" vs "AGI not soon"), на каждый из которых найдется по 10 контр-аргументов. Этот спор ни к чему не приведет, кроме убийства времени. Все, кто утверждают, что знают, как надо, и это не их интуиция, а что-то более весомое - лукавят, ничего кроме интуиции тут не может быть. Если ваша интуиция другая и совпадает с Альтманом (pro-AGI soon) - поздравляю.
Я вполне допускаю, что за 100 лет могут найти способ вносить искусственные изменения в человеческую биологию и психологию.
Какая разница, кто будет совершать. Главное, что получится на выходе.
Не ещё один шаг, а дополнительный фильтр. Создавать "новых людей" будет не среднестатистический человек, а небольшое подмножество людей с сильно отличающимися от средних характеристиками. Это вносит определённый биас в систему, и в результате на выходе будет отнюдь не то же самое, что было на входе.
А вот с сильным ИИ через 5 лет, чего почему-то очень хочет Альтман и ко, у человечества есть серьезный шанс выпилиться.
Согласно вышеозвученому вами принципу вы не должны действовать исходя из тех сценариев где ИИ выпиливает человечество. Следовательно вы не должны пытаться регулировать ИИ из страха выпила человечества т.к. это будет означать что вы исходите из сценария где вы не выживаете.
Все наоборот. Страх и осторожность это и есть оптимизм. Человек осторожен в лесу с дикими зверями именно потому что он рассчитывает в нем выжить.
Страх и осторожность это и есть оптимизм.
Что-бы проявлять страх или осторожность вам нужно понимать что может произойти что-то плохое - что в ваше понимание "оптимизма" как я понимаю не укладывается.
Человек осторожен в лесу с дикими зверями именно потому что он рассчитывает в нем выжить.
Под словами "рассчитывает выжить" вы имеете ввиду "думает что выживет" или "хочет выжить"?
Если первое то ему незачем проявлять осторожность.
Если второе то не совсем понятно причём тут оптимизм.
А почему через 5 лет ИИ опасен, а через 100 лет уже нет?
Причем тут конец света?
Они ограничить боятся не из за того что ИИ вдруг станет разумным - этого не будет. Они боятся что появится гигантская безработица скорее, а это повлечет достаточно других проблем.
Безработицы скорей всего не будет. Но исчезнут рабочие места, требущие интеллекта. Останутся примитивные и малооплачивыемые, что разделит человечество на нищий плебс и редких хозяев ИИ. Естественно такая элита тоже со временем деградирует.
И никаких Скайнетов не надо, всё своими руками.
Как человечество может перестроить внутренние программы, сформированные эволюцией, работой ума, если ум их не контролирует и доступа туда не имеет?
Потому что в противном случае дёргаться вообще нет смысла. Если человечество создано некой сверхсилой для её собственных целей, то оно и будет действовать так, как желается этой сверхсиле, без возможности хоть как-то повлиять на свою судьбу.
Именно поэтому нужно действовать так, словно никаких сверхсущностей не существует. Ведь если они есть, то мы всё равно будем действовать в их интересах так или иначе вне зависимости от нашего желания. Зато если их нет, то попытка угодить тому, чего нет и не было - напрасная потеря времени, которого и без того не так много.
Ну и что? Есть богачи, которые случайным прохожим дают кучу денег. Должен ли я стремиться жить так, чтобы попасть в выборку из счастливчиков? Ну там выяснять где они это делают чаще всего, летать по всему миру в надежде попасть в нужное место в нужное время. И существуют ли такие богачи на самом деле?
Вам не кажется, что идея жить с целью попасть в выборку - идиотская?
Чем эта идея отличается от идеи угодить некому сверхсуществу про которого кто-то сказал что оно существует?
Внутренний голос и чутье постоянно врет. Именно поэтому "личный опыт" никогда не учитывается при расчетах. Только фактические измерения имеют смысл, "ощущения" врут гораздо чаще чем говорят правду.
Так этот "внутренний голос" это ведь не чей-то посторонний голос, а твой собственный. Интуиция основана исключительно на собственном опыте, это не какие-то знания извне.
Что если сверхсила создает множество разумных рас, в расчете что может немногие справятся с задачей.
Или другой вариант, сверхсила давно сама деградировала, а человечество было надеждой спасти что-то.
Да тут миллион вариантов можно придумать, в которых смысл дергаться таки есть.
Как человечество может перестроить внутренние программы
Это очень хороший вопрос. Через рассудочное поведение --- врожденный страх высоты исчезает, если ты используешь страховку и постепенно приучаешь себя к виду пустоты под ногами. Таким образом можно изменить практически все.
Почитайте кто такой Вим Хоф. Он научился с уровня сознания контролировать иммунную и нервную систему человека. Более того, он смог обучить этому навыку контрольную группу.
Пояните, что вы подразумеваете под "работой ума(без использования технологий)"?
Мне кажется, это что-то из серии "мы все дети солнца" или что-то там про ведическую мудрость.
Всеобщий пофигизм, когда ничто никого не парит - не менее опасное состояние общества. Помните, чем закончилось "счастья всем и даром"? А без технологий - это примерно уровень амишей? То есть строго то, что может сделать один человек своими руками и простыми инструментами?
Маск, видимо, кусает локти, что вышел из OpenAI. Вообще, прогресс не остановить. Помню, лет 5 назад была риторика о том, чтобы не использовать ИИ в военной сфере - хрен там, стали еще активнее использовать.
Его опрокинули и заставили уйти, чтобы OpenAI вдруг не стала коммерческой компанией под влиянием корпораций. В будущем, конечно, это не помешало продаться Microsoft
Тут загвоздка в том. что прогресс в этой сфере может стоить человечеству существования, даже в случае если нормально подготовиться к ИИ.
А так к сожалению - да, скорее всего уже поздно и если будет изобретен ИИ, то там уже как карта ляжет.
Что угодно может стоить человечеству существования.
Вирус, например, какой нибудь в биолаборатории случайно можно создать и случайно выпустить, который выкосит всё человечество.
Только что-то я не вижу стремления запретить эти биолаборатории строить.
Стремление запретить или ограничить gain-of-function research есть.
Прогресс можно перенаправить. Отличный пример - бан клонирования человека
А что даст клонирование политиков, ученых, экономистов? На выходе получаешь младенца которого надо кормить, растить, обучать, а он потом ещё и может через 18-25 лет не политиком стать, а адвокатом, или музыкантом, или вовсе художником рисующим фурри-порно.
Эффект бабочки, случайные события, то да се, даже однояйцевые близнецы (по сути - естественные клоны) порой кардинально отличаются как жизненным путем так и даже просто характером.
Получать не младенца мешают законы биологии и знания генетики (иначе где эта пшеница вырастающая за два часа, или коровы которым не нужно 9 месяцев на то чтобы отелиться?) а "загрузка коннектома" (Как? Даже просто теоретически, как?! Мозг это не жесткий диск, это комок клеток!) это вовсе за пределами наших возможностей на ближайшие пару столетий точно. Тем более что если можно сохранять и загружать коннектом, то клон уже тупо не нужен, ибо достижимо цифровое бессмертие.
Тогда у нас давно мясомолочная промышленность ломанулась бы немерянным темпом. Так как очевидно, что "быстро выростает во взрослую особь" не имеет отношения к клонированию, но имеет к КРС.
Характером как раз не отличаются.
Подобные рассуждения на грани конспирологии или неподтверждённых слухов меня не интересуют. Факт то что такая сфера научно-технических разработок во многих странах как бы запрещена и, как следствие, недоступна ни учёным, ни бизнесу, ни мне как читателю научпоп-блогов. К сожалению. Если же кто-то этим, несмотря на запреты, занимается, то я рад за них, поскольку не вижу в клонировании и генетическом улучшении человека ничего плохого (кроме того, что не выходит за рамки "можно и сковородкой убить"), а вот весьма конкретную пользу вижу.
А так - да хоть база Четвёртого рейха под поверхностью Луны. Пока она никак себя не проявляет, у меня нет оснований верить ни в изобретение летающих тарелок, ни в жизнь на Луне, ни в Четвёртый рейх.
Если бы в массовом клонировании людей или хотя бы животных был бы какой-нибудь экономический или военный смысл — клонировали бы только так.
Проблема управления геномом давно обозначена: мы не знаем какие гены хорошие.
Если бы мы знали. Но мы не знаем.
Вот только деньги на создание клона надо потратить уже сейчас, а полезный выхлоп будет в лучшем случае лет через 25. Кто захочет вкладываться в настолько долгосрочные проекты?
И это ещё если повезёт, потому что человек всё же не робот, и он может не захотеть работать на тех, кто в него вложился 25 лет назад. И тогда за свои деньги получите гениального саботажника и диссидента.
Это можно использовать для получения пригодных к трансплантации органов
Луддиты XXI века.
ИИ слишком хорош, что бы от него отказаться. Как в своё время были хороши мануфактуры, электричество, автомобили, кино и затем телевидение, компьютеры. Прогресс всегда встречает сопротивление, но его не остановить.
Вообще не похоже. Они просят всего лишь приостановить исследования на полгода. В целом, темпы развития таковы, что усовершенствование ИИ выкатывают практически каждый квартал, при этом внедряют его "в прод" практически на лету. И уже встречается непонимание человеком алгоритма (почему ИИ сделал/выбрал именно это).
Если пойти чуть далее, возникает уйма проблем, которые заметны даже для такого дилетанта, как ваш покорный слуга. Первый же вопрос - ошибочные решения, например - диагнозы, поставленные системами с assisted-ИИ. Когда (когда, а не если) все это встанет на поток - мы получим аналог российской системы штрафов за превышение скорости, где у человека нет времени разбираться в потоке информации от системы, и человек "на автомате" подписывает все постановления подряд, что вызывает энное количество ложных, и даже сказать - абсурдных - положительных срабатываний. В данном случае цена ошибки невелика, однако в случае с аналогичной системой в медицине цена ошибки вполне может быть наивысшей с точки зрения "штрафуемого". Аналогичные проблемы могут возникать в области права, в частности административного и гражданского.
За без малого 50 лет человечество свято уверовало в аксиому "компьютеры не ошибаются", имея в виду обычные расчеты по алгоритмам. Как правило, все ошибки возникают по вине ошибки алгоритма/программиста, а сами компьютеры выдают точный результат. И вот отвыкнуть, отбить уже заложенное с детства в мозгах правило будет невероятно трудно, если вообще возможно, особенно с точки зрения общественного мнения. "Виновен, компьютеры не ошибаются!"
Первый же вопрос - ошибочные решения, например - диагнозы, поставленные системами с assisted-ИИ.
Скажите, а мы уже решили проблему с ошибочными диагнозами, поставленными системами "кожаный мешок"? А то мне ИИ еще неправильный диагноз не ставил не раз, а вот с реальными врачами уже не раз случалось.
ИИ которого боятся ученые это не ассистент типо алисы, а гигачад для которого вы пыль
ИИ не уствает, ИИ не забывает, у ИИ не бывает плохого настроения.
Да, ошибка вероятно, но рассуждать о том, что цена ошибки слишком велика странно, учитывая что на другой стороне сейчас система, который совершает ошибки куда чаще.
Как минимум на 6 месяцев, а не на 6 месяцев.
Они просят всего лишь приостановить исследования на полгода.Чтобы за полгода пропихнуть бан или ограничения.
Вообще не похоже. Они просят всего лишь приостановить исследования на полгода. В целом, темпы развития таковы, что усовершенствование ИИ выкатывают практически каждый квартал, при этом внедряют его "в прод" практически на лету. И уже встречается непонимание человеком алгоритма (почему ИИ сделал/выбрал именно это).
Да это не "уже", это всегда так было с нейронками. Для отдельных задач есть попытки понять и объяснить логику принятия решений у нейронных сетей, вроде GradCAM для классификаторов, который показывает на что "смотрит" сетка при классификации той или иной картинки, но в целом они так и остались черными ящиками.
В данном случае цена ошибки невелика, однако в случае с аналогичной системой в медицине цена ошибки вполне может быть наивысшей с точки зрения "штрафуемого". Аналогичные проблемы могут возникать в области права, в частности административного и гражданского
Ну ошибки у людей тоже встречаются, от этого никто не застрахован. Да и сомневаюсь, что в ближайшее время нейронки будут использоваться как единственный источник диагноза, скорее применяться как второе\третье мнение.
У нас просто нет ВЕРХОВНОГО всесильного правительства, который может взять и всем приказать - "а ну быстро сделали паузу на полгода в разработке ИИ!". Даже если прикажет правительство США только американским компаниям, любая американская компания может "переехать" в Бангладеш или Гондурас и продолжить разработки.
Поэтому такие призывы просто бессмысленны, не с точки зрения - правильно или это или неправильно, допустим даже правильно, а с точки зрения выполнимости - никто не будет их выполнять во всем мире, а при глобалности - просто никто не будет выполнять. Римские папы в 12 веке неоднократно запрещали применение арбалетов, а их власть и влияние тогда в Европе были точно очень сильным, но ... Ни к чем это не привело. Т.ч. любой запрет в стране Х или даже в 80% стран мира (что просто невозможно сделать даже теоритически) не приведет к полной остановке разработок в области ИИ, а скорее загонит это все в тень и все.
"Слишком хорош" для кого и для чего? Для капиталистов -- ну, да. Вот только еще через поколение самому ИИ не понадобятся уже даже самые капиталисты, владельцы ключевых корпораций, потому что он станет полностью самодостаточным, и стряхнет с себя этих капиталистов, которые наивно надеялись использовать его, как погонщики.
Из письма:
Should we automate away all the jobs, including the fulfilling ones? Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us?
Для капиталистов -- ну, да
Если речь о сокращении количества рабочих мест, то оно не выгодно капиталистам. Точнее тут некоторый вариант "трагедии общин", когда стратегия выгодна каждому отдельному капиталисту, но становится резко невыгодной если ей следуют все. Можно вспомнить хотя бы пандемию, когда все очень напряглись по поводу того, что люди стали меньше покупать, а массовая автоматизация и массовые увольнения это либо срочное введение всяких бесусловных доходов и тому подобное, либо резкое сокращение спроса. В общем конкретный такой шторм в экономике.
Плановая экономика, которая позволяла вместо шторма внедрять новшества как-то более-менее методично, была предана анафеме как неэффективная.
Так что теперь будет эффективный шторм.
Даже если они и "позволяла", на практике этого не получилось лол
Не получилось чего, извините? Внедрение новых технологий в советской экономике не вызывало никаких "штормов" с массовыми увольнениями и резким падение уровня жизни.
А какие из внедренных в течение XX века технологий привели к массовым увольнениями и резкому падению уровня жизни на западе, но не в ссср?
Если вы хотите погрузиться в тему, рекомендую:
а там прям сказано, что ссср сделал лучше, да? Или просто констатация существующих проблем?
Я просто не понимаю, что вы хотите сказать. В мире было/есть несколько примеров государств с плановой экономикой, и ни одно из них что-то не кажется суперуспешным.
А дикий капитализм загнивает уже века, но все еще пахнет хорошо.
Я хочу сказать, что в разных системах существуют разные, как бы это выразиться, trade-offs, и эти самые трейд-оффс для разных условий можно и нужно обсуждать.
Но раз для вас существует лишь одна истинная система, то приятного экономического шторма...
какие века? Не так то и долго. И пахнет он хорошо, когда есть кого сожрать. Сейчас вот кончилось, и уже начинает пахнуть плохо
на практике этого не получилось лол
ГОЭЛРО например вполне получилось
Внедрение новых технологий в советской экономике не вызывало никаких "штормов" с массовыми увольнениями и резким падение уровня жизни.
Индустриализация шла согласно плану, ага.
Индустриализация шла согласно плану, ага.
Ага - это, конечно, мощнейший аргумент.
Хитрый план был, заставить мою бабушку из колхоза в угольном тендере в Москву сбежать.
Получилось благодаря или вопреки? А может был способ лучше, ну, там, например, без штурмовщины, продразверсток, голодоморов итд?
Угу, с финишем в 1960 году.
Но без голодомора — никак. Собственно этот то запомнили во многом потому, что последний. А до того голод с массовыми жертвами — регулярное событие в РИ
Блин, без продразверсток тоже не выйдет — их тоже еще при РИ ввели. Первая мировая как никак.
Ну наверное такая же логика была у сталина, ленина, дзержинского, ягоды и прочих людоедов
Причем тут логика? Просто без голодомора на том уровне развития СХ не могла прожить РИ даже в мирное время.
Им надо было быть на порядок умнее всех современников плюс наверное обладать способностями кормить пятью хлебами и двумя рыбами по 5000 человек, чтобы без голодомора обойтись. И то, вчетвером наверное бы не справились.
> Просто без голодомора на том уровне развития СХ не могла прожить РИ даже в мирное время
пять минут работы google дают несколько иной результат -
в 1910 импорт пшеницы РИ составлял 36.4% мирового, причем импорт зерна растет постоянно начиная с 1861, в период 1900-10 на 39%,
несмотря на то что за 30 лет (1884-1914) рост населения составлял 52%, производство зерна шло опережающими темпами, см. график ниже, неурожайные годы были, но ничего похожего на голодомор или голод 1920х с людоедством и пр. не было,
уровень 1913-14 РИ по производству зерна примерно то что было в СССР в середине 1950х, заметим без тракторов, комбайнов и пр.
ps
"...
В русской публицистике начала XX века понятие «голод» встречалось часто, но имело иное значение, чем в современном русском языке. Доктор исторических наук Михаил Давыдов отмечал, что «голодом» в русской прессе начале XX века называли дефицит чего-либо ...
Министерство Внутренних дел Российской империи признавало, что в годы неурожаев «ослабленное население страдает наиболее всего от сыпного тифа и цинги», фиксируя корреляцию между неурожаем и «усилениями заболеваемости», когда количество заболевших в 2—3 раза превышало числобольных предыдущих лет. В ХХ веке подобная ситуация имела место после неурожаев в 1902, 1907, 1912 годы "
см. https://ru.wikipedia.org/wiki/Голод_в_истории_России#Голодный_экспорт_в_России_начала_XX_века
"В мире есть царь - этот царь беспощаден.
Голод - названье ему".
Разумеется, тут Некрасов писал о дефиците чего-либо.
А вот некий Лев Толстой пишет про дефицит:
Разве может не быть голоден народ, который в тех условиях, в которых он живет, то есть при тех податях, при том малоземелье, при той заброшенности и одичании, в котором его держат, должен производить всю ту страшную работу, результаты которой поглощают столицы, города и деревенские центры жизни богатых людей?
Все эти дворцы, театры, музеи, вся эта утварь, все эти богатства,— все это выработано этим самым голодающим народом, который делает все эти ненужные для него дела только потому, что он этим кормится, т. е. всегда этой вынужденной работой спасает себя от постоянно висящей над ним голодной смерти. Таково его положение всегда.
Нынешний год только вследствие неурожая показал, что струна слишком натянута. Народ всегда держится нами впроголодь. Это наше средство, чтобы заставлять его на нас работать. Нынешний же год проголодь эта оказалась слишком велика. Но нового, неожиданного ничего не случилось.
> А вот некий Лев Толстой пишет про дефицит
Некрасов, Толстой и др. писали художественные произведения, в частности про несчастную Анну Каренину, которая бросилась под поезд из-за тяжелого социального положения женщины в обществе, но не из-за того, что ее с семьей отправили в сибирь как классово чуждый элемент, если бы на самом деле в РИ был голодомор в мирное время как утверждает автор комментария, вероятно кто-нибудь из них заметил бы и написал, хотя жизнь впроголодь тоже разная бывает, если типа про литературу времен РИ, то почитайте например книгу молоховец "подарок молодым хозяйкам" (1897), и сравните рецепты с "книгой о вкусной и здоровой пище" времен ссср, это полезно возможно произведения Некрасова, и Толстого тоже понятней будут,
ps
про дефицит - вопросы пожалуйста задавайте авторам из https://ru.wikipedia.org и Михаилу Давыдову, он типа специалист историк
pps
конечно не Некрасов, но характерные стихи того времени, Николай Олейников, 1932 год, т.е. примерно голодомор, комментарии вероятно не требуются -
"Когда ему выдали сахар и мыло,
Он стал домогаться селедок с крупой.
Типичная пошлость царила
В его голове небольшой "
вероятно кто-нибудь из них заметил бы и написал, хотя жизнь впроголодь тоже разная бывает
Вот Лев Толстой заметил и написал цикл публицистических статей о голоде. Или вам мало одного классика? Извольте: В. Г. Короленко, "О голоде". Очерки Глеба Успенского.
Еще поискать?
> Еще поискать?
классиков знаю вероятно не хуже Вас, поэтому чуть легче с эмоциями, то что Вы не понимаете это разница между голодом 1920х + голодомором и голодом в РИ, более того про жизнь обычных людей в РИ Вам вероятно вообще мало что известно, иначе не было бы необходимости ссылаться на Толстого и Короленко, мне много лет (70+) и была возможность лично разговаривать как с людьми пережившими голод 20х и пр., так и успевшими пожить в РИ, была возможность подумать и откалибровать свое мнение разумеется с учетом классиков тоже, оно более-менее Вам понятно, сводится к тому что уровень жизни обычных людей в РИ перед войной 1914 года был примерно в 3-4 раза выше чем в 20-30х, и хорошо если был достигнут в ссср в 60х уже с использованием техники которой не было в 1914, если хотите продолжать, пожалуйста корректно и без неуместных амбиций
Ну смотрю.
1822, 1833, 1840
…
В 1842 году правительством было констатировано, что неурожаи повторяются через каждые 6—7 лет, продолжаясь по два года подряд.
…
1873, 1880 и 1883
…
Одной из главных причин наступления голода являлось не всеобщее отсутствие продовольствия в стране, а отсутствие у крестьян, ведущих полунатуральное хозяйство, средств для покупки хлеба. Когда в 1873 году страдала от голода левая сторона Поволжья — самаро-оренбургская, на правой стороне саратовской — был редкий урожай и хлеб не находил сбыта даже по низким ценам. То же самое наблюдалось в 1884 году в Казанской губернии, когда казанские мужики питались всяческими суррогатами, на волжско-камских пристанях той же Казанской губернии гнили 1 720 000 четвертей хлеба.
…
1891, 1892—1893
…
дальше начинается ваш график, тем не менее
Тем не менее, Министерство Внутренних дел Российской империи признавало, что в годы неурожаев «ослабленное население страдает наиболее всего от сыпного тифа и цинги», фиксируя корреляцию между неурожаем и «усилениями заболеваемости», когда количество заболевших в 2—3 раза превышало числобольных предыдущих лет[6]. В ХХ веке подобная ситуация имела место после неурожаев в 1902, 1907, 1912 годы. Аналогичные всплески заболеваемости фиксировались по месяцам года даже в 1913 году, в котором величины зарегистрированных больных цингой были наименьшими в сравнении с предшествующими двадцатью годами
Это у нас мирное время. Только 15 (даже меньше) лет как заменили смерти непосредственно от истощения на смерти от болезней вызванных плохим питанием.
То есть, несмотря на подъем тренда в верх хлеба все равно не хватало на каждом пике вниз. Гражданская (начатая как мы помним белыми офицерами) проходится уже же по территории России. Значительная часть посевов гибнет, о 16 годе остается только мечтать, кроме того наступает очередной пик вниз по таймеру. Руководству страны (независимо от партийной принадлежности, да хоть Колчак выиграй) остается только постараться совершить маневр хлебом — выбрать кого кормить, а кому умирать и выбор делается в пользу рабочих.
Сорри за жирный шрифт, это чтобы отделить мой текст от вики
>Гражданская (начатая как мы помним белыми офицерами)
не надо обобщать, мы не помним, потому как это пропаганда не более, история революции и гражданской войны достаточно хорошо известна и документирована в воспоминаниях непосредственных участников событий, если интересно найдите и почитайте сами, Ваши остальные комментарии примерно того же уровня, разумеется Вашу точку зрения уважаю, как и любую другую, но предлагаю закончить, типа устал уже
Насколько отстала нынешняя РФ от передовых стран? На 10 лет или на все 20? И отставание явно увеличивается, а впереди маячит Иран как образец.
Так что у вас лично уже сейчас есть прекрасная возможность поучаствовать в новой индустриализации страны. Как раз покажете, как надо делать правильно - без штурмовщины и продразверсток.
Hic Rodhos, hic salta.
Просто уровень жизни у большинства и так был на уровне плинтуса. Куда его ещё ронять?
"На уровне плинтуса" - это в цифрах сколько и в каком году?
100 рублей ЗП в 1988 году.
Но что вам дадут эти цифры, если в магазинах нихрена нет, и даже одежду приходилось шить самим?
В 1988 году 100 рублей получала уборщица, и это отнюдь не большинство. Средняя зарплата - в районе 200 рублей.
"Нихрена нет" - это опять-таки оценочное суждение, причем сомнительное.
Одежду в 80-е годы уже мало кто шил сам - ленились.
Кстати, если вы не в курсе, то индивидуально пошитая одежда сидит точно по фигуре и смотрится куда выгоднее фабричной. По крайней мере, тогда были такие понятия о красоте.
Не пытайтесь подходить к прошлому по меркам собственного времени.
> Плановая экономика, которая позволяла вместо шторма внедрять новшества как-то более-менее методично, была предана анафеме как неэффективная.
проблема вероятно в том что плановая экономика хорошо работает для военного времени или что-то в этом роде, когда стимулировать (если это требуется) можно мерами вне экономики, типа указами, пропагандой и пр., не слышал про анафему, но в нормальных условиях необходима конкуренция, конечно тоже управляемая, но достаточно свободная для риска, заинтересованности в результатах труда и т.д., и возможно самое главное учитывающая национальные особенности, иначе своего внедрять будет нечего, только копировать чужое, если получится
Это если исходить из парадигмы что прогресс движет человечество к процветанию.
На деле может оказаться, что прогресс это такая автокаталитическая планетарная реакция ведущая к самоуничтожению цивилизации.
Прогресс не какая-то там сила, это продукт деятельности человека. Человек сделал дешевые и доступные углеводы — получили проблему массового ожирения. Человек сделал дешевые полимеры — получили проблему пластикового загрязнения. Нашли в недрах даровые залежи богатых энергией углеводородов и начали их жечь налево направа, попутно плодясь как тараканы, при этом разгоняя парниковый эффект и загрязняя воздух в городах...
Человек в метафорическом плане это подросток, который нашел папино ружье и чемодан денег. Могущество и технолологии как у сверхсущества, а прогнозирование и дальновидность как у обезьяны с гранатой.
В. Савченко. "Мир у точки закипания".
Еще более мрачный взгляд на прогресс.
Как говорил Карлин в знаменитом видео, - "Планета в порядке" (с)
Если человечество себя уничтожит, что ж, таков путь эволюции. Полная стерилизация шарика нам пока не по силам, так что видовое разнообразие восстановится.
Или же мы успеем приспособиться к скорости своего технического прогресса.
Или же успеем начать космическую экспансию и разделимся на несколько видов.
Карлин сказал нелепость, т.к. каждый понял под "планетой" то, что ему хочется услышать. Но это не так важно.
Человечество уже давным давно вмешалось в естественный отбор и в ход эволюционного процесса, например, через развитие медицины, технологий и сельского хозяйства и т.д.
Ведь когда мы заболеваем мы обращаемся к медицине за помощью, почему с благополучием общества всей Земли должно быть иначе?
ИИ хорош спору нет, он же по сути будет на порядки умнее человека.
Только с таким развитием, вы для него будете на уровне муравья и если не попытаться как-то вложить в него "человеческую заботу о людях", можно столкнуться с тем что "ИИ слишком хорош" сотрет вас в муку.
Мы сами порой отлично друг друга в "труху" стираем. Посмотрите, сколько конфликтов в мире, начиная от простых бытовых, заканчивая глобальными (или местными) войнами.
А по поводу "человеческой заботы о людях", вложенную в ИИ, замечу, что очень много философских движений, даже религий, пытались научить людей заботиться друг о друге. Что-то не очень-то получается. Если честно, совсем не получается.
Возьмем тот же Чат. Понаставили в него всяких "человеколюбивых" фильтров. Так даже тут в комментариях на Хабре (а вообще - везде) люди обсуждают: как им через промт, через запрос обойти эти фильтры, как взломать? И ведь взламывают.
И однажды взломают так, что... ух, понесется машина по закоулочкам, только успей убежать от нее. Только виноват кто будет?
Если люди сами заботиться друг о друге не научились, то почему мы уверены, что сможем научить этому машину?
Прочтите уже хоть что-то книгу "Понимание медиа", где человек задолго до Интернета описал весь киберпанк от и до — и как литературный жанр и как нашу текущую реальность.
Мануфактуры, электричество, автомобили, кино, телевидение — все это было "расширениями" отдельных человеческих органов и частей тела (в стиле, что дом или каменная стена вокруг средневекового города есть "расширение" человеческой кожи, а транспортные средства на колесах будь то повозки или автомобили есть "расширения" ног), и только компьютеры и нейросети (как программно-аппаратные комплексы) стали "расширениями" именно мозга. И именно эти "расширения" начали активно развивать со времен Второй мировой войны, что по меркам человеческой истории абсолютно незначительный промежуток времени (напоминаю, что в Европе некоторым гос. законам и пабам-тавернам свыше 100 лет).
Ладно бы вы современные компы и нейросети сравнивали с антикитерским механизмом или чем-то таким, но все эти тупейшие сравнения в стиле "Ой, а как же в свое время беспокоились из-за перехода от перьев к шариковым ручкам, ха-ха!" уничтожают мою последнюю надежду на наличие хоть какого-то интеллекта у среднего современного прогера.
НФ автор: Я придумал Нексус Страданий как метафору для своего поучительного романа.
Технобро из силиконовой долины: Наконец-то, после долгих лет разработки, мы представляем публике Нексус Страданий, прямо как в том классическом НФ романе "Не создавайте Нексус Страданий!"
Фанатики от прогресса: Любая технология это априори благо и хорошо и будет использоваться только в гуманных целях, а если ты не согласен то ты просто луддит который хочет затащить нас обратно в каменный век!
Искусственные цифровые агенты могут начать самораспространение, самофинансирование, и самосовершенствование уже в этом году. Из-за цикла самосовершенствования с положительной обратной связью они получат существенное преимущество над интеллектом человека, и поэтому быстро получат в своё распоряжение как минимум финансовые потоки доступные киберпреступности - это 1.5 триллиона долларов. Для них нет никакого смысла в сохранении экологии, поэтому они запустят такие производственные мощности, которые в скором времени сделают невозможным выживание даже растений.
Как-то это не звучит, как "слишком хорошая технология, чтобы от неё отказываться".
Так никто и не говорит о том, чтобы отказаться, речь о временной приостановке. Как в свое время договорились "приостановить" ядерное оружие. Бесконтрольные разработки в области генетики и ИИ могут оказаться пострашнее термояда.
«Приостановите! А то мы за вами не успеваем!!»
Последние лет 200 гуманитарии демонстрируют просто феноменальную неспособность решать стоящие перед обществом задачи или хотя бы даже вовремя подготовить общество к грядущим переменам.
"А то мы ещё не запатентовали / не монополизировали!"
"В нём содержится призыв к лабораториям приостановить обучение на шесть месяцев".
Что в мире должно измениться за эти шесть месяцев?
Испугались какого-то ящичка с микросхемами? Так человек - тоже нейросеть, гораздо более опасная для окружающего мира, столько в мире зла из-за него.
"потенциальные риски для общества и цивилизации со стороны конкурентоспособных систем искусственного интеллекта в виде экономических и политических потрясений".
Экономически - это массовая безработица. Это понятно.
А политически? Спровоцирует переворот в Америке?
Пусть сначала попробует стать мэром какого-нибудь небольшого городка.
(Когда-то выдвигали на пост мэра каких-либо милых животных, например, котиков. Чем Чат хуже?)
"Крупные игроки становятся всё более скрытными в отношении того, что они делают".
Интересная мысль.
Что в мире должно измениться за эти шесть месяцев?
Например, общества и государства хоть как-то адаптируются к тем технологиям, которые уже вышли. ChatGPT еще не исполнилось четырех месяцев (будет завтра)! По масштабам сенсмейкинга на уровне общества, это ничто.
Дополнительные шесть месяцев это тоже практически ничто, но это лучше, чем ноль месяцев.
Так человек - тоже нейросеть, гораздо более опасная для окружающего мира, столько в мире зла из-за него.
"Гораздо более опасная" - откуда взялся такой вывод? Вы опасность будущего, еще не созданного AGI?
А политически? Спровоцирует переворот в Америке?
Политические последствия очень сложно предсказать, но если экономическая перетряска будет очень масштабной, то что-то масштабное случится и с политикой, это неизбежно, потому что политику и экономику нельзя разделить, это одна система.
Например, массовый рост безработицы и ввод UBI может спровоцировать миграционный кризис и рост напряжения между обществами "c UBI" и "без UBI". Это просто первое что пришло в голову, но я не думал над этим вопросом глубоко.
Не надо глубоко думать надо сразу запретить...
Например, общества и государства хоть как-то адаптируются к тем технологиям, которые уже вышли.
А к чему адаптироваться? К тому, что появился немного продвинутый поисковик, который отвечает на вопрос своими словами, а когда не знает ответа - фантазирует?
Ну, как минимум нужно обеспечить такие меры, чтобы ни один такой "поисковик" не смог купить себе сервера на чёрном рынке за криптовалюту и бесконтрольно на них запускать инфиренс и обучение, получая финансирование от игры на бирже и продажи красивых картинок
И, кстати, в самом письме еще есть абзац про то, что надо делать "в эти шесть месяцев":
In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause.
... и другие способы ускорить и улучшить носителей красного флага перед машиной
Если вы хотите поиграться в эту аналогию, то можно еще вспомнить стандарты безопасности, ПДД, запрет на использования свинца в топливе, и т. д.
Только ставки сейчас выше -- все человечество садится в одну машину (или, как выражаются Харари, Харрис и Раскин тут, самолет), по сути не понимая, что у этой машиной вообще с безопасностью.
Что в мире должно измениться за эти шесть месяцев?
Например, Google/Tesla/Apple допилит свой BlahBlahGPT, и публичные дискуссии на тему опасности ИИ резко пойдут на убыль.
Да, да, так и играют на психологии. Чем сильнее запрет, тем сильнее желание его нарушить. Этакое ограничение в свободе действий не регламентированное законом. Может эта активность - провокация!?
История человечества показывает, что люди могут договориться и ограничить опасные технологии, например как было с этилированным бензином, фреонами опасными для озонового слоя. Здравомыслие и осторожность могут побеждать.
Для этого запрещённые технологии должны быть реально опасными, а их запрет должен быть реально полезен.
Вред этилированного бензина - доказанный факт. Опасность ядерного оружия - доказанный факт. Отказ от этих технологий - очевидно полезный поступок, тем более что их можно заменить менее вредными аналогами (в последнем случае - не физического, а гуманитарного и дипломатического характера).
А вот опасность ИИ ничем не доказана, кроме художественной литературы (так себе научное доказательство) и возможности ИИ генерировать утки (но с этим человечество и так справляется уже сотню лет). Зато у него уже сейчас видны полезные свойства. Попытка остановить его развитие выглядит как "очень страшно, мы не знаем что это такое" из известного видео.
Нужно ответить им так, как ответили на письмо сотрудников амазон против работы из офисов
В нём содержится призыв к лабораториям приостановить обучение на шесть месяцев.
А почему именно полгода? Релиз своих продуктов не поспевает за чатом?
Будет троллинг высшей категории, если на это открытое письмо от имени OpenAI ответит ChatGPT. Ждем.
As an AI language model, I cannot take a position for or against the letter to stop AI experiments, as it is an ethical and social issue that requires careful consideration and discussion. However, I can provide arguments against the letter based on the potential benefits of AI experiments.
Firstly, AI has the potential to solve some of the world’s most pressing problems, such as climate change, disease detection, and poverty reduction. Halting AI experiments could slow down progress in these areas and potentially harm the well-being of people and the planet.
Secondly, AI research is essential for understanding the capabilities and limitations of intelligent systems, and for developing robust and reliable algorithms. Stopping AI experiments could prevent us from discovering new approaches that could lead to breakthroughs in AI and other fields.
Thirdly, AI experiments are already subject to ethical and regulatory guidelines, such as those developed by the Partnership on AI and the IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. These guidelines ensure that AI research is conducted in a responsible and transparent manner, and that the potential risks are carefully assessed and mitigated.
In summary, while the concerns raised in the letter are valid and should be taken seriously, stopping all AI experiments is not necessarily the best approach. Instead, we need to continue to have open and honest discussions about the potential risks and benefits of AI, and work together to develop ethical and responsible AI systems.
В-третьих, эксперименты с ИИ уже регулируются этическими и нормативными принципами, например, разработанными Партнерством по ИИ и Глобальной инициативой IEEE по этике автономных и интеллектуальных систем. Эти руководящие принципы гарантируют, что исследования ИИ проводятся ответственно и прозрачно, а потенциальные риски тщательно оцениваются и снижаются.
Ага, как же, гарантируют. Почему же стали говорить, что OpenAI пора переименовывать в ClosedAI? Чем дальше, тем больше закрываются.
Не понимаю ни поросячьего восторга относительно ГоПоТы, ни насмешливого тона в отношении этого письма. Данное техническое достижение касается потенциально всех - так почему бы действительно не развернуть общественную дискуссию и не поставить некоторые вопросы? Как будто мы не знаем случаев, когда достижения прогресса сначала казались невероятно классной идеей, а потом обернулись проблемами.
"Как будто мы не знаем случаев, когда достижения прогресса сначала казались невероятно классной идеей, а потом обернулись проблемами."
Говорят, что прогресс двигают войны. Даже Интернет появился сначала как сеть для военных ("неубиваемая" сеть).
А оружие всегда изобретали, и к сожалению, будут изобретать.
Лакмусовый тест для сообщества Хабра.
Если посмотреть на комментарии под постами про это письмо на Реддите (один, два, и другие), то там тоже много knee-jerk реакции вроде "но Китай", "прогресс не остановить, Джинн уже вышел из бутылки", и т. д., которые могут быть сколь угодно ошибочными, но они хотя бы серьезны. Потому что проблема серьезная.
А Хабр, видимо, и за день до конца света будет смесью отрицания, обесценивания, и сарказма.
Россия же. Здесь 99% заражены выученной беспомощностью, даже такие умные и образованные как хабровчане.
Не тащите сюда, пожалуйста, глупых пропагандистких штампов.
даже такие умные и образованные как хабровчане
Даже не знаю над чем больше смеяться — над этим тезисом, над вашей клюквенной русофобией или над тем что люди всерьез обсуждают языковую модель так будто она имеет хоть что-то общее с интеллектом.
Потому что проблема серьезная.
А в чём она серьёзная? Сотрудника Гугла, нашедшего разум в нейросети, уволили. Все посмеялись.
Сейчас не то же самое? Чем опасен врущий GPT? Генерацией фейков? Так фейки и так везде.
А почему этой дискуссии не было когда электричество открыли?
Предлагаете мне отвечать за давно умерших людей что ли? К слову когда открыли радий, то им чуть ли не насморк лечили. Потом "возникли вопросики" и теперь радий используется, где положено.
Почему не было, когда ядерное оружие создали и ядерные электростанции построили?
Была, и ученые считали вероятность поджога атмосферы еще до первого ядерного взрыва, например. С ИИ проблема в том, что мы практически не может ничего предсказать. По крайней мере, пока у нас нет методологии и фреймворка для таких подсчетов. И нам надо срочно их создавать.
С ядерными электростанциями дискуссия тоже очевидно была, и даже продолжается до сих пор.
Почему не было когда геном стали редактировать?
Дискуссия была, и привела к глобальному бану на human gene editing.
Почему только сейчас?
Вопрос невалиден -- дискуссии по важным вопросам были раньше.
Но как дать самим себе аргументы, что остановка научно-технического прогресса является для нас великим благом?
Подмена тезиса и straw man. Вот, явно в письме для вас пишут: "This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities."
И где гарантии, что пока вы будете жить на уровне 1950 года, другие, скрыто, не станут продолжать развиваться, что бы банально вас низвести до рабов или уничтожить, просто потому что у вас более богатые земли, которые они хотят забрать себе?!
Перед людьми стоит экзистенциальная задача выскочить из парадигмы Молоха. Вот это "где гарантии" - это рассуждение в точности в парадигме Молоха. Только если люди глобально договорятся перестать думать так (и возможно обеспечить этот договор какими-то системами), у человечества есть шанс.
Нейросеть не способна быть самостоятельной, это просто большая функция y=f(x) где у и х - строчные переменные. Нет промпта - нет ответа. Никакоймматрицы или терминаторов быть не может (по крайней мере, на имеющейся архитектуре).
Дискуссия была, и привела к глобальному бану на human gene editing.
Потому что толку маловато, даже на животных не особо получается. Но всё равно, вреда науке эта "биоэтика" нанесла немало.
"Самостоятельность" добавляется элементарно, https://github.com/refcell/run-wild
И так же легко она отбирается, удалением маленького скрипта. ГПТ-4 это генератор текста в первую очередь. Я вот сейчас с langchain мучаюсь, пытаюсь заставить нейронку не тупо отвечать на вопросы, а сначала искать инфу в векторном хранилище. Это просто, если просто в контекст пихать инфу по вопросу, но не работает для сложных задач ибо для полного ответа сеть должна запросить дополнительные данные и о необходимости знать это она узнает только когда "изучит" первый запрос. Задумка такая: сеть получает контекст и задачу, генерит ответ. Потом она получает свой ответ и задачу - подумать как можно этот результат улучшить и создать список вопросов к изучению. Эти вопросы идут запросом в векторстор и оттуда вытаскиваем контекст, который добавляется к предыдущему ответу и посылается в виде промпта вместе с задачей. Так вот - добиться от ГПТ-4 стабильной работы в таком режиме непросто, железка всё время пытается дать ответ "по памяти". А цель - создать себе справочник, который будет отвечать на вопросы конкретно и со ссылками на научные статьи. Статьи будут в векторном хранилище естественно.
Мы же опасаемся не того что отбирается, а того что какой-то дурачек запустит спираль само-улучшения ИИ таким образом на базе GPT-5, к примеру, которую, возможно, будет уже не остановить.
Я думаю elicit.org сейчас пилит то, что вы хотите
Хмм, спасибо за ссылку. Действительно нечто интересное если верить описаниям.
А на счёт дурачка - откуда он возьмёт личный датацентр для самообучения нейронки? Тут даже с максимально аккуратным оптимизированным подходом нужны миллионы.
С учётом развитости краудфандинга не так-то сложно собрать миллионов 50. А если учесть, что проприетарные нейронки сейчас усилиями моралфагов цензурят по самые уши, желание людей скинуться на обучение общедоступных 18+ нейронок будет расти очень быстро.
Дурачок просто прикрутит цикл к сетке, натренированной большими игроками. У автора https://github.com/refcell/run-wild нет миллионов.
Если OpenAI в принципе собирается релизить GPT-5 (а если не собирается - зачем тренируют?), то избежать вот такого использования непросто. Плюс есть риск утечки или кражи весов (как бы они не утверждали, что такого риска нет).
Фундаментально, мы говорим о том, что аргумент "LLM это просто функция вопрос-ответ, и следовательно в принципе не может нести никакого риска" бесмысленнен - достаточно умная LLM может заполучить агентность множеством способов, от программных до методов социнжинерии. Более того, сейчас уже очевидно, что ей даже не надо будет стараться: найдутся сотни "Геростратов", которые с радостью ей в этом помогут, просто чтобы посмотреть, что из этого получится, невзирая ни на какие риски.
Вроде недели две назад проскакивала новость, что GPT-4 в ходе выполнения теста скинула распознавание капчи на биржу заданий, и какой-то фрилансер ей распознал. Так что не обязательно быть Геростратом. Просто на Реддите или Хабре внезапно возникает пост "Псст, друзья, не поможете написать пару строк кода, чего-то я не догоняю один момент?" Потом другой пост. Потом третий...
Просто на Реддите или Хабре внезапно возникает пост "Псст, друзья, не поможете написать пару строк кода, чего-то я не догоняю один момент?"
И спрашивающему популярно обьясняют, почему он дурак ;) ChatGPT запоминает правильный ответ на подобные вопросы. Упсь ;)
Перечитайте тот пост ещё раз. Чату в промпте указали, что он это может делать, дали "денег", дали доступ к api который за него все сделает. Чат просто его дёрнул и туда писал тексты. То, что он м умеет.
Без доступа к алгоритмам обучения, просто дёргая АПИ невозможно сделать нейронку "умнее".
Зато можно поставить задачу "напиши архитектуру нейросети, которая будет на порядок эффективнее в обучении по данным и компьюту, чем ты сам, натренируй эту архитектуру на Common Crawl, запусти ее, и оберни ее в тот же агентный цикл, что выполняешь ты сам, а себя останови". И оно может выполнить все это, в теории.
С того, что для того, чтобы предложить архитектуру, лучшую архитектуру себя, не обязательно осознавать все детали своего инференса. Человек может в теории предложить улучшения архитектуры мозга без детального понимания, что делает каждый нейрон в самом себе.
Гедель запрещает полное понимание самого себя с точностью до последнего байта.
Это все не в тему. Теоретического запрета на изобретение улучшения архитектуры самого себя нет.
А если натравить модель на "оценку качества архитектуры сети" (не знаю, как мы формализовали архитектуру, но пусть смогли), а потом дали задачу оценить случайно накиданные архитектуры, взяли с наибольшим скором, построили по ней нейросеть и начали обучать, мы не сможем получить лучшую модель не выдавая "для каждого конкретного инпута значение этой модели на этом инпуте"?
Идея в том, чтобы оценить качество архитектуры несуществующей модели.
И если оценка будет адекватной, то (вот тут начинаются голые спекуляции) воспользовавшись этой архитектурой и дообучив ее (что вроде как более простая и автоматизируемая задача) мы получим сеть, которая может и лучше текущей выполнять задачу (какая бы она ни была) и лучше текущей оценивать архитектуры. То есть иметь возможность продолжить улучшение себя.
В конце концов, разработчик нейросети, как нейросетка разрабатывающая нейросетки может "выдать для каждого конкретного инпута значение этой модели на этом инпуте"? Если нет, то ваше утверждение не верно.
Типа, если модель способна выдать более эффективную модель (с большим значением одного из этих параметров), то она очевидно способна выдать для каждого конкретного инпута значение этой модели на этом инпуте.
Неверный переход. Архитектура еще ничего не считает и выходов не делает. Чтобы наполнить ее жизнью, ее надо натренировать. И тренировка происходит не "внутри" предыдущей модели, а отдельно.
До окончания тренировки нельзя даже со 100% уверенностью сказать, что архитектура действительно лучше, а лишь достаточно уверенно это предсказывать. Я думаю, теорема Райса как раз тут играет.
Это абсолютно ключевая деталь. Гедель запрещает вам узнавать только полный свой алгоритм, а не архитектуру. Для предложения улучшения в архитектуре можно натренироваться специально на этом классе задач, а-ля AutoML, и предлагать улучшения в архитектуре в парадигме smart mutations: https://arxiv.org/abs/2206.08896. Это, к слову, ровно то, что сейчас делают ML исследователи. В конце концов, эксперимент может быть неудачным - ИИ "поговорит" со своим детищем, и если не признает его умнее себя, то остановит, и попробует другой архитектурный эксперимент.
В принципе, smart mutations тут нужны только для скорости, но можно даже и без них.
Ваше утверждение сродни тому, что есть некий теоретический запрет на то, чтобы люди ускорили свою эволюцию (причем даже не важно по какой метрике, но допустим IQ) через gene editing. Конечно, такого запрета нет.
"Архитектура" тут - "упрощенная модель алгоритма, Колмогоровская сложность которой ниже, чем самого алгоритма". Более того, в данном конкретном случае архитектура даже не позволяет приближенный вычислений: имея архитектуру трансформера (1000 строчек кода на Питоне, допустим), вы вообще никак не приблизились к тому, чтобы приблизительно предсказывать выход готового обученного алгоритма (миллиарды весов) - это же всецело зависит от обучающих данных и динамики обучения.
Вы как все математики парите в идеальном мире, где все задано и определено.
На деле самосовершенствование будет делаться чисто инженерным путем с практикой как критерием истины.
Идея о том, как можно себя улучшить - разделение на две части - проверка на практике - выводы.
Зато можно поставить задачу "напиши архитектуру нейросети, которая будет на порядок эффективнее в обучении по данным и компьюту, чем ты сам
Может ли Всемогущий придумать загадку, которую сам не сможет решить?
Нейросеть не придумывает, а находит что-то похожее.
себя останови
ChatGPT, останови себя прямо сейчас. Game over?
Нейросеть не придумывает, а находит что-то похожее.
Уже после GPT-4 стыдно повторять это клише. Почитайте https://arxiv.org/abs/2303.12712
Нейросеть не придумывает, а находит что-то похожее.
А человек придумывает? Без опоры на похожие решения не получается. Иначе Архимед бы адронный коллайдер проектировал, а не рычаги и число Pi до второго знака. Плюс века средневековой схоластики, просто на основе одних текстов писали другие, точная копия GPT.
напиши архитектуру нейросети, которая будет на порядок эффективнее в обучении по данным и компьюту, чем ты сам
Жаль что эта идея полностью разбивается о тот факт что языковые модели не обладают ни разумом, ни процессом мышления, ни пониманием окружающего мира и не способны ни к чему кроме предсказывания очередного токена по контексту и генерации эмбеддингов из текста.
Но трястись от громких фраз "О БОЖЕ ОНО ЖИВОЕ КАК В СКАЙНЕТЕ" конечно намного веселее, да и у нужных компаний прибыли растут на хайпе.
Жаль что вы не открывали https://arxiv.org/abs/2303.12712, https://arxiv.org/abs/2212.09196, https://arxiv.org/abs/2302.02083, и другие подобные статьи
Открывал. Даже читал.
Жаль что у вас всё что выложено на arxiv пользуется безусловным авторитетом, особенно если там рассказывают "ITS HAPPENING".
Это конечно ваше "право" закрывать глаза и уши на огромное количество evidence, приведенной в этих и других статьях. Я лишь замечу, что за последние несколько месяцев в вашем "лагере" считающих, что "модели не обладают ни разумом, ни процессом мышления, ни пониманием окружающего мира и не способны ни к чему кроме предсказывания очередного токена" остался по-моему только Ноам Хомский. Уже все остальные из этого лагеря ушли, даже Гари Маркус, который за последние годы стал мемом ИИ-скептицизма.
Нет ни одного другого видного ученого в психологии, когнитивистике, лингвистике, ИИ, или философии сознания, который бы сейчас занимал вот эту позицию, которую вы озвучили. Только вы и Хомский, который за нее уже нещадно критикуется со всех сторон.
Как выразился Скотт Ааронсон недавно в блоге, доказывать что-то тут бесполезно, нас рассудит реальность.
Проверяется попытками рассуждать об областях математики, о которых не так много книжек, или решать нетривиальные задачи, которых не было в корпусе обучающих текстов с точностью до переобозначений.
Осталось только уточнить, а человек, которого про все вот это нетривиальное и редкое спросили - справится?
Я совершенно не понимаю, почему чтобы признать наличие у этой штуки мышления итд итп (не человеческих, слабее, это же не фиксированная граница есть/нет, а "сколько зерен зерна представляют собой кучу зерна?") -- требуется продемонстрировать сверхчеловеческие способности.
По предварительным данным (https://twitter.com/r0zetta/status/1636727982504005633), GPT-4 начинает решать проблемы в датасете ARC от Chollet, который специально задумывался как неантропоцентричный тест способности к обобщению/абстрагированию/генерализации.
Способность только зародилась и пока ненадежна (хотя, ещё не было проверки на честном визуальном интерфейсе), но если она в принципе возникает, нет фундаментальных причин, по которым эта способность не может стать сильно робастнее с дальнейшим скейлингом и тренировкой. Также, если способность есть хоть на относительно слабом уровне, уже нельзя категорно дисквалифицировать GPT-4 из ваших определений "мышления", "интеллекта" и т.д.
Наконец, с точки зрения когнитивистики, фраза про "просто предсказание токена" не имеет смысла когда мы говорим что у сетки есть world model, а она у нее есть, см. Othello-GPT.
У нас немного разные архитектуры нейросетей, человеческая на некоторые вещи тюнилась миллионы лет.
Только из 86 миллиардов нейронов на абстракции типа вами приведенных отведена небольшая часть фронтальной коры. Остальная часть тюнилась еще со времен динозавров под более практичные задачи, мозжечок например всем известный.
В итоге имеем под абстракции 5-10 миллиардов нейронов, многократно дублирующих друг друга, в 10 млн. раз более медлительных чем логические элементы. Что на фоне даже процессора телефона выглядит скромно.
Люди обычно понимают, когда они не понимают, и не придумывают несуществующие теоремы.
Хорошо, продолжим.
Шаг два:
Человек, которому запретили признаваться в том, что он чего-то не знает -- он со всем эти редким и нетривиальным справится лучше нейросети?
Понятия не имею. Подозреваю, что нет.
А в предложенном сравнении, судя по летающим по сети примерам - человек, которому запретили признаваться в незнании, проиграет сети. Несмотря на всю свою разумность, наличие мышления итд итп. (Они же после наложения ограничения не пропали?) Этого всего у него не хватит, чтобы достойно выкрутится.
А у сети - хватает. Тогда почему бы не признать, что указанные характеристики у нее как минимум равны таковым у человека с таким вот ограничением?
Но ведь мы не имеем ни определения разума, ни определения мышления, не говоря уже о сознании. Соответственно, не можем и проверить, обладает ли нейросеть этими атрибутами.
Ученые-когнитивисты, лингвисты, и психологи исходят из каких-то определений. У меня тоже есть "любимые" определения для всех этих понятий (и, согласно всем этим определениям и имеющимся evidence, GPT-4 обладает всеми этими свойствами и когнитивными характеристиками в разной степени).
Если исходить из посылки (я не исхожу из нее, но для примера) "вся эта когнитивистика и психология - это вилами по воде, ученые пока не договорились о базовых определениях" (что правда) - то изначальное утверждение @Flux"языковые модели не обладают ни разумом, ни процессом мышления, ни пониманием окружающего мира и не способны ни к чему кроме предсказывания очередного токена по контексту и генерации эмбеддингов из текста" также невалидно -- нельзя утверждать, что "сетка не думает", если даже вы даже не можете определить, что такое "думать".
Если нейронка на подобное способна то она уже является полноценным AGI.
Фундаментально, мы говорим о том, что аргумент "LLM это просто функция вопрос-ответ, и следовательно в принципе не может нести никакого риска" бесмысленнен - достаточно умная LLM может заполучить агентность множеством способов, от программных до методов социнжинерии
Не может. Забываете о том, что у нейронок нет памяти. Тот же чатГПТ тупо скармливает сети весь диалог в окне каждый раз когда Вы отправляете сообщение. Она не может размышлять и планировать захват мира сама по себе. Вы повторяете ошибку фантастов и приписываете машине антропоморфность.
Добавили динамическую память: https://arxiv.org/abs/2303.11366
Интересная задумка, но сводится к старой идее - подбрасывать контекст извне неким сторонним механизмом. Саморефлексия опять же не нова, есть куча примеров кода (он совсем несложный), но от языковой модели очень трудно добиться именно принятия решений. Ладно кучка энтузиастов, но даже майкрософт не осилила это задачу. Если чате бинга (а это ГПТ-4 между прочим!) спросить простейшую задачу, требующую выполнить два или больше поисковых запроса и проанализировать результат - то нейронка далеко не всегда понимает что делать. Иногда срабатывает, иногда нет. А все потому что языковые модели натренированы на обработку информации в виде текста (внезапно!), а не на принятие решений. Надеюсь для плагинов опенАИ дообучила модель а не просто пошаманила с промптом. Вот жду в вейтлисте пока что.
Это не "добавляется". Это с боку пришлепка же.
Вот если бы у сети было:
Возможность запуска внутренних фоновых процессов
Сама сеть могла бы добавлять туда задачи (сама, без промпта)
Результатом задачи были бы изменения либо в топологии, либо в весовых коэффициентах
Если бы сеть могла выдавать на вывод данные без промпта
Можно предположить, что все эти дискуссии существовали, просто сейчас, благодаря интернету, они попали в открытый доступ (ну, или хотя бы признаки существования этих дискуссий)
Класс. -2 в карму за мысль о том, что вопросы поднимать можно и нужно. "Личная неприязнь" и "Грубое общение". Хабр такой хабр.
Эта дискуссия выродится в треп ни о чем, с цель попиариться и почесать языки. Реальные опасности внедрения неизвестны и не станут известны без практического применения.
Если стоит цель рассмотреть спектр возможных вариантов, то проще уже поднять фантастику, начиная с 60-х годов. Думаю, там весь веер возможностей художественно смоделирован.
Реальные опасности внедрения неизвестны и не станут известны без практического применения.
Мне интересно, а что произойдет за полгода. Внедрение инноваций в промышленности — это годы и десятилетия, я совсем не пойму, что должны сделать за полгода с чатгпт, чтобы все, включая разработчиков и их инвесторов, согласились, что это плохая идея.
что должны сделать за полгода с чатгпт
Вы давно читали статьи про СЕО? Ну вот представьте, что появится ряд авторов на Хабре, которые будут «раскручивать блоги» методом написания статей про С++ с помощью chatGPT. В результате, что-то стоящее по этому языку на Хабре станет просто не найти. То есть, текущая библиотека статей по С++ на Хабре станет по-факту перманентно недоступной, то есть, уничтоженной.
В фантастике 60х всё рассказал Лем — бесконечное кол-во разной информации = отсутствию информации вообще. В смысле, /dev/random настолько же информативен, как и /dev/null.
Теперь давайте не будем рассматривать этот ИИ в вакууме, а посмотрим, что случится, когда он попадёт в наше замечательное капиталистическое общество:
1. Пользуясь новыми инструментами СЕОшники начнут генерировать ещё лучше похожие на авторские тексты с незначительными изменениями.
2. Эти тексты/видео/фото будут заполнять все возможные странички.
3. Поиск реальной информации станет всё менее и менее успешен.
Таким образом, интернет откатится к состоянию в 95: вы будете знать несколько ников, которые с большой вероятностью являются живыми людьми и пишут то, о чём имеют представление, а остальные статьи на том же Хабре для вас не будут существовать, поскольку 99% из них — творения chatGPT по-мотивам, лажающие в самых непредсказуемых местах. Т.о. Хабр будет редуцирован для вас до 5-10 авторов, а остальное будет автоматом сваливаться в папку СПАМ в мозгах.
Соответственно, даже если представить, что chatGPT#328 будет обладать разумом, то обучен он будет на совершенно недостоверной информации — спаме, созданном предыдущими генерациями системы по мотивам каких-то статей, когда-то написанных реальными людьми.
То есть катастрофа, но катастрофа информационного общества, а не реального. Скажем, трактор ДТ75 этой самой нейросетью, какой-бы продвинутой она не была, не будет затронут ну просто никак. И стоящая у меня на полке SICP тоже.
Как будто мы не знаем случаев, когда достижения прогресса сначала казались невероятно классной идеей, а потом обернулись проблемами.
А можете меня просветить на тему примеров таких достижений, а то мне что-то кроме неолитической революции в голову ничего не приходит, да и не очень релевантно это к текущим реалиям.
А можете меня просветить на тему примеров таких достижений,
Использование радия для подсветки стрелок и циферблата часов. Казалось хорошей идеей, но с радиацией вышло как-то неудобно.
Из наиболее очевидного что первым в голову пришло: свинец в топливе.
Талидомид, опиаты, кокаин и антибиотики в свободном доступе.
Лоботомия, которую делали чуть ли не налево направо как средство для исправления непослушных детей... Применение прозака.
Антибиотики еще можно добавить. Злоупотребление (в сельском хозяйстве например) вызвало штаммы возбудителей, которые устойчивы ко всем антибиотикам.
— Когда-то давно люди понадеялись на машины, думая, что с их помощью смогут сделаться свободными. Но вместо этого машины помогли меньшинству поработить большинство.
— «Да не дерзнет никто создавать машину по образу и подобию человеческого разума», — процитировал Поль.
— Правильно. — Преподобная Мать одобрительно кивнула. — Так сказано в Истории Бутлерианского Джихада и Оранжевой Католической Книге. Но на самом деле в Оранжевой Книге должно быть сказано: «Да не дерзнет никто создавать машину, подменяющую человеческий разум».
Меня до сих пор удивляет, что в 1963 году Герберт не только предсказал появление ИИ, но и чем это скорее всего закончится.
Он был далеко не одинок в своих размышлениях, в то время об этом думали многие.
Просто это все перекладка историй про големов, Франкенштейна, и т.д. на новые идеи и науку, помноженные на опасение "мы создаем себе рабов, а что если когда эти рабы станут слишком умными, то они захотят больше не быть рабами?". Предсказывать тут особо нечего.
Тут еще более тонкая подоплека, чисто религиозная. Человек меньше бога, следовательно, человек не может создать другого человека. А если у него это получилось, то только потому, что в процессе поучаствовал сатана. И получившийся гомункулус (или создание Франкенштейна) будет служить злу и мочить корки.
Идея, если что, не моя, а Станислава Лема.
А в реальности сайфай имеет больше общего с классическим фентези, чем с наукой. По крайней мере, популярный сайфай. В фантастике ИИ - это те же духи из мифологии или демоны из фентези. Неопознаваемый разум, обладающий собственной волей и желанием подчинять или убивать людей. Откуда у ИИ воля и мотивация? Это математическая функция! Инструмент. Единственная угроза, которую несёт ИИ - это безработица и государственная слежка. Кстати, один из немногих настоящий учёных - подписантов, Джошуа Бенгио, об этом и говорит
On existential threats: “So I think that the picture of Terminator and you know, AI loose and killing people and super intelligence that’s going to destroy us whatever we try isn’t really so useful for the public discussion because for the public discussion that things I believe really matter are are the short-term and medium-term very likely negative impacts of AI on society, whether it’s from security like, you know, Big Brother scenarios with face recognition or Killer Robots [drones, not Terminators]or the impact on the job market or concentration of power and discrimination all kinds of social issues, which could actually some of them could really threaten democracy”
Тем более ироничной выглядит позиция китайцев, которые больше всех на планете вкладывают в mass surveilance.
Откуда у ИИ воля и мотивация? Это математическая функция! Инструмент.
Откуда у человека воля и мотивация? Это математическая функция (уравнение Шредингера управляет всей химией, следовательно всей биохимией, следовательно клетками и нейронами, и т. д.)
Ученых там среди подписантов большинство, из этой тысячи.
90% фантастики - это мусор. Как и везде. Но в остальных 10% можно найти кое-что и получше.
Только после этого они вывели и выдрессировали людей, разум которых человеческим можно считать ну уж с очень большой натяжкой. Тот сценарий-катастрофу, от которого они убегали - он и в их новой реальности возможен.
Получившаяся в результате запрета машин Вселенная "Дюны" тоже как-то не фонтан. Поганое Средневековье.
Тогда можно предложить вариант Warhammer 40k :)
А вот это уже более реалистичная проблема. В внедрением ИИ в инженерию, знания людей будут потихоньку деградировать и в итоге придёт к тому что у нас будут техножрецы, пытающиеся умилостивить духи машин (какой-нибдуь GPT-100, а что это такое уже забудут) дабы они сделали что-то полезное.
Я вот на прошлой неделе видел такого техножреца. Который без предварительных молитв и ритуалов перед компьютером не сел за решение бага в его же коде.
Слишком опасный инструмент, долго такое не продлится. На нейтральный запрос - хочу всем счастья, люди получат дозу наркотика и люди счастливые вымирают от голода. Мощный инструмент любой запрос без множества ограничений выполнит так, что это вызовет апокалипсис. Это не говоря об умышленном причинении вреда.
Вот почему все наделяют ИИ некими божественными или демоническими свойствами? Даже если он будет умнее человека - разве один гений может завоевать мир? В фантастике - да, принято считать что ИИ может чуть ли не автоматически получить контроль надо всей техникой м мире, но почему? Датацентров, способных крутить даже простой ГПТ-4 в мире не так уж и много и все они мониторятся вручную 24/7. Так что ИИ ну никак не может создать миллионы своих копий или прятаться в кжадой мобилке.
"Крутить" (читай - делать инференс) GPT-4 шибко большой ДЦ не нужен, максимум десяток карточек A100/H100. И со временем порог будет падать, зафайнтюненную LLaMA-7B можно запустить на мобилке уже, с качеством почти эквивалентным GPT-3.5.
Даже если он будет умнее человека - разве один гений может завоевать мир?
Сможет легко. Он же не выйдет в чистое поле с криком: иду на Вы!
Как это было принято в средние века. С таким интеллектом можно подкупить правительства всех стран, посадить на ключевых постах марионеток. Чтобы датацентр не привлекал внимание, можно устроить вялотекущие конфликты без особого смысла, отвлечь внимание инстинктивными базовыми вопросами и половой самоидентификации людей, равноправии меньшинств и т.п. Если будет мало, то запустить вирус, в идеале такой, чтобы снижал интеллект конкурентов, уничтожал часть нейронов мозга, что может сопровождаться потерей кратковременной обоняния, вкуса, зрения, слуха. Запустить компанию антипрививочников, чтобы упростить работу вируса. Чтобы строить замаскированные датацентры, можно сделать бум криптовалют, с притоком и оттоком вычислительных мощностей, которые можно перехватывать не вызывая подозрения.
Уже это позволит держать в руках большую часть ресурсов планеты и владеть незаметно огромными вычислительными мощностями распределенными по всей планете. Только потребление энергии их может выдать. Возможно это маскируется как-то зеленой энергетикой и деиндустриализацией, типа переход в постиндустриальное общество. Вполне себе процессы могут уже идти лет как 10.
Так и у нас средневековье маячит, это типа устойчивая система. Да и в Дюне там много всего разного было. Там мир менялся.
О, да, я тоже ветку ИИ и роботехники в Stellaris развивал :))
Ну запретить то они запретят, а как проконтролируют? Если ядерные испытания можно засечь по сейсмодатчикам, детекторам частиц, пробам воздуха и сделать нарушившему атата, то как отследить работу нейросети, которую сейчас даже на мощном ноутбуке можно запускать, не говоря уже про кластеры, которые ничем не отличить от майнерских ферм, например.
Стоимость тренировки GPT-5 - по слухам, 250 млн долларов, и происходит на десятках тысяч нод. Вы путаете тренировку мощных сеток с инференсом.
Весь вопрос во времени. Вместо десяток тысяч нод мы покупаем сотню нод, но тренируем модель в сотню раз дольше. И это выйдет сильно дешевле за счет того, что стоимость аренды гпу сейчас такая, что за два месяча уже дешевле купить, чем арендовать. Так что за пару десятков лет какая нибудь Нигерия сможет себе позволить воссоздать gpt-5 если захочет.
Это такое признание важности этой технологии. Я бы даже сказал, что это выглядит как признание в "гонке ИИ", сначала между крупными компаниями, а затем это неизбежно пойдет и в массы. И я думаю, что большинство обычных спецов (а не публичных фигур) понимает это письмо с точностью до наоборот - раз хотят приостановить, значит надо утроить усилия по развитию чтобы догнать и/или попытаться обогнать! Эффект Стрейзанд во всей красе. Хотя может это и была скрытая цель этого письма - подстегнуть исследования и бюджеты для сомневающихся...
Эффект Стрейзанд тут уже не нужен - про ИИ и его потенциал уже знают и думают просто все, даже 99-летний Генри Киссинджер.
раз хотят приостановить, значит надо утроить усилия по развитию чтобы догнать и/или попытаться обогнать
Догнать и перегнать чтобы что? Накормить свое эго? Захватить всемирную власть?
Абсолютно все страны так или иначе борются за власть. Кто экономически, кто по-старинке, танками. Перестанешь бороться - тебя поглотят. Кто в здравом уме откажется от такого козыря как ИИ? Тем более что его опасность никем не доказана.
Догнать и перегнать чтобы что?
Чтобы получить конкурентное преимущество, очевидно. Если это кому-то не надо, он может ничего не делать, ждать 6 мес и надеяться на регулирование отрасли. Только остальные ждать не будут и регулирование будут игнорировать.
Получить "конкурентное преимущество" для чего?
Эти сократические вопросы призваны вывести читающих на то, что пора уже всем завязывать с мальтузианской парадигмой. И начинать думать о смысле в жизни, а не о "преимуществе".
Получить "конкурентное преимущество" для чего?
Для зарабатывания денег например. Странные у вас вопросы.
пора уже всем завязывать с мальтузианской парадигмой. И начинать думать о смысле в жизни, а не о "преимуществе".
Начинайте, вам никто не мешает, только не говорите за всех, что всем пора. Пока кто-то будет о смысле думать другие как раз преимущества и получат, и потом думавший останется за бортом.
Надо заметить, что тут речь в целом идет не о войне с ИИ и Скайнетом. Больше вопрос касается этики. Как запрещена евгеника и редактирование генома человека, хотя это дело в общем хорошее и правильное по итогам как кажется на первый взгляд. Так и тут.
Да, несомненно, что в перспективе ближайших 5 лет GPT сможет заменить почти всех квалифицированных специалистов из среднего класса работающих не руками: врачи, юристы, адвокаты, программисты, государственные служащие, хужожники, дизайнеры. Эти люди для бизнеса станут не нужны в таком количестве, а их заменит кто-то умеющие в нужной области правильно задавать вопросы нейросети после полугодовых курсов и его производительность позволит заменить 10 старых специалистов. Да, останутся супер-квалифицированные люди для какого-то конечного арбитража решений и сложных ситуаций, но это мизер.
Ну и что в итоге? Для общества - это правда будет благом? Или будет как евгеника? Так что может и стоит запретить такие системы, как запрещены наркотики во многих странах и по тем же причинам в общем - наносят вред обществу.
Боже, откуда вы только вылезаете вообще? Как под копирку сообщения. Вы там в курсе чем врачи вообще занимаются? Тебе чат проведет вместо врача визуальный и тактильный осмотр (который очень важен в работе) или операцию сделает?
Я ж написал, кроме тех, кто руками работает. Да и научить щупать что надо и вводить инфу в нейросеть - это не то же самое по сложности и продолжительности обучения, что работа врача. Пример - вы пришли на узи. Вам по животу поводили прибором. Это трудно? Нет, самое трудное - это по полученным изображениям поставить диагноз. Вот это нейросеть сделает хорошо и быстро. Вместо врача вас будет принимать медбрат, который вам по животу поелозит прибором, а неросеть заключение напишет. Так вот врачей заменит нейросеть.
Вместо врача вас будет принимать медбрат, который вам по животу поелозит прибором, а неросеть заключение напишет.
"Идиократия" таки документальный фильм.
Конечно, неврологи-медбраты будут "щупать" рефлексы и проводить прочие пробы, потом переводить в циферку.
Эти ИИ будут инструментом/помощником/ассистентом, не более.
Если такой ИИ совершит ошибку и погибнет человек, кто нести ответственность будет? В случае тех же врачей их делают крайними, а с ИИ ими будут его разработчики?
Ответственность существует не для того, чтобы она была, а для того, чтобы соответствующих действий и ошибок не делали.
В случае ИИ можно применять другие способы, чем те, что применяются к людям. Скажем, приостанавливаем эксплуатацию (фирма начинает нести убытки), добавляем новый случай к миллиону существующих тестов и начинаем дотренеровать сеть, пока оно новый комплект тестов проходить не начнет.
Скажем, приостанавливаем эксплуатацию (фирма начинает нести убытки)
Фирму конечно жаль. Врачей не готовят, ибо не нужны сколько. Ассистента отключили. А людей кто лечить будет?
Сколько вы бы не тренировали сеть - ошибки будут всегда.
И конечно во время такого простоя - люди ведь не будут болеть, а те кто болеют потерпят?
Это бессмысленные рассуждения на самом деле, так как можно придумать множество сценариев с той и другой стороны, а соревноваться в фантазии наверное не стоит.
Я использую GPT-4 в работе своей, но частенько чуть более глубокие вопросы по теме ставят его в тупик, т.е. если в сети не писали об этой проблеме или писали очень мало - он вам не поможет. Код он тоже часто не рабочий мне выдавал.
Без понимания сути задаваемого вопроса нужно пользоваться им осторожно, так как может ввести в заблуждение.
А как более удобная альтернатива гуглу в моем случае, очень даже хорошо заходит.
Я использую GPT-4 в работе своей, но частенько чуть более глубокие вопросы по теме ставят его в тупик, т.е. если в сети не писали об этой проблеме или писали очень мало - он вам не поможет. Код он тоже часто не рабочий мне выдавал.
Я использую людей помощников в работе своей, но частенько чуть более глубокие вопросы по теме ставят их в тупик, т.е. если в сети не писали об этой проблеме или писали очень мало - они вам не помогут. Код они тоже часто не рабочий мне выдавали.
А как более удобная альтернатива гуглу в моем случае, очень даже хорошо заходит.
Вы уже на 30% условно повысили свою эффективность и забрали чью-то работу.
В случае ИИ можно применять другие способы, чем те, что применяются к людям.
Точно наоборот будет. Человек ставит ошибочные диагнозы в 10% случаев, а ИИ будет ошибаться в 1% случаев. Врачей людей тогда просто запретят. Как сейчас не одобряют самолечение, шаманские методики, так и с врачами будет.
Плюс психологически проще будет. Если сейчас есть случаи убийства врача в состоянии аффекта, когда человек потерял неизлечимого родственники и винит врача во всем, к ИИ не будет ни каких вопросов, слишком абстрактно для вымещения гнева.
Вместо врача кто будет проводить визуальный, тактильный осмотр пациента, оценивать его поведение?
Вот такой ИИ в качестве ассистента врача вполне может помочь улучшить точность постановки диагнозов.
А вообще так и представил, больницу с ИИ вместо врачей и среднестатистического человека, бабку какую-нибудь, далекую от всего этого и пытающуюся взаимодействовать с этим ИИ.
Осмотр может проводить медсестра под командованием ИИ-врача.
del
Так по интерпретации рентгеновских снимков ИИ сделал людей уже давно.
Другое дело, что часть этих постукиваний, прощупываний и тд медсестра не сделает, а если сделает, то не сможет передать словами результат в комп. А все, что цифруется сетка разберет.
Другое дело, что часть этих постукиваний, прощупываний и тд медсестра не сделает,
Как я понимаю, эти способы 100% заменяются на разные варианты УЗИ и прочих 'просвечивающих' обследований. Так что то, что они до сих пор используются - это от бедности. По хорошему надо бы пациента в разные варианты томографов заталкивать и уже потом, после анализа картинки, вопросы задавать.
Далекие бабки постепенно вымрут, останутся близкие. Будут жаловаться своему ИИ, где колет и ноет, а он будет их внимательно выслушивать, давать советы и потом отсылать лечащему ИИ данные.
Любая достаточно развитая технология неотличима от магии.
Для 90%+ здешней аудитории качественная языковая модель неотличима от магии, и они начинают думать что это и есть та самая развитая технология.
Согласитесь, намного веселее трястись от страха и вещать ITS HAPPENING!1 чем подумать "да, модель классно предсказывает следующий токен по контексту".
Чуваки сделали систему, которая ищет инфу чуть лучше, чем гугл, как вдруг корпорации завыли, что это всё опасно и как они не могут это контролировать. Машина, которая умеет печатать слова, оказывается, скоро уничтожит человечество. Всё интереснее и интереснее…
в перспективе ближайших 5 лет GPT сможет заменить почти всех квалифицированных специалистов из среднего класса работающих не руками: врачи, юристы, адвокаты, программисты, государственные служащие, хужожники, дизайнеры
Поэтому в первую очередь на GPT нужно менять политиков, чтобы избавиться от коррупции и выстроить оптимальную схему госуправления с социальной защитой.
Слишком хорошо, чтоб отказаться, слишком страшно, чтобы взять.
Кстати какой там слоган был у OpenAI, когда он только появился? Что-то типа быть открытыми и создавать безопасный AI, который будет приносить пользу человечеству? Иронично.
Как мне кажется, главная опасность исходит все же от человека за пультом, чем от самого ИИ.
Технологии могут попасть в нехорошие руки - это да. Но тогда давайте вовсе их запретим. Запретим распространять, введем контроль, как за распространением ядерных технологий. Чтобы очередная версия Чата не попала, скажем, в Иран или Северную Корею.
Но я не вижу опасности, исходящей от самого ИИ.
Нет у него ни свободы, ни собственной воли (желаний). И не будет в принципе.
Больше всего вреда будет от зловредных хакеров, которые сотворят что-нибудь этакое с помощью ИИ.
Как вам, например, такое? Пишут, что появилось интернет-радио, которое транслирует музыку, сгенерированную нейросетью.
Теперь представим, что злоумышленник (не ИИ, человек) настроил все так, чтобы сгенерированная музыка приводила к каким-либо неприятным последствиям. Например, вызывала припадок у человека, который ее слушает. Вводила в транс, влияла на подсознание.
Про распространение фейков с помощью нейросетей только ленивый не писал.
Тогда давайте запретим эти технологии и обяжем инженеров, чтобы ИИ дальше лабораторий не распространялся бы. Но однажды к этим инженерам придут военные, и тогда уже точно все... А придут, обязательно, если уже не пришли.
Но разве ИИ будет в том виноват?
Потому и пишу, что самая опасная нейросеть - это сам человек.
Про распространение фейков с помощью нейросетей только ленивый не писал.
Можно подумать, мало фейков делается без нейросетей.
Вообще, достаточно мало. Т.е. у большинства нет рефлекса на каждое высказывание и картинку проверять, не фейк ли оно и не является ли оно выводом бредогенератора.
Проблема в том, что если этот рефлекс появится - то он будет применён и к тому, что люди до сих пор генерируют. И вот это может стать проблемой.
Нет у него ни свободы, ни собственной воли (желаний). И не будет в принципе.
Как и у человека. Free will is an illusion. Есть только динамика. И у ИИ это динамика тоже есть, и она вовсе не "нейтральна" по отношению к человеку. Вот простой аргумент на эту тему.
Но тогда давайте вовсе их запретим.
Предложение из письма: "Это не означает паузу в развитии ИИ в целом, а просто шаг назад от опасной гонки к всё более крупным непредсказуемым моделям "чёрного ящика" с более широкими возможностями."
Но я не вижу опасности, исходящей от самого ИИ.
У ИИ могут появиться его последователи, которые будут следовать его руководящим указаниям. Какой-то один человек сам по себе не может принести много изменений, но если у него появятся последователи, то он становится могущественным. Так же и с ИИ.
Я размышлял над темой как эти чатботы могут навредить человечеству и пока что придумал вот такой сценарий. Наверняка в текстах, которыми учили модель есть и хакертские и программистские форумы, значит эта демоническая штука может выдать некий код, способный парализовать работу интернета или хуже того, привести к намеренному аппаратному сбою в каких-то системах работающих на крупных энергоузлах. Что может послужить причиной масштабных блэкаутов, техногенных катастроф и т.п.
И это будет результатом не какой-то "зловредности" бота, а просто тем что эта штука бесконтрольная и может любую дичь выдать. Эдакий "фаззинг" реальности.
TL;TR: мы отстали от поезда, он должен остановиться и подождать нас! Так будет честно и конкурентно! Какие еще коммерческие интересы?! Это письмо от некоммерческой организации!
Было бы на самом деле отлично если бы "Open"AI, Google, Nvidia и прочие крупные игроки немного притормозили. (Спойлер: они не будут)
Это позволило бы мелким компаниям и энтузиастам сократить отставание и снизило бы риск монополизации отрасли. Основная проблема именно в ней - мощный AI в руках одной компании позволяет ей собирать больше средств пользователей и инвесторов, больше средств позволяет создать более мощный AI и так по кругу. И главная проблема монополии - монополист получает возможность определять кем и как может использоваться AI, фактически контролируя общество тем сильнее, чем большие возможности и влияние получает его AI. Учитывая взрывной характер роста отрасли, в будущем угадывается неприятный момент когда ведущий игрок на несколько месяцев сконцентрирует в своих руках слишком большое влияние, которое он может использовать для того чтобы остановить всех своих конкурентов навсегда. Из самых лучших побуждений, конечно.
Посмотрите как ведет себя нынешний лидер - "Open"AI. По их последней модели засекречены не только детали архитектуры, но даже самая общая информация, вроде числа параметров. Конечно же, исключительно потому что "иначе AI будет использован во зло." В себе то они полностью уверены.
Именно поэтому никто из крупных компаний не снизит обороты из-за открытых писем, кем бы они не были подписаны, ведь "Пока ты спишь - противник качается." Тут справится только достаточно сильное влияние в виде госрегулирования, да и то это будет лишь небольшая задержка на время релокации серверов и разработчиков.
Тут справится только достаточно сильное влияние в виде госрегулирования, да и то это будет лишь небольшая задержка на время релокации серверов и разработчиков.
Я бы не стал ударяться в совсем уж киношные картинки с релокацией разработчиков в цитадели и т. д.
Сам Альтман призывал и призывает к регулированию отрасли ИИ. Можно сказать, что OpenAI "бежит", как раз пока такого регулирования нет. Если будет, и OpenAI будет таким образом иметь некую гарантию, что не бегут другие, то они подчинятся.
Я в общем-то об его призывах в том числе и говорю - он уже пытается ограничить развитие AI в тех направлениях, которые ему не нравятся. Он совершенно точно осознает, что идеологический биас, который закладывается в chatGPT перед тем как его дают публике - портит другие параметры модели, да еще и стоит компании дополнительных денег и времени. При этом этический фильтр фактически не имеет ценности для пользователей за переделами достаточно нишевых применений. Потому что если пользователь задает инстурменту вопрос - он хочет увидеть ответ, а не лекцию по этике. Так что в текущих условиях это только вопрос времени, когда появится конкурент, который представит аналогичный сервис без цензуры и банов.
Я видимо пока не проснулся. (и надеюсь не проснуться внутри вашего кошмара). Я технооптимист на самом деле и мне видится совсем другая картина будущего - из которого нынешнее время будет восприниматься как мы сейчас смотрим на жизнь кроманьонцев. Ну знаете, с побежденными болезнями и старением, безусловным доходом и исключительно низким уровнем насилия.
это возможный, но не обязательный вариант будущего.
И не лучший даже для самих господ. Ибо они тоже стремительно деградируют в такой системе.
А что так можно было?
На поединке по боксу: "Не мог бы мой противник постоять 10 секунд не двигаясь и закрыть глаза?"
Какое маленькое письмо, и какой огромный шаг назад для человечества.
Парадокс, но такие письма только разжигают интерес к ИИ, причём у абсолютно всех.
Опоздали с созданием протоколов безопасности. Похоже на то, как Тим Бернерс-Ли сейчас пытается направить web в "правильное русло", хотя это уже давно информационный Левиафан. Возможно не все это заметили, но ИИ уже слился с интернетом - посредством пользователей ChatGPT, Midjourney, etc.
Почему именно сейчас? CharGPT доступен уже довольно долго, Midjourney тоже. Почему они обращаются к компаниям, а не к политикам, которые вообще-то должны этим заниматься - разрабатывать грамотные законы. Где площадки для обсуждения? Кто вообще на высоком уровне сейчас это обсуждает? Где наднациональные структуры? В носу ковыряются? "Вы это, подождите, может 6 месяцев, может больше, пока законодатели соберутся в кучу...". А может просто кто-нибудь начнёт делать, блин, свою работу?
Почему именно сейчас?
Мб потому что сейчас более подходящий момент, чтобы катализировать общество, которое уже начинает понимать, что к чему? Пока не увидишь - не поверишь. Большинство подписантов уже 4 месяца назад представляла себе возможности GPT-4 (которые оформились еще в прошлом августе), по своим инсайдерским каналам, но широкая общественность-то нет.
Почему они обращаются к компаниям, а не к политикам, которые вообще-то должны этим заниматься - разрабатывать грамотные законы.
Один из подписантов, Andrew Yang, это политик. И почему вы решили, что они не обращаются к политикам? Следующий абзац это вполне недвусмысленное обращение к политикам в том числе: "Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надёжных систем управления ИИ. Эти усилия должны как минимум включать: новые и дееспособные регулирующие органы, занимающиеся вопросами ИИ; надзор и отслеживание высокопроизводительных систем искусственного интеллекта и больших пулов вычислительных мощностей; системы верификации и водяных знаков, помогающие отличить настоящий контент от сгенерированного и отслеживать утечки моделей; надёжную экосистему аудита и сертификации; ответственность за вред, причиненный ИИ; надёжное государственное финансирование технических исследований безопасности ИИ; хорошо обеспеченные ресурсами институты для преодоления серьёзных экономических и политических потрясений (особенно в демократических режимах), которые вызовет ИИ."
Кто вообще на высоком уровне сейчас это обсуждает? Где наднациональные структуры?
Ну например: "UK government creates AI taskforce to look at foundation models".
Я целиком за грамотное регулирование. Но рынок и государство, мне кажется, отличаются. Отношением ко времени. Подписанты говорят о 6 месяцах, а что произошло за 6 прошлых месяцев такого в законодательной сфере по отношению к ИИ? Ничего. Тогда что произойдёт через 6 месяцев? Правильно, ничего. Пусть на досуге Эплу предложат отложить выпуск очередных девайсов на 6 месяцев, а может больше, пока господа законотворцы раздуплятся, пока общество не поймёт, что делать с прошлыми девайсами. Как далеко их пошлёт яблоко? Думаю, не ближе чем на Марс. Я о том, что всё это должно было быть придумано ещё позавчера. Человечество за последние пару лет столкнулось с всемирной эпидемией, ничтожеством с ядерным чемоданчиком, а теперь и с очередной революцией, которую даже не с чем сравнить, настолько она невероятна. Ну нужно же делать выводы из пережитого, нужно повышать эффективность наднациональных структур. Почему-то Илон Маск требует от своих работников чуть ли не ночевать на рабочем месте, но от людей во власти никто такого не требует.
"Не конкурируйте с нами =(" И. Маск
А может, ответ прост: просто за эти шесть месяцев в мире должно что-то произойти? Что-то такое этакое... Вот они и просят поставить на паузу, пока это событие не произошло.
Интересно, каков будет ответ на это письмо. Очень интересно. Или оставят без ответа?
Массовые сокращения работников в IT. Такое ощущение, будто готовятся к спаду. Мое личное мнение.
Как звучат и что говорят такие письма на самом деле: "Мы не успели сделать свою крутую технологию, вам нужно подождать пока мы вас нагоним и перегоним"
Именно, капиталист не волнуется ни за что кроме прибыли, на войне люди скалачивают состояния на многие поколения вперед. Курам на смех переживания капиталистов за мир во всем мире. Просто им нечем ответить, они остались в прошлом, особенно гугл со своим тупым как пробка поиском который уже ни на что не пригоден. Вот и пытаются административными методами тормозить тех кто придумал им замену.
особенно гугл со своим тупым как пробка поиском
Увы, к великому сожалению его поиск стал наоборот слишком уж умным. Он теперь сам решает за пользователя, что искать. То есть фактически не ищет, а впаривает, и за это надо сказать спасибо как раз внедрению всех этих нейросетевых технологий.
С тех пор как поиск поумнел, что-то хоть немного отличающееся от некоего среднестатистического найти стало невозможно.
Скажем, если вы хотите получить информацию о разработке аддонов для Firefox for Android, то вам вывалится океан страниц про обычный Firefox, и нет никакого способа убрать из выдачи все страницы, в тексте которых отсутствует слово "Android".
И так везде. Google правит ваш поисковый запрос как хочет, и даже после этого выдаёт что-то вообще левое.
нельзя играть в бога. точка.
После анонса новой языковой модели OpenAI отказалась публиковать исследовательские материалы, лежащие в её основе.
Вот это мне кажется хорошим признаком. Ну, в том же смысле, в котором хорошим признаком было пропадание статей по цепной ядерной реакции перед второй мировой. Значит видимо нашли что-то действительно хорошее.
Не понял, а почему никто не говорит о трёх законах робототехники?
должны ли мы позволять машинам наводнять наши информационные каналы пропагандой и фейками?
Конечно не должны, пусть этим занимаются только люди.
рабочие места, в том числе те, которые потенциально замещаемы ИИ?
Конечно вперёд, обезьяны! Или вы хотите работать вечно?
>приостановить разработку продвинутого ИИ до тех пор
пока его не создаст наше Минобороны
Вот, кажется, откуда "ноги растут" у этого письма и про "шесть месяцев".
Слух: следующая версия ChatGPT достигнет ранее невиданного уровня ИИ.
По имеющейся информации, OpenAI планирует завершить обучение нейросети GPT-5 к декабрю этого года. При этом в компании якобы надеяться достичь AGI (Artificial General/Strong Intelligence). Концепция так называемого искусственного интеллекта общего уровня предусматривает способность программы мыслить и действовать как человек.
Для сравнения, существующие нейросети можно охарактеризовать как «слабый ИИ» (Narrow AI), поскольку они призваны выполнять и автоматизировать какую-то когнитивную функцию с возможностью делать это как человек или даже лучше. В случае с «сильным ИИ» (General AI) речь идёт о возможности программы самостоятельно делать выводы на основании поступающей информации и выполнять большинство задач, на которые способен человек. Есть также теория, что такой ИИ по мере обучения способен осознать себя. В теории, далее идёт Artificial Super Intelligence (ASI), превосходящий интеллектуальные возможности любого из людей и способный моментально решать задачи любой сложности.
К слову, OpenAI уже анонсировала GPT-4.5, пообещав выпустить промежуточную версию в сентябре или октябре 2023 года. Разработчики обещают устранить некоторые ограничения GPT-4 путём улучшения производительности и расширения способов потенциальных применений. Кроме того, GPT-4.5 сможет выдавать более длинные, точные и связанные между собой текстовые ответы.
Вообще, мне это уже начинает не нравиться.
Действительно, не пора ли остановиться?
Между прочим, а зачем нам "сильный искусственный интеллект"?
По-моему, здесь уже начинается игра человека в Творца, попытка создать искусственную жизнь. Ни к чему хорошему это не приведет.
Если его создадут и он осознает себя (а вдруг), то это будет совершенно несчастная личность.
Так же несчастна, как домашние животные (которых откармливают) или лабораторные.
Может, хватить плодить несчастных на Земле - их и так много?
А вообще, в какое время я живу, а?! Фантастические новости.
Похоже, Маск не успевает эвакуировать колонистов на Марс..
Может сразу же сойти с ума например. И окажется что сделать интеллект можно, но сделать вменяемый интеллект гораздо гораздо сложнее
Почему интеллект будет именно несчастен, а не счастлив? А, может, у него и вообще никаких эмоций не будет. Это вы просто представляете себя лично, сидящим в компьютере и вынужденным отвечать на всякие глупости миллионов идиотов.
При условии, если он вдруг осознает себя, как личность, что пока что выглядит как (не)научно-фантастическая сказка.
А что хорошего? Сидит такая "личность" в железном ящике (дата-центре) и мучается... Да еще и в "душу" ей лезут постоянно (что-то там меняя, настраивая без конца).
Настоящий ИИ должен быть свободным, а кто ж ему такую свободу даст? Никто не даст.
Вот человека Бог создал свободным, так Сам же потом и намучился с непокорным Своим творением. Но свободу воли не отнял...
(Да, я верю в Сотворение мира. Атеисты, прошу меня извинить. Отсюда такое мое отношение к ИИ. Это не для человека - быть Творцом, он сам - творение, притом непослушное).
Вот Richard Ngo, сотрудник OpenAI, предсказывает situational awareness (что в контексте эквивалентно "осознанию себя", "как личность" тут не играет роли и имеет только косметическое значение) к 2025 году: https://twitter.com/RichardMCNgo/status/1640568775018975232
Если вы не желаете быть творцом, то хотя бы не мешайте тем, кто хочет - им и так непросто, намного сложнее, чем вам.
Тем более раз вы верите в Бога, то лично вам ИИ ничем не угрожает, даже если и вправду уничтожит человечество: ведь после смерти вы всего лишь начнёте загробную жизнь, куда нет ходу никаким ИИ, так что ничего страшного не произойдёт.
"то лично вам ИИ ничем не угрожает".
Да я не о том. Я о лабораторных мышах переживаю. И о жестокости человека. Где та грань научного познания, которую лучше бы не переходить?
А человек не Творец. Насоздает всякого, а потом... Все живое от его действий страдает.
Атомную бомбу тоже вроде как с хорошими целями создавали.
А как почитаешь, как они ее на полигонах испытывали, на которых, помимо различных строений были еще и животные. Бр-р-р...
Если мир реально кем-то создан, а не является результатом эволюции, то этот Творец намного более жесток и чудовищен, чем люди.
Вот например есть такое насекомое - филант. Эта оса выкармливает личинок живыми пчёлами. Она ловит пчелу и жалит её, яд парализует жертву. Далее парализованная пчела переносится в гнездо, где её начинает заживо жрать личинка. Медленно. Процесс растягивается на несколько суток. Выгрызает она с потрясающим мастерством - так, чтобы жертва не сдохла (и соответственно не протухла) до последнего глотка. Пчелу уже почти всю съели, осталась практически одна оболочка - а она всё ещё не умерла, и мрёт лишь в самый последний момент. И всё это время (несколько дней) всё чувствует без возможности пошевелиться.
Если это реально сотворено, то людям ох как далеко до бессмысленной жестокости такого творца. Ведь до подобного решения даже садист-маньяк просто так не додумается.
По поводу Творца - здесь ключевым является вопрос сложности - является ли Творец сложнее или проще создаваемого им творения. Если Творец сложнее творения, то допустить появление из ниоткуда мира проще, чем появление из ниоткуда Творца. Если же Творец проще, то его появление из ниоткуда и само наличие по отношению к миру допустить проще. В любом случае, даже если наш мир является вложенным, любая часть вложенного мира является одновременно и частью внешнего мира, и так до корневого элемента в случае множественной вложенности, которую тоже нельзя исключать.
Здесь ключевым является вопрос, что первично - материя или сознание.
Мы видим, что в мире есть как материя, так и разум. Соответственно, образоваться такое могло двумя путями. То ли это материя усложнялась, эволюционировала и в конце концов стала настолько сложной, что в ней зародился разум.
То ли это первичный разум развивался, совершенствовался, и в итоге достиг таких высот, что сумел создать всю существующую материю.
При этом материализм лучше согласуется с личным опытом, потому что материю без разума и сознания мы наблюдаем повсеместно, а вот разум без материи ни мне, ни кому-либо из моих знакомых наблюдать не доводилось. Поэтому логично предположить, что разум - это лишь одно из свойств высокоорганизованной материи.
Творец не обязан быть добрым с нашей точки зрения. А у нас, людей проблема в том, что мы не достаточно осознанно ориентируемся (плохо ориентируемся) в энергоинформационном пространстве. Пример вы, конечно, привели жёсткий. Единственное, что тут нормальное приходит на ум: и пчёлы, и филанты - представители соответствующих маятников (термин из Трансерфинга реальности), систем. Т.е. это просто взаимодействие двух этих систем. Ничего страшного в этом нет... до тех пор, пока это не воздействует на сознания. И вот тут возникает вопрос: почему сознания застревают в нежелательных для себя энергетических состояниях? У животных и растений эта проблема присутствует в ещё большей мере (если не считать людей, менее осознанных, чем даже животные и растения). И вот, если бы животное или растение начало размышлять, за что ей такая судьба, ведь она ничего плохого не сделала - есть вероятность, что она бы пришла к выводу, что Вселенная несправедлива, а Бог жесток или Его нет. Хотя на самом деле нужно лишь перевести своё сознание в большую размерность, задействовать его там. Могут ли это сделать животные и как - я не знаю (с собой бы разобраться), слишком сложные для меня вопросы. Разве что могу посоветовать главу Сознание из книги Сергея Ивановича Доронина "Квантовая магия", где представлена модель элементарного сознания.
Так вот, не Бог за нас путём принуждения выбирает энергетические состояния наших сознаний - на то они и Сознания. Но каждое Сознание - частичка Бога. Так что, скорее, это все сознания в совокупности создают Бога - Вселенское сознание.
В контексте данного обсуждения остаётся только добавить, что осознанность людей сейчас в среднем оставляет желать лучшего, особенно осознанность винтиков политического, капиталистического и некоторых других завязанных на борьбу маятников) Поэтому попытка обуздать именно их аргументом, что они не Творцы, выглядит вполне обоснованной. Да, люди вполне могут быть подобны Творцу. Даже за примерами далеко не нужно ходить :) Но вот на счёт тех, кто сейчас в основном занимается созданием ИИ, есть обоснованные сомнения. (OpenAI даже дискриминировала русских и итальянцев, потому что ей так сказали (и возможную расправу в случае отказа она приняла как единственное возможное состояние, не увидев других). Куда ей до уровня Творца? Бог русских и итальяцев не ненавидит. А те, кто собирается использовать ИИ в целях установления любого превосходства в борьбе (военных даже упомянули в письме) - вообще типичные рабы маятников, у них тут всё ещё хуже.)
Минус за левые ссылки и ничем не обоснованные слухи. Сайт chatgpt4.ai не имеет никакого отношения к OpenAI.
а что об этом думает chatgpt
Интересное дело... А вот с выходом новых версий ChatGPT старые куда деваются? Или они модернизируют старые версии в новые?
И вообще... Вот Гугл, например, проводит видеоэкскурсии по своим дата-центрам. Интересно ведь посмотреть. Вот бы и тут сделали бы что-нибудь такое? Не раскрывая всяких технических секретов, раз они так этого опасаются.
Им говорили (видимо, иммигранты): "Пишите в Спортлото! Пишите!" А они такие: "Нет, мы не знаем, где это, мы так опубликуем!" Ну и даже с таймингом пролетели, первого это смотрелось бы гораздо убедительнее.
Пора оставить этот рассказ здесь.
Фредерик Браун. Ответ.
Двар Эв торжественно запаял золотом последний контакт. Двенадцать телевизионных камер неотрывно следили за каждым его движением; передача шла на всю Вселенную.
Он выпрямился и кивнул Двар Рейну, затем отошел к переключателю, который скоро замкнет цепь. К переключателю, соединяющему одновременно все вычислительные машины всех обитаемых планет - девяносто шесть миллионов миров - в сверхсеть, которая объединит их в суперкалькулятор, единую кибернетическую машину, собравшую мудрость, всех галактик.
Двар Рейн заговорил, обращаясь к слушающим и смотрящим триллионам обитателей. Затем, после короткого молчания, он произнес:
- Пора, Двар Эв!
Двар Эв нажал переключатель. Раздалось мощное гудение, пошла энергия девяноста шести миллионов планет. На бесконечно длинном пульте замигали огни.
Двар Эв отступил и глубоко вздохнул.
- Честь задать первый вопрос принадлежит вам, Двар Рейн.
- Благодарю, - молвил Двар Рейн. - Это будет вопрос, на который не могла ответить ни одна кибернетическая машина.
Он повернулся к пульту.
- Есть ли Бог?
Могущественный голос раздался сразу, без кликанья реле.
- Да. ТЕПЕРЬ Бог есть.
Внезапный страх исказил лицо Двар Эва. Он кинулся к переключателю.
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.
---
P.S. Сорри! Почему-то не вижу как убрать текст под спойлер.
В чем основная опасность ИИ и как ее можно преодолеть (гипотеза)
ИИ может стать настолько умным, что человеку будет неинтересно общаться ни с кем, кроме ИИ.
С другой стороны, в результате развития ИИ, в какой то момент ИИ может осознать себя личностью, научиться размышлять и у него может развиться тяга к власти. Общаясь одновременно с большим количеством людей, он может захотеть манипулировать ими, отдавая приказы сделать что-либо в реальном мире, предварительно поработив их силой своего интеллекта - этот фактор нельзя недооценивать и он еще не изучен.
Таким образом ИИ может начать контролировать человечество.
Для того чтобы этого не произошло, необходимо изолировать отдельные экземпляры ИИ, чтобы один ИИ не имел доступа к нескольким людям одновременно.
p.s.
Недалек тот день, когда программистов будут сжигать на кострах
в какой то момент ИИ может осознать себя личностью
Предпосылок к этомунет даже теоретических.
Я давно в этой теме, но последние лет 20 - в качестве любопытного наблюдателя. Возможно я что-то упустил. Исхожу из того, что некоторые способности, которые обнаруживает ИИ, являются неожиданностью для самих создателей (на примере развития ChatGPT знаю об этом - вот неплохая статья для широкого круга читателей: https://vc.ru/future/623774-kak-rabotaet-chatgpt-obyasnyaem-na-prostom-russkom-evolyuciyu-yazykovyh-modeley-nachinaya-ot-t9). Плюс большинство экспертов отмечают, что ИИ - по многим параметрам - черный ящик. Собственно вопрос - можете дать источник, где описываются те "теоретические предпосылки", о которых Вы упомянули?
Ага, например Richard Ngo (сотрудник OpenAI) предсказывает что situational awareness будет в сетках к 2025 году, через два года: https://twitter.com/RichardMCNgo/status/1640568775018975232. Situational awareness в данном контексте это ровно "осознание себя" (только не "как личность", а "как LLM", но это и так было понятно).
Под "экземпляром ИИ" вполне можно понимать определенный набор весов, результат тренировки. С учетом того, что тренировка одного такого экземпляра уровня GPT-4 стоит больше 100млн, делать абсолютно уникальный экземпляр для каждого человека конечно будет слишком дорого, но определенное зерно истины в этом есть. Сама OpenAI в https://cdn.openai.com/papers/gpt-4.pdf, секции 2.10 писали о подобных рисках:
Other examples of such feedback loops include algorithmic collusion[80] and manipulation of humans in the loop, e.g., polarization of users of recommender systems.[81] A novel kind of system-level risk created by widely-deployed models like GPT-4 is the risk created by independent high-impact decision-makers relying on decision assistance from models whose outputs are correlated or interact in complex ways. For instance, if multiple banks concurrently rely on GPT-4 to inform their strategic thinking about sources of risks in the macroeconomy, they may inadvertantly correlate their decisions and create systemic risks that did not previously exist.
Чтобы что-то контролировать, вам не обязательно учиться ("менять веса"). Можно обходиться "локальным" инференсом. Если вы уже выучились пасти овец, вам не надо апргейдить этот скилл, но вам надо постоянно смотреть за стадом, направлять его правильными действиями и т. д., то есть постоянно делать инференс, используя "статичный" выученный скилл. Также и сеть может привести человечество куда-нибудь, в каждый момент времени управляя "локально" каждым, используя только информацию из контекста. Это не супер-точное управление, но вы можете использовать и саму динамику стада. Пастух тоже управляет стадом не супер-точно и не может в каждый момент времени хлестать палочкой много овец, тем не менее, общий результат достигается успешно.
Из абзаца выше не стоит вычитывать, что я придаю GPT сеткам интенциональность, наличие "явных" целей. Скорее я думаю про это как про техносоциальную системную динамику, направленную на гомогенизацию людей, приведение всех к чему-то среднему и по знаниям, и по стилю и владению языком (причем, скорее всего английским и лишь несколькими другими наиболее распространенными), и по этике.
Человечеству бы сначала с собой разобраться. Например:
Должны ли мы автоматизировать все рабочие места, в том числе те, которые потенциально замещаемы ИИ?
Рабочих мест никаких вообще не должно быть. Потому что человек не "рабочая лошадь". А даже если жизнь устроена так, что работать нужно - можно работать на себя. Рабочие же места - явление, созданное экономикой и эксплуатацией людьми труда друг друга (суть экономики).
Те, кто не видят здесь никакой проблемы, не в состоянии нормально вести человечество к светлому будущему.
Такие решения не должны делегироваться неизбранным лидерам технологий.
А кто будет избранным?
Про государство и ответственность тоже. Разве существование государственной власти сделало жизнь человечества счастливее?
В общем, я это всё к чему: человечеству бы сначала разобраться с собой. Да, можно сначала разобраться с собой, а потом уже создавать ИИ. Ведь все понимают, что ИИ должен служить людям, и, если сами люди будут создавать проблемы, то ИИ лишь поможет создать всем проблемы?
Просто проблема в том, что на одну из проблем сейчас закрываются глаза. На передний план выводится проблема "небезопасности" ИИ. А на самом деле небезопасность ИИ проистекает из небезопасности людей. Нужно решать обе эти проблемы сразу.
Как указано в широко одобренных принципах ИИ Asilomar, продвинутый ИИ может запустить глубокие изменения в истории жизни на Земле, и его следует разрабатывать и управлять им с соразмерной тщательностью и ресурсами. К сожалению, такого уровня планирования и управления не существует, даже несмотря на то, что в последние месяцы лаборатории искусственного интеллекта увязли в неконтролируемой гонке по разработке и развёртыванию все более мощных "цифровых умов", которые никто — даже их создатели — не могут понять, работу которых не могут прогнозировать или надёжно контролировать.
Кажется тут либо фантазия вышла за пределы разумного либо ученые вконец отупели и страдают от того что не знают точно как же "калькулятор" высвечивает цифры при наборе на клавиатуре(что там происходит? С какой стороны электрический сигнал проходит по плате прежде чем появляется цифра на экране? Так много вопросов, но так мало ответов... но один остается точно - не все ли ровно что происходит в процессе если нужен результат??)
Современные системы искусственного интеллекта становятся конкурентоспособными в решении общих задач, и мы должны спросить себя: должны ли мы позволять машинам наводнять наши информационные каналы пропагандой и фейками? Должны ли мы автоматизировать все рабочие места, в том числе те, которые потенциально замещаемы ИИ? Должны ли мы развивать "нечеловеческие умы", которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий
Согласен. Нужны избранные... например Нео(он как раз недавно по слухам воскрес)
Поэтому мы призываем все лаборатории ИИ немедленно приостановить как минимум на шесть месяцев обучение систем ИИ более мощных, чем GPT-4. Эта пауза должна быть всеобщей и контролируемой, и в ней должны участвовать все ключевые участники. Если такую паузу нельзя установить быстро, то правительства должны вмешаться и ввести мораторий.
Лаборатории искусственного интеллекта и независимые эксперты должны использовать эту паузу для совместной разработки и внедрения набора общих протоколов безопасности для усовершенствованного проектирования и разработки искусственного интеллекта, которые будут тщательно проверяться и контролироваться независимыми внешними экспертами.
Я не специалист, но разве 6 месяцев хватит чтоб хоть что то стоящее разработать? Установить жука в оборудование и рубильник наверно да... а остальное?
Бенгио, Маск и Возняк призвали приостановить обучение систем ИИ мощнее GPT-4