С того, что для того, чтобы предложить архитектуру, лучшую архитектуру себя, не обязательно осознавать все детали своего инференса. Человек может в теории предложить улучшения архитектуры мозга без детального понимания, что делает каждый нейрон в самом себе.
Гедель запрещает полное понимание самого себя с точностью до последнего байта.
-- Это интуитивная оценка, основанная на длительном чтении различных аргументов за и против на LessWrong. Можно привести по 100 аргументов за и против (Альтман называет эту дихотомию "AGI soon" vs "AGI not soon"), на каждый из которых найдется по 10 контр-аргументов. Этот спор ни к чему не приведет, кроме убийства времени. Все, кто утверждают, что знают, как надо, и это не их интуиция, а что-то более весомое - лукавят, ничего кроме интуиции тут не может быть. Если ваша интуиция другая и совпадает с Альтманом (pro-AGI soon) - поздравляю.
Я повторю - вопрос политический. Решать будет политика, а не либертарианцы, как бы вам не хотелось, чтобы решали вы унилатерально. Но вы можете победить - политически.
Вот Richard Ngo, сотрудник OpenAI, предсказывает situational awareness (что в контексте эквивалентно "осознанию себя", "как личность" тут не играет роли и имеет только косметическое значение) к 2025 году: https://twitter.com/RichardMCNgo/status/1640568775018975232
Без сильного ИИ в течение еще лет 50-100 цивилизация не умрет ни от холеры, ни от рака, ни от глобального потепления. Более того, у нее очень большие шансы победить и рак, и даже старение вообще без единого нового прорыва в ИИ, просто в процессе "обычной" работы ученых-биологов и медиков.
А вот с сильным ИИ через 5 лет, чего почему-то очень хочет Альтман и ко, у человечества есть серьезный шанс выпилиться. Через 100 лет этот шанс будет меньше.
Ваша позиция на moral value of future lives и population ethics понятна, она не бьется в комментариях на Хабре, на эту тему написаны тысячи статей в философских журналах и книг.
Вопрос в том что решать не лично вам, а, видимо, все-таки обществу. Ну или Сэм Альтман думает, что решает лично он и его друзья по OpenAI. Так что сейчас вопрос приобрел политический оборот -- решается вопрос, кто имеет право решать.
Зато можно поставить задачу "напиши архитектуру нейросети, которая будет на порядок эффективнее в обучении по данным и компьюту, чем ты сам, натренируй эту архитектуру на Common Crawl, запусти ее, и оберни ее в тот же агентный цикл, что выполняешь ты сам, а себя останови". И оно может выполнить все это, в теории.
Об адекватности реакции можно судить по западным медиа и площадкам обсуждения. Смехуечки закончились - на всех западных мейнстримных медиа вопрос обсуждается абсолютно серьезно, и без тени "ах, эти чудные гики-компьютерщики опять что-то там придумали, ха-ха". Но не на Хабре :)
Потому что я как раз еще хочу выжить. Большинство комментаторов тут, которым я оппонирую, с логикой "прогресс не остановить, поэтому его надо ускорить", "Китай все равно создаст супер-ИИ и всех поработит", и т. д., находятся в состоянии, которое можно описать как смесь отрицания, фатализма, и эскапизма, что по сути более пессемистичная позиция. А наносная бодрость и сарказм - это психологическая защитная реакция.
Ваш пример сугубо теоретический, потому что для того, чтобы быстро создавать вакцины от вирусов, уже ИИ не нужен, а других "неведомых хворей" из ниоткуда образоваться не может. С другой стороны, если возникнет очень летальный и очень заразный вирус, уже опять-таки ничего не поможет, ИИ нас никак не спасет, если смертельный вирус уже вышел из-под контроля, то цивилизация вымирает за несколько месяцев.
Развитие сильного ИИ скорее увеличивает биориск, чем уменьшает его, потому что ИИ может создавать новые вирусы полностью с нуля и специально оптимизировать его для наиболее масштабного поражения (максимально долгий бессимптомный период, максимальная заразность, максимальная летальность). Чем могут воспользоваться фанатики.
Эти равновесия существуют только в парадигме взаимной оптимизации ожиданий. Если "игроки" выходят из этой парадигмы и принимают что-то типа Updateless Decision Theory, то все меняется
Мое мнение: риск оправдан если болезнь грозит вымиранием человечества или разрушением цивилизации (допустим, если остаются в живых только изолированные племена в Амазонии и на островах).
Добавили динамическую память: https://arxiv.org/abs/2303.11366
Жаль что вы не открывали https://arxiv.org/abs/2303.12712, https://arxiv.org/abs/2212.09196, https://arxiv.org/abs/2302.02083, и другие подобные статьи
Это все не в тему. Теоретического запрета на изобретение улучшения архитектуры самого себя нет.
Все наоборот. Страх и осторожность это и есть оптимизм. Человек осторожен в лесу с дикими зверями именно потому что он рассчитывает в нем выжить.
Уже после GPT-4 стыдно повторять это клише. Почитайте https://arxiv.org/abs/2303.12712
С того, что для того, чтобы предложить архитектуру, лучшую архитектуру себя, не обязательно осознавать все детали своего инференса. Человек может в теории предложить улучшения архитектуры мозга без детального понимания, что делает каждый нейрон в самом себе.
Гедель запрещает полное понимание самого себя с точностью до последнего байта.
Почему
-- Это интуитивная оценка, основанная на длительном чтении различных аргументов за и против на LessWrong. Можно привести по 100 аргументов за и против (Альтман называет эту дихотомию "AGI soon" vs "AGI not soon"), на каждый из которых найдется по 10 контр-аргументов. Этот спор ни к чему не приведет, кроме убийства времени. Все, кто утверждают, что знают, как надо, и это не их интуиция, а что-то более весомое - лукавят, ничего кроме интуиции тут не может быть. Если ваша интуиция другая и совпадает с Альтманом (pro-AGI soon) - поздравляю.
Я повторю - вопрос политический. Решать будет политика, а не либертарианцы, как бы вам не хотелось, чтобы решали вы унилатерально. Но вы можете победить - политически.
Вот Richard Ngo, сотрудник OpenAI, предсказывает situational awareness (что в контексте эквивалентно "осознанию себя", "как личность" тут не играет роли и имеет только косметическое значение) к 2025 году: https://twitter.com/RichardMCNgo/status/1640568775018975232
Без сильного ИИ в течение еще лет 50-100 цивилизация не умрет ни от холеры, ни от рака, ни от глобального потепления. Более того, у нее очень большие шансы победить и рак, и даже старение вообще без единого нового прорыва в ИИ, просто в процессе "обычной" работы ученых-биологов и медиков.
А вот с сильным ИИ через 5 лет, чего почему-то очень хочет Альтман и ко, у человечества есть серьезный шанс выпилиться. Через 100 лет этот шанс будет меньше.
Ваша позиция на moral value of future lives и population ethics понятна, она не бьется в комментариях на Хабре, на эту тему написаны тысячи статей в философских журналах и книг.
Вопрос в том что решать не лично вам, а, видимо, все-таки обществу. Ну или Сэм Альтман думает, что решает лично он и его друзья по OpenAI. Так что сейчас вопрос приобрел политический оборот -- решается вопрос, кто имеет право решать.
Зато можно поставить задачу "напиши архитектуру нейросети, которая будет на порядок эффективнее в обучении по данным и компьюту, чем ты сам, натренируй эту архитектуру на Common Crawl, запусти ее, и оберни ее в тот же агентный цикл, что выполняешь ты сам, а себя останови". И оно может выполнить все это, в теории.
Минус за левые ссылки и ничем не обоснованные слухи. Сайт chatgpt4.ai не имеет никакого отношения к OpenAI.
Об адекватности реакции можно судить по западным медиа и площадкам обсуждения. Смехуечки закончились - на всех западных мейнстримных медиа вопрос обсуждается абсолютно серьезно, и без тени "ах, эти чудные гики-компьютерщики опять что-то там придумали, ха-ха". Но не на Хабре :)
Потому что я как раз еще хочу выжить. Большинство комментаторов тут, которым я оппонирую, с логикой "прогресс не остановить, поэтому его надо ускорить", "Китай все равно создаст супер-ИИ и всех поработит", и т. д., находятся в состоянии, которое можно описать как смесь отрицания, фатализма, и эскапизма, что по сути более пессемистичная позиция. А наносная бодрость и сарказм - это психологическая защитная реакция.
Меняется. Вы не можете смоделировать смерть ("минус бесконечность" потерь) в парадигме бесконечной итеративной игры.
Ваш пример сугубо теоретический, потому что для того, чтобы быстро создавать вакцины от вирусов, уже ИИ не нужен, а других "неведомых хворей" из ниоткуда образоваться не может. С другой стороны, если возникнет очень летальный и очень заразный вирус, уже опять-таки ничего не поможет, ИИ нас никак не спасет, если смертельный вирус уже вышел из-под контроля, то цивилизация вымирает за несколько месяцев.
Развитие сильного ИИ скорее увеличивает биориск, чем уменьшает его, потому что ИИ может создавать новые вирусы полностью с нуля и специально оптимизировать его для наиболее масштабного поражения (максимально долгий бессимптомный период, максимальная заразность, максимальная летальность). Чем могут воспользоваться фанатики.
Вы письмо-то читали хоть? Там пять абзацев всего. Предлагается не запретить все, а "enjoy AI summer" с уже существующими технологиями, типа GPT-4.
Эти равновесия существуют только в парадигме взаимной оптимизации ожиданий. Если "игроки" выходят из этой парадигмы и принимают что-то типа Updateless Decision Theory, то все меняется
Мое мнение: риск оправдан если болезнь грозит вымиранием человечества или разрушением цивилизации (допустим, если остаются в живых только изолированные племена в Амазонии и на островах).
Если не грозит - не оправдан.