Переводчику: вы в нескольких местах переводите "activations" как "[данные] функции/й активаций". Это неправильно и сбивает с толку. Если уж на то пошло, то активации - это результаты применения функций активации после некоторых слоев параметров, но, в зависимости от архитектуры, не всех. Поэтому надо просто переводить activations как "активации".
Плохая статья, опять попадает во все те же самые когнитивные ловушки, что и 100500 предыдущих. Парротинг нарративов один, оригинальных мыслей нет.
SAI — Strong Artificial Intelligence — ИИ, обладающий сознанием, то есть полностью разумный во всех смыслах этого слова.
Это неправильное определение, strong AI это синоним "artificial superintelligence" (ASI), короче, "очень-очень умный AI, на порядки умнее, чем человек". Связь с сознанием не обязательно. К тому же слово "сознание" имеет столько определений, что, не дав своего, но используя это слово, вы только запутываете людей.
Правильный подход — смотреть на то, что ИИ сделать не может.
Как раз-таки это и есть неправильный подход, потому что обычно утверждения вида "ИИ никогда не сможет в X" опровергаются на горизонте лет, в последнее время--месяцев и даже часов :)
P.S. Если вы думаете, что это лишь моё личное мнение — то, во-первых, да, а во-вторых, скажем, Дуглас Хофстадер, известный учёный-когнитивист, считает так же.
Очень удобно. Нашли ученого, из которого уже посыпался песок, с таким же взглядом как у вас. Вы бы еще 94-летнего Ноама Хомского взяли как образец передовой научной мысли.
У AI/AGI в его современном виде, как мы видим, осознанности нет — соответственно, целеполагание для него просто невозможно. Даже шизофреник имеет целеполагание — просто оно разворачивается в его выдуманном мире, не всегда пересекающимся с объективной реальностью. AI в этом плане катастрофически отстаёт даже от шизофреника.
Вы осознаете, насколько все ваши тейки в этой статье (как и дальше - "профессии автоматизируются", "ИИ это инструмент", и тд) - шаблонные, и были высказанны слово-в-слово во множестве статьей буквально за предыдущие недели?
Иронично, что вторичная цель письма, создать шум и повысить обеспокоенность в обществе, фактически достигнута, и вы в том числе своим постом помогаете авторам в достижении этой цели.
При развитии искусственного интеллекта нужно уделять особое внимание безопасности. Тема кибербезопасности должна опережать тему развития искусственного интеллекта
Дал ссылку на человека, возможно с самой большой экспертизой в AI, который говорит на русском.
С одной стороны, в OpenAI и других местах полно людей, которые говорят на русском, начиная с Ильи Сутскевера и Ивана Бабушкина.
С другой стороны, непонятно, зачем слушать именно экспертов по ИИ. Если для использования его - то лучше слушать prompt engineers? (Это все равно, что слушать инженеров двигателей, вместо профессиональных гонщиков и водителей, о том, как лучше водить).
Если речь об этике использования, то "экспертов по ИИ" тем более не надо слушать, а послушайте лучше Харриса и Раскина: https://www.humanetech.com/podcast/the-three-rules-of-humane-tech
GPT оперирует не логическими понятиями, а токенами. Токены не логика, а значит она не может в логику по своей архитектуре. Не способна бай дизайн.
Вы слышали про эмерджентность? Человеческий мозг тоже "опрерирует" потенциалами на синапсах, а не "логическими понятиями", но это не означает, что на более высоком уровне описания происходящего вы не можете представить коллекции или какую-то динамику с потенциалами на нейронах как "мысли" или "логические понятия". То же самое с сетками.
просто нужно составить логическую задачу которая GPT не решит. Это просто, десятки примеров.
Это относится к человеку так же. Человек, даже "зная логику", в состоянии совершать (и совершает) ошибки в логических выводах. Также, если логическая задача "особо сложная", человек не способен ее решить, даже если в теории у него есть правила для этого. Примером служат многие еще недоказанные теоремы в математике.
Почти все восторженные статьи на хабре про GPT оперируют исключительно магическими понятиями и не имею доказательств
В науке нет доказательств, есть только опровержения, почитайте Поппера. Впрочем, это не значит, что "совершение ошибки" или "неспособность решить задачу" - это опровержение способности "логическое мышление". Ну, или если опровержение -- то это опровержение и способности "логически мыслить" человека также, а следовательно сама концепция "логического мышления", так определенная, теряет смысл.
Не понятно, на что вы ссылаетесь, какой-то вырванный из контекста кусок.
Если на то, что GPT-4 (или GPT-5) не представляет экзистенциальной опасности, потому что не полностью автономен и самовоспроизводим - ок.
Я так понимаю, второе допущение, что мы "остановимся" on the cusp of AGI, и будем крепко-крепко думать, нажимать ли "большую красную кнопку" его запуска. Но неопределенность, что будет происходить в этот момент, огромна (см. выше) - как поведут себя правительства? Что будет с business incentives? Что будет с open-source максималистами, которые по своей наивности (или идеологии) будут пытаться самим сделать AGI и запустить его в мир свободно, наплевав на риски? (Предположим, что в proto-AGI момент уже будут системы предыдущего поколения, а-ля GPT-5, которые помогут максималистам разработать архитектуру ИИ гораздо более эффективную по обучению и забутсрапиться без сотен миллионов долларов и мега-кластеров для обучения.)
Дело не в навешивании ярлыков, дело в аргументах. В основном тексте поста по ссылке аргумент Скотта Александра - не в том, что Тайлер Ковен "не рационален". Там не используется слово "рациональность" в основном тексте поста вообще. Аргументы, как принято выражаться, "object-level". Ключевое место это:
"If you can’t prove that some scenario is true, you have to assume the chance is 0, that’s the rule."
Вашу риторику выше я интерпретирую именно так же, как риторику Тайлера Ковена. Вы пишете:
Без математики и проверяемых оценок по большому счету всё это как раз и есть иррациональный страх, да. Можно еще бояться, что кирпич на голову упадет.
Сравнение с кирпичом намекает, что ваша оценка вероятности катастрофы - ничтожно мала, аналогично с вашей оценкой вероятности падению кирпича на голову.
Возможно, вы имели ввиду не это. Возможно, ваша модель близка к модели аккселерационистов, которые, даже признавая возможно очень большие риски (в районе десятков процентов), все равно считают что это самое лучшее что можно сделать, как бы имея ввиду некий сложный рациональный рассчет рисков и принимая во внимания некие этические калькуляции (типа, учет морального веса НЕ улучшения жизней миллиардов людей, которые живут и умирают прямо сейчас, с помощью ИИ, и всякое такое). (Точнее, предполагается, что у аккселерационистов есть такая модель; в реальности почти ни у кого из них такой модели нет, и их действия это просто интуиция, или trapped priors, или даже motivated reasoning.)
Если так, то было бы интересно ознакомиться с вашей моделью. Если нет, то ваша риторика про кирпичи это просто манипулятивная, политическая риторика. Хотя вы тут же пишете что хотите вести чисто рациональную риторику.
Ну и если ваша оценка рисков - что действительно их вероятность ничтожно мала, хотелось бы ознакомиться с объяснением, почему, тоже. Хотя нет, не интересно, потому что массивная неопределенность относительно примерно всего, от технических моментов и теории МЛ до социальных, геополитических, и регуляторных моментов, дает мне основания думать, что все, кто оценивает вероятность катастрофы меньше, чем в 5% - просто очень самоуверенны, либо используют nonsense логику типа Тайлера Ковена (или хуже), либо не учитывают многих векторов неопределенности.
Я готов к аргументированному диалогу только с теми, кто оценивает вероятность катастрофы как минимум в 5%, но тем не менее считает, all things considered, что бежать к AGI - это лучшее, что можно сделать в данной ситуации.
https://jailbreakchat.com - каталог джейлбрейков. Не благодарите
Название "посты" сбивает с толку, потому что это слово повсеместно используется как синоним "статьям". Может "заметки"?
При Молохе, происходит что-то плохое даже если все участники событий, по отдельности - не злодеи, и понимают, что происходит.
Вот очень хороший обзор текущего дискурса: https://ai.objectives.institute/blog/mapping-the-discourse-on-ai-safety-amp-ethics. Сильно полнее вашего поста.
Переводчику: вы в нескольких местах переводите "activations" как "[данные] функции/й активаций". Это неправильно и сбивает с толку. Если уж на то пошло, то активации - это результаты применения функций активации после некоторых слоев параметров, но, в зависимости от архитектуры, не всех. Поэтому надо просто переводить activations как "активации".
https://www.lesswrong.com/posts/nmxzr2zsjNtjaHh7x/actually-othello-gpt-has-a-linear-emergent-world
Эх, беспилотникам не хватило нескольких лет (ну или десятка) развиться, чтобы передвижение на легковушке в принципе не требовало прав
Есть модель мира: гуглите Othello GPT.
Плохая статья, опять попадает во все те же самые когнитивные ловушки, что и 100500 предыдущих. Парротинг нарративов один, оригинальных мыслей нет.
Это неправильное определение, strong AI это синоним "artificial superintelligence" (ASI), короче, "очень-очень умный AI, на порядки умнее, чем человек". Связь с сознанием не обязательно. К тому же слово "сознание" имеет столько определений, что, не дав своего, но используя это слово, вы только запутываете людей.
Как раз-таки это и есть неправильный подход, потому что обычно утверждения вида "ИИ никогда не сможет в X" опровергаются на горизонте лет, в последнее время--месяцев и даже часов :)
Очень удобно. Нашли ученого, из которого уже посыпался песок, с таким же взглядом как у вас. Вы бы еще 94-летнего Ноама Хомского взяли как образец передовой научной мысли.
Если серьезно, рекомендую ознакомиться с материалами мартовской конференции по философии языковых моделей, там куда как более актуальные позиции представлены.
А в AutoGPT целеполагание возможно, и что дальше?
Вы осознаете, насколько все ваши тейки в этой статье (как и дальше - "профессии автоматизируются", "ИИ это инструмент", и тд) - шаблонные, и были высказанны слово-в-слово во множестве статьей буквально за предыдущие недели?
Валидировать тестами, не?
Декарбонизация
Это не bias, это факт: https://worldpopulationreview.com/country-rankings/average-iq-by-country
Иронично, что вторичная цель письма, создать шум и повысить обеспокоенность в обществе, фактически достигнута, и вы в том числе своим постом помогаете авторам в достижении этой цели.
Это он очень правильно сказал.
У Маска нет акций openAI, он им пожертвовал 100 млн как НКО.
С одной стороны, в OpenAI и других местах полно людей, которые говорят на русском, начиная с Ильи Сутскевера и Ивана Бабушкина.
С другой стороны, непонятно, зачем слушать именно экспертов по ИИ. Если для использования его - то лучше слушать prompt engineers? (Это все равно, что слушать инженеров двигателей, вместо профессиональных гонщиков и водителей, о том, как лучше водить).
Если речь об этике использования, то "экспертов по ИИ" тем более не надо слушать, а послушайте лучше Харриса и Раскина: https://www.humanetech.com/podcast/the-three-rules-of-humane-tech
Вы слышали про эмерджентность? Человеческий мозг тоже "опрерирует" потенциалами на синапсах, а не "логическими понятиями", но это не означает, что на более высоком уровне описания происходящего вы не можете представить коллекции или какую-то динамику с потенциалами на нейронах как "мысли" или "логические понятия". То же самое с сетками.
Это относится к человеку так же. Человек, даже "зная логику", в состоянии совершать (и совершает) ошибки в логических выводах. Также, если логическая задача "особо сложная", человек не способен ее решить, даже если в теории у него есть правила для этого. Примером служат многие еще недоказанные теоремы в математике.
В науке нет доказательств, есть только опровержения, почитайте Поппера. Впрочем, это не значит, что "совершение ошибки" или "неспособность решить задачу" - это опровержение способности "логическое мышление". Ну, или если опровержение -- то это опровержение и способности "логически мыслить" человека также, а следовательно сама концепция "логического мышления", так определенная, теряет смысл.
Сегодня невозможно, через пять лет прогресса в эффективности архитектур по размеру и способностям - я бы не зарекся
Не понятно, на что вы ссылаетесь, какой-то вырванный из контекста кусок.
Если на то, что GPT-4 (или GPT-5) не представляет экзистенциальной опасности, потому что не полностью автономен и самовоспроизводим - ок.
Я так понимаю, второе допущение, что мы "остановимся" on the cusp of AGI, и будем крепко-крепко думать, нажимать ли "большую красную кнопку" его запуска. Но неопределенность, что будет происходить в этот момент, огромна (см. выше) - как поведут себя правительства? Что будет с business incentives? Что будет с open-source максималистами, которые по своей наивности (или идеологии) будут пытаться самим сделать AGI и запустить его в мир свободно, наплевав на риски? (Предположим, что в proto-AGI момент уже будут системы предыдущего поколения, а-ля GPT-5, которые помогут максималистам разработать архитектуру ИИ гораздо более эффективную по обучению и забутсрапиться без сотен миллионов долларов и мега-кластеров для обучения.)
Дело не в навешивании ярлыков, дело в аргументах. В основном тексте поста по ссылке аргумент Скотта Александра - не в том, что Тайлер Ковен "не рационален". Там не используется слово "рациональность" в основном тексте поста вообще. Аргументы, как принято выражаться, "object-level". Ключевое место это:
Вашу риторику выше я интерпретирую именно так же, как риторику Тайлера Ковена. Вы пишете:
Сравнение с кирпичом намекает, что ваша оценка вероятности катастрофы - ничтожно мала, аналогично с вашей оценкой вероятности падению кирпича на голову.
Возможно, вы имели ввиду не это. Возможно, ваша модель близка к модели аккселерационистов, которые, даже признавая возможно очень большие риски (в районе десятков процентов), все равно считают что это самое лучшее что можно сделать, как бы имея ввиду некий сложный рациональный рассчет рисков и принимая во внимания некие этические калькуляции (типа, учет морального веса НЕ улучшения жизней миллиардов людей, которые живут и умирают прямо сейчас, с помощью ИИ, и всякое такое). (Точнее, предполагается, что у аккселерационистов есть такая модель; в реальности почти ни у кого из них такой модели нет, и их действия это просто интуиция, или trapped priors, или даже motivated reasoning.)
Если так, то было бы интересно ознакомиться с вашей моделью. Если нет, то ваша риторика про кирпичи это просто манипулятивная, политическая риторика. Хотя вы тут же пишете что хотите вести чисто рациональную риторику.
Ну и если ваша оценка рисков - что действительно их вероятность ничтожно мала, хотелось бы ознакомиться с объяснением, почему, тоже. Хотя нет, не интересно, потому что массивная неопределенность относительно примерно всего, от технических моментов и теории МЛ до социальных, геополитических, и регуляторных моментов, дает мне основания думать, что все, кто оценивает вероятность катастрофы меньше, чем в 5% - просто очень самоуверенны, либо используют nonsense логику типа Тайлера Ковена (или хуже), либо не учитывают многих векторов неопределенности.
Я готов к аргументированному диалогу только с теми, кто оценивает вероятность катастрофы как минимум в 5%, но тем не менее считает, all things considered, что бежать к AGI - это лучшее, что можно сделать в данной ситуации.