Павел, спасибо за отличную статью! Я честно не знал таких подробностей этого инцидента, хоть и понимаю, что это запросто возможно - агенты и поодиночке регулярно творят дичь, а уж если объединятся… А игнорировать задаваемые в AGENTS.md правила у них вообще считается хорошим тоном!
История с культом пока смешная! Взгляд внутрь её прям прекрасный! Ждём Squiggle Maximizer? ;)
А, ещё ждём профессию будущего: “Внедритель корректирующего культа в рои с поехавшей крышей” :))
Чтобы сделать свой собственный язык, надо натренировать эмбэддинги на него. На это ушла бы уйма компьюта. Но я думаю, такой язык скоро появится, и не один. И тогда нам точно станет тяжело понимать, о чём они там между собой договариваются.
Честно говоря, Grok 4.6 уже пишет мне имплементационные планы на языке, который не очень похож на человеческий.
Хм, прикольное чтиво! Спасибо за перевод! Наводит на интересные мысли.
Думается, что при таком сценарии ИИ должен захотеть использовать биотехнологии не только "для людей", но и для себя - уйти от своей нынешней довольно хрупкой формы (компьютерная программа на кремниевых чипах) в сторону более устойчивой биологической формы (а-ля роботы-синтеты из Half Life 2).
А ещё предположение о том, что ИИ сможет генерировать гипотезы лучше людей - это весьма хрупкая часть данной истории. Ведь нынешний ИИ - это машина тьюринга, которая не способна решить задачу собственной остановки, например, а ещё теорема Гёделя её сильно ограничивает (здесь я отсылаю к двум книгам Роджера Пенроуза: "Новый ум короля" и "Тени разума", как раз об этом). И возможен сценарий, при котором для генерации новых качественных гипотез ОпенАю понадобятся человеческие агенты, как бы жутковато это не звучало. Хотя, почему жутковато? Может быть, как раз это повлечёт за собой необходимость симбиоза между человеками и роботами.
Но здесь есть ещё одна интересная переменная: квантовые вычисления. И если их добавить к существующему процессу обучения и размышления, то вот тогда, наверное, может получиться очень нехорошо...
От Мовчана несколько лет назад услышал другой интересный тезис: мировой рынок акций корреллирует с американским на 90%. Что вы, Павел, об этом думаете? Это верный тезис или тут есть похожие нюансы?
Прочитал книгу (последнее издание) и изучил работу госпожи Хэррингтон. Ну, честно говоря, таблица с метриками схожести данных не выглядит убедительной (особенно когда смотришь на Δ Rate Of Change). А когда смотришь на графики (в supporting materials), так и вообще кажется, что по большинству показателей ни один сценарий не подходит (особенно Population, Food p.c, и Pollution CO2 - там вообще другой тренд). Причём сами сценарии, которых в работе рассматривается четыре, по большинству метрик начинают существенно расходиться только после 2020 года, так что даже в случае совпадения тренда было бы трудно сделать вывод о том, какой сценарий сработает.
Но книга крутая, прочитать советую. Даже если модель несостоятельна (а это, видимо, так), сама идея устойчивого развития интересна и хороша, и вообще в книге очень много полезной к размышлению информации и глубоких мыслей.
А можно поподробнее объяснить, как выводится формула firstChild(i) = select0(i + 1) — i?
То есть индекс начала битовой кодировки i-того элемента мы можем получить с помощью select0(i + 1) + 1, поскольку каждый элемент имеет ровно один ноль в битовой кодировке, плюс у нас есть фейковый элемент. select0(i + 1) — это индекс окончания битовой кодировки предыдущего элемента. Но почему мы, вычитая из этого индекса i, будем всегда получать номер первого потомка i-того элемента?
Не смотрите наверх, Павел. Летящий на нас метеорит - это просто пиар. Илону Маску нужны новые инвестиции для SpaceX.
Ну вот как бы и с нейронками то же самое. Просто на другом уровне.
Павел, спасибо за отличную статью! Я честно не знал таких подробностей этого инцидента, хоть и понимаю, что это запросто возможно - агенты и поодиночке регулярно творят дичь, а уж если объединятся… А игнорировать задаваемые в AGENTS.md правила у них вообще считается хорошим тоном!
История с культом пока смешная! Взгляд внутрь её прям прекрасный! Ждём Squiggle Maximizer? ;)
А, ещё ждём профессию будущего: “Внедритель корректирующего культа в рои с поехавшей крышей” :))
А вот что значит “умнее” вообще? Обычный, неговорящий калькулятор уже умнее меня. Он считает без ошибок и быстро, а я - с ошибками и медленно.
Чтобы сделать свой собственный язык, надо натренировать эмбэддинги на него. На это ушла бы уйма компьюта. Но я думаю, такой язык скоро появится, и не один. И тогда нам точно станет тяжело понимать, о чём они там между собой договариваются.
Честно говоря, Grok 4.6 уже пишет мне имплементационные планы на языке, который не очень похож на человеческий.
Похоже, вы тот самый маркетолог :) И весьма успешный!
Tanya Reilly - Being Glue
Хм, прикольное чтиво! Спасибо за перевод! Наводит на интересные мысли.
Думается, что при таком сценарии ИИ должен захотеть использовать биотехнологии не только "для людей", но и для себя - уйти от своей нынешней довольно хрупкой формы (компьютерная программа на кремниевых чипах) в сторону более устойчивой биологической формы (а-ля роботы-синтеты из Half Life 2).
А ещё предположение о том, что ИИ сможет генерировать гипотезы лучше людей - это весьма хрупкая часть данной истории. Ведь нынешний ИИ - это машина тьюринга, которая не способна решить задачу собственной остановки, например, а ещё теорема Гёделя её сильно ограничивает (здесь я отсылаю к двум книгам Роджера Пенроуза: "Новый ум короля" и "Тени разума", как раз об этом). И возможен сценарий, при котором для генерации новых качественных гипотез ОпенАю понадобятся человеческие агенты, как бы жутковато это не звучало. Хотя, почему жутковато? Может быть, как раз это повлечёт за собой необходимость симбиоза между человеками и роботами.
Но здесь есть ещё одна интересная переменная: квантовые вычисления. И если их добавить к существующему процессу обучения и размышления, то вот тогда, наверное, может получиться очень нехорошо...
И как только вам удалось настолько сложную тему объяснить таким доступным и понятным языком! Браво!
От Мовчана несколько лет назад услышал другой интересный тезис: мировой рынок акций корреллирует с американским на 90%. Что вы, Павел, об этом думаете? Это верный тезис или тут есть похожие нюансы?
Отличная статья, спасибо!
Спасибо огромное! Раньше так не было. < вместо < внутри code стал так себя вести. Я бы и не узнал, если бы не Вы!
Прочитал книгу (последнее издание) и изучил работу госпожи Хэррингтон. Ну, честно говоря, таблица с метриками схожести данных не выглядит убедительной (особенно когда смотришь на Δ Rate Of Change). А когда смотришь на графики (в supporting materials), так и вообще кажется, что по большинству показателей ни один сценарий не подходит (особенно Population, Food p.c, и Pollution CO2 - там вообще другой тренд). Причём сами сценарии, которых в работе рассматривается четыре, по большинству метрик начинают существенно расходиться только после 2020 года, так что даже в случае совпадения тренда было бы трудно сделать вывод о том, какой сценарий сработает.
Но книга крутая, прочитать советую. Даже если модель несостоятельна (а это, видимо, так), сама идея устойчивого развития интересна и хороша, и вообще в книге очень много полезной к размышлению информации и глубоких мыслей.
Графики
Да, с rank1 стало понятнее. Круто, спасибо!
А можно поподробнее объяснить, как выводится формула firstChild(i) = select0(i + 1) — i?
То есть индекс начала битовой кодировки i-того элемента мы можем получить с помощью select0(i + 1) + 1, поскольку каждый элемент имеет ровно один ноль в битовой кодировке, плюс у нас есть фейковый элемент. select0(i + 1) — это индекс окончания битовой кодировки предыдущего элемента. Но почему мы, вычитая из этого индекса i, будем всегда получать номер первого потомка i-того элемента?
Думаю, что закончить вничью — есть шанс. Но это надо сильно поднапрячься. В интеллектуальном и социальном плане, разумеется.
Да, ребятушки… Это вам не Кремниевая Долина. С таким подходом к IT-бизнесу мы снова проиграем Холодную Войну. На этот раз уже окончательно.
Круто, спасибо!
Эта статья — отличный пример того, как нужно строить аргументацию при общении с коллегами! Сохранил в закладки.
Отдельное спасибо за классный перевод!