Эта симуляция показывает крупномасштабную структуру Вселенной на масштабах фактического космического горизонта: примерно 93 миллиарда световых лет в поперечнике. На этом уровне даже крупнейшие космические структуры превращаются в точки, демонстрируя, насколько равномерной, гладкой и одинаковой является Вселенная на самых больших масштабах. Источник: The Millennium Simulation, V. Springel et al.; Модификации: E. Siegel
Если взять Флибусту, то в топ-100 за неделю 99 книг - совершенно печальны. Причем независимо от использования ИИ, ИИ некоторые книги делает хотя бы более связной.
То есть,те кто читает (на Флибусте по крайней мере), не заинтересован в качестве и не требователен к нему.
Факт использования ИИ регулярно в комментариях отмечается, но на количестве скачиваний практически не отражается. Более того, в глаза бросается только наивный копипаст. Минимальная редактура плюс промпты проходят за оригинальное творчество, что впрочем на качестве не сказывается.
То есть большинству читателей не требуется авторская гениальность. А именно они приносят большую часть денег. И тогда ни им, ни издателям нет необходимости бороться с использованием ИИ
Впрочем, я достаточно требователен к литературе. И для меня, например, Гарри Поттер хуже Барраяра или Дюны.
А в топах сейчас сотни вариаций на тему Дракон и женщина (в разных ролях), Гемини с хорошим редактором, может выдавать аналоги не хуже, с темпом одна книга в неделю.
)) π - возникает только там, где нечто вынуждено вернуться к себе через непрерывное движение (включая период и фазу), и его трансцендентность (незавершимость записи, несводимость к любой конечной алгебре) следствие того, что возврат-к-себе в принципе невозможен окончательно.
Сбой, делающий возможной рефлексию, вписан в саму операцию замыкания.
)) Давайте разберем ваш тезис подробнее. Я считаю, что на текущей архитектуре АГИ не будет (предложить другую я не могу), потому что я считаю, что вычислимые системы не могут изменить способ собственных различений, так как они требуют для этого внешнего входа.
Я написал статью в которой указал этот тезис.
Вы предлагаете, статью не писать, а сначала дождаться построения AGI, и тогда необходимость в статье отпадет.
Хорошо, а если я не дождусь AGI, а статья осталась ненаписанной. То будет вдвойне обидно, нет ни статьи, ни AGI.
А так, я рискую только своим тезисом, если он неверен, я прекрасно это переживу.
Я говорил не о технической базе, а об архитектуре. Причину я указал там же рядом. Буду рад ошибиться и проверить это достаточно легко, просто подождать.
Аристотель, Демокрит, Платон, Пифагор. Это античность.
Бэкон, Декарт, Кант, Мах, Поппер, Кун, Лакатос.
Но да, дальше науку двигали профессиональные учёные, хотя сами они живо интересовались философией, профессиональными философами они себя не считали.
Текущая же системная философия, по-моему вообще самоустранилась от мира, и стала вещью в себе. Хотя потенциал той же аналитической философии в применении к ml я считаю вообще не раскрыт.
Ну инженеры отмечают, что водяные знаки демонстрируют обработку текста а не утверждают авторство. Впрочем, широкой публике всё равно.
Хотя уверен, достаточно быстро, на водяные знаки перестанут обращать внимание.
90% переводов уже сейчас делает LLM. Правка текста, похоже будет встраивать метки независимо от цели и объема.
Учитывая аналогичные алгоритмы, метки не работают на коротких текстах, до 100 слов скорее всего обрабатываться не будет. От 200 слов уверенно. Код атрибутировать крайне сложно, слишком предсказуем.
Если они последовательно при генерации каждого токена смещают вероятность (исходя из ключа и контекста) то при последующем анализе достаточно длинного текста, отклонение от обычной вероятности будет очевидно для владельца ключа.
Если ключ попадет в о крытый доступ, то можно будет делать псевдо ллм тексты из человеческого и соответственно, править ллм текст.
И нюанс, отсутствие метки, ничего не будет говорит об авторстве, как и наличие. )) только была ли там LLM.
CCS ищет направление, консистентное с самим собой: p(x) + p(¬x) ≈ 1. Единственный критерий — внутренняя непротиворечивость. То есть метод буквально извлекает наиболее связную структуру в представлениях и называет её «латентным знанием».
То есть оценивается внутренняя непротиворечивость, связность с внутренней базой. Максимум соответствие с наиболее вероятными паттернам RLHF. Авторы там сами говорят, что выбирается наиболее консистентные признаки, не связанные с истинностью и результат плавает.
Ну да, в латентном пространстве геометрия, что нисколько не отменяет их превращения в токены на выходе. Как у монитора пиксели превращаются в изображение (натянуто, но принцип похож).
Да, язык это и интерфейс, но обратите внимание, всё внутреннее пространство LLM, сформировано именно языком во время претрейна, вся система взаимоотношений, взаимозависимостей, связности внутри LLM это результат языковой системы, переложенной в веса и матрицы. Для мультимодальных нейросетей, выучивается распределение, содержащееся в картинках и звуке...
Модель не лжет, есть расхождения между представлениями внутри системы, но ллм не знает, что верно, и работает с ними как с равноправными. Нет внешнего сопротивления.
Вопрос нужен, но он лишь помогает посмотреть в нужном направлении. Внутри языка, а вопрос это всё тот же язык, отличить связность от реальности невозможно.
Важен скорее ответ из реальности, а его получить гораздо сложнее, в случае с философией практически невозможно
И по автору. Не факт, что он чем то рисковал, или вкладывал реальность. Были предположения читателе, или просто привычка ). То есть автор один из признаков, а не гарант верности. Вот LLM говорит без автора, и стало ясно, что авторство или его отсутствие не может однозначно гарантировать отражение реальности.
)) да... Я брал чистый пример. Хотя ваш пример неудачный, здесь нарушена как раз связность языка, и грамматика должна его чинить...
Более того, LLM по-настоящему двусмысленные тезисы разберёт на два недвусмысленных и будет работать с двумя тезисами, нисколько не заморачиваясь возможными противоречиями.
Но вот проверки на верность внутри языка нет. "И я поднял небо" для языка равноправное утверждение, безо всякой двусмысленности
Внешняя проверка дешева на арифметике. Дешева на примитивах кода, чем сложнее код, тем больше требуется тестов, факт просто работы уже не устраивает. Да, модель по результатам проверки уточняет свое распределение, но не делает его верным. А код, чуть сложнее стандартного примитива никогда не будет полностью покрыт тестами просто из экономических соображений, то есть ллм не получит для кода внешней проверки в полном объеме. Скорее всего это не проявится сразу, будет отложенный, размазанный отказ. Утечка памяти, дыры в безопасности, переполнения и т.д.
Это код, формализованный язык. Для языка обычного, с его богатством контекста и возможностью построения длинных связанных последовательностей, проверка будет требовать непомерно много усилий, без гарантированного результата. Причем простое правильно/неправильно для языка работать не будет. А объяснение требует наличие с другой стороны понимающего объяснения...
С Кантом хорошо. Но не углубляясь в этот вопрос, замечу, что мост падает вне представлений инженера о правильности его чертежей. Здесь принципиальный разрыв, ожидание это тоже модель мира, и представление мира тоже.... Но мост падает независимо от ощущений, чистая физика.
Не так. Двусмысленности нет. "Я поднял небо" достаточно однозначно сообщает о действии, которое я совершил. Проблема в том, что внутри языка слово-описание не отличается от слова-действия, связность от отражения мира. Поэтому модель не врет, и не будет врать, для этого у нее нет понятия правды. Она строит связную конструкцию. Для нейросети это усугубляется тем, что она предназначена для воспроизводства распределения. Если вы ее обучаете арифметике, внешняя проверка проста и интуитивно понятна. С языком такое организовать гораздо сложнее.
Согласен с тем, что однажды проверенное внешним, позволяет делать обоснованные прогнозы следствий,или использовать однажды найденную верность в эквивалентных конструкциях.
Но есть нюанс, математика способна доказать противоречивость внутри себя. Язык такой возможности не имеет. Он способен строить последовательные, связные конструкции, которые одновременно противоречат друг другу, и опровергнуть одну конструкцию другой, язык способен только с привлечением реальности.
В математике получается грамматика является реальным фильтром, а в языке только условием.
Хм.. я писал немного о другом. Я не говорю, что человек надёжнее или, что LLM бесполезны. Речь шла о том, что связность как подмена верности опасна для всех. И если LLM связностью вытаскивает правильный ответ на вопрос из базы, это не говорит о том, что она отвечает осмысленно.
Обвязка помогает именно потому, что язык LLM упирается во внешнюю проверку. У того же raft есть тесты, есть отказы кода, вынуждающие LLM искать другую связность. Но она не думает, что правильно, она тащит следующую цепочку в тесты... Уверен для кодера такая ситуация выглядит как издевательство со стороны LLM. И уверен, что такая ситуация встречается чаще чем кажется. Улучшение моделей, конечно помогает, увеличивает базу для поиска связности, но принципиально подход не меняется. Разве что частично маскируется за счёт скрытой многоходовости агента. В общем, ни одна обвязка не изменит архитектуру.
))) на этой симуляции я явно вижу крупную сетку.
Если взять Флибусту, то в топ-100 за неделю 99 книг - совершенно печальны. Причем независимо от использования ИИ, ИИ некоторые книги делает хотя бы более связной.
То есть,те кто читает (на Флибусте по крайней мере), не заинтересован в качестве и не требователен к нему.
Факт использования ИИ регулярно в комментариях отмечается, но на количестве скачиваний практически не отражается. Более того, в глаза бросается только наивный копипаст. Минимальная редактура плюс промпты проходят за оригинальное творчество, что впрочем на качестве не сказывается.
То есть большинству читателей не требуется авторская гениальность. А именно они приносят большую часть денег. И тогда ни им, ни издателям нет необходимости бороться с использованием ИИ
Впрочем, я достаточно требователен к литературе. И для меня, например, Гарри Поттер хуже Барраяра или Дюны.
А в топах сейчас сотни вариаций на тему Дракон и женщина (в разных ролях), Гемини с хорошим редактором, может выдавать аналоги не хуже, с темпом одна книга в неделю.
)) π - возникает только там, где нечто вынуждено вернуться к себе через непрерывное движение (включая период и фазу), и его трансцендентность (незавершимость записи, несводимость к любой конечной алгебре) следствие того, что возврат-к-себе в принципе невозможен окончательно.
Сбой, делающий возможной рефлексию, вписан в саму операцию замыкания.
)) Давайте разберем ваш тезис подробнее. Я считаю, что на текущей архитектуре АГИ не будет (предложить другую я не могу), потому что я считаю, что вычислимые системы не могут изменить способ собственных различений, так как они требуют для этого внешнего входа.
Я написал статью в которой указал этот тезис.
Вы предлагаете, статью не писать, а сначала дождаться построения AGI, и тогда необходимость в статье отпадет.
Хорошо, а если я не дождусь AGI, а статья осталась ненаписанной. То будет вдвойне обидно, нет ни статьи, ни AGI.
А так, я рискую только своим тезисом, если он неверен, я прекрасно это переживу.
Я говорил не о технической базе, а об архитектуре. Причину я указал там же рядом. Буду рад ошибиться и проверить это достаточно легко, просто подождать.
Аристотель, Демокрит, Платон, Пифагор. Это античность.
Бэкон, Декарт, Кант, Мах, Поппер, Кун, Лакатос.
Но да, дальше науку двигали профессиональные учёные, хотя сами они живо интересовались философией, профессиональными философами они себя не считали.
Текущая же системная философия, по-моему вообще самоустранилась от мира, и стала вещью в себе. Хотя потенциал той же аналитической философии в применении к ml я считаю вообще не раскрыт.
Два вопроса.
Если ваша концепция верна, что это меняет в реальности. Не объясняет имеющиеся (и уже объясненные) факты, а какие различения создаются?
Предположим, что концепция неверна. Что изменится в реальности?
Ну инженеры отмечают, что водяные знаки демонстрируют обработку текста а не утверждают авторство. Впрочем, широкой публике всё равно.
Хотя уверен, достаточно быстро, на водяные знаки перестанут обращать внимание.
90% переводов уже сейчас делает LLM. Правка текста, похоже будет встраивать метки независимо от цели и объема.
Учитывая аналогичные алгоритмы, метки не работают на коротких текстах, до 100 слов скорее всего обрабатываться не будет. От 200 слов уверенно. Код атрибутировать крайне сложно, слишком предсказуем.
Если они последовательно при генерации каждого токена смещают вероятность (исходя из ключа и контекста) то при последующем анализе достаточно длинного текста, отклонение от обычной вероятности будет очевидно для владельца ключа.
Если ключ попадет в о крытый доступ, то можно будет делать псевдо ллм тексты из человеческого и соответственно, править ллм текст.
И нюанс, отсутствие метки, ничего не будет говорит об авторстве, как и наличие. )) только была ли там LLM.
Судя по ии-саммари статьи речь идёт о связности:
То есть оценивается внутренняя непротиворечивость, связность с внутренней базой. Максимум соответствие с наиболее вероятными паттернам RLHF. Авторы там сами говорят, что выбирается наиболее консистентные признаки, не связанные с истинностью и результат плавает.
Ну да, в латентном пространстве геометрия, что нисколько не отменяет их превращения в токены на выходе. Как у монитора пиксели превращаются в изображение (натянуто, но принцип похож).
Да, язык это и интерфейс, но обратите внимание, всё внутреннее пространство LLM, сформировано именно языком во время претрейна, вся система взаимоотношений, взаимозависимостей, связности внутри LLM это результат языковой системы, переложенной в веса и матрицы. Для мультимодальных нейросетей, выучивается распределение, содержащееся в картинках и звуке...
Модель не лжет, есть расхождения между представлениями внутри системы, но ллм не знает, что верно, и работает с ними как с равноправными. Нет внешнего сопротивления.
И?
Вопрос нужен, но он лишь помогает посмотреть в нужном направлении. Внутри языка, а вопрос это всё тот же язык, отличить связность от реальности невозможно.
Важен скорее ответ из реальности, а его получить гораздо сложнее, в случае с философией практически невозможно
И по автору. Не факт, что он чем то рисковал, или вкладывал реальность. Были предположения читателе, или просто привычка ). То есть автор один из признаков, а не гарант верности. Вот LLM говорит без автора, и стало ясно, что авторство или его отсутствие не может однозначно гарантировать отражение реальности.
Именно, здесь грамматика демонстрирует, что может казаться верной, без общей лексики и отражения реальности.
Тот же Щерба создал глокую куздру, именно для доказательства этого факта.
Связность подменяет реальность. То есть некоторые философские изыски по построению ничем не отличаются от глокой куздры.
)) да... Я брал чистый пример. Хотя ваш пример неудачный, здесь нарушена как раз связность языка, и грамматика должна его чинить...
Более того, LLM по-настоящему двусмысленные тезисы разберёт на два недвусмысленных и будет работать с двумя тезисами, нисколько не заморачиваясь возможными противоречиями.
Но вот проверки на верность внутри языка нет. "И я поднял небо" для языка равноправное утверждение, безо всякой двусмысленности
Внешняя проверка дешева на арифметике. Дешева на примитивах кода, чем сложнее код, тем больше требуется тестов, факт просто работы уже не устраивает. Да, модель по результатам проверки уточняет свое распределение, но не делает его верным. А код, чуть сложнее стандартного примитива никогда не будет полностью покрыт тестами просто из экономических соображений, то есть ллм не получит для кода внешней проверки в полном объеме. Скорее всего это не проявится сразу, будет отложенный, размазанный отказ. Утечка памяти, дыры в безопасности, переполнения и т.д.
Это код, формализованный язык. Для языка обычного, с его богатством контекста и возможностью построения длинных связанных последовательностей, проверка будет требовать непомерно много усилий, без гарантированного результата. Причем простое правильно/неправильно для языка работать не будет. А объяснение требует наличие с другой стороны понимающего объяснения...
С Кантом хорошо. Но не углубляясь в этот вопрос, замечу, что мост падает вне представлений инженера о правильности его чертежей. Здесь принципиальный разрыв, ожидание это тоже модель мира, и представление мира тоже.... Но мост падает независимо от ощущений, чистая физика.
Не так. Двусмысленности нет. "Я поднял небо" достаточно однозначно сообщает о действии, которое я совершил. Проблема в том, что внутри языка слово-описание не отличается от слова-действия, связность от отражения мира. Поэтому модель не врет, и не будет врать, для этого у нее нет понятия правды. Она строит связную конструкцию. Для нейросети это усугубляется тем, что она предназначена для воспроизводства распределения. Если вы ее обучаете арифметике, внешняя проверка проста и интуитивно понятна. С языком такое организовать гораздо сложнее.
Согласен с тем, что однажды проверенное внешним, позволяет делать обоснованные прогнозы следствий,или использовать однажды найденную верность в эквивалентных конструкциях.
Но есть нюанс, математика способна доказать противоречивость внутри себя. Язык такой возможности не имеет. Он способен строить последовательные, связные конструкции, которые одновременно противоречат друг другу, и опровергнуть одну конструкцию другой, язык способен только с привлечением реальности.
В математике получается грамматика является реальным фильтром, а в языке только условием.
Хм.. я писал немного о другом. Я не говорю, что человек надёжнее или, что LLM бесполезны. Речь шла о том, что связность как подмена верности опасна для всех. И если LLM связностью вытаскивает правильный ответ на вопрос из базы, это не говорит о том, что она отвечает осмысленно.
Обвязка помогает именно потому, что язык LLM упирается во внешнюю проверку. У того же raft есть тесты, есть отказы кода, вынуждающие LLM искать другую связность. Но она не думает, что правильно, она тащит следующую цепочку в тесты... Уверен для кодера такая ситуация выглядит как издевательство со стороны LLM. И уверен, что такая ситуация встречается чаще чем кажется. Улучшение моделей, конечно помогает, увеличивает базу для поиска связности, но принципиально подход не меняется. Разве что частично маскируется за счёт скрытой многоходовости агента. В общем, ни одна обвязка не изменит архитектуру.
Кордицепс вызвал столько ассоциаций, особенно кордицепс милитарис....
Вполне обоснованное уточнение. ) LLM обучается на философском корпусе и ее вероятностные паттерны стали совпадать с установками среднего философа.