Comments 16
Наверное, этот эффект проявляется только тогда, когда архитектура студента идентична или очень близка архитектуре учителя.
Горячо. Не хватает: #язык, #символ, #смысл, #словарь. Схема автоэнкодера это ключ, который нужно увидеть в правильном свете
Если это голограмма, то сжимать ИИ можно простым разрезанием на части. Также, как порезанная голографическая пленка сохраняет всю информацию на обоих половинках.
Upd: жду инфу об этом примерно через 15 статей.
Таки ковыряете 9 уровень? С интересом буду ждать вашей интерпретации 10.
Вполне вероятно, что и человеческий мозг устроен также. Вспоминается гипотеза "голографической памяти" Карла Прибрама. И я бы еще один вывод из этой модели сделал: полностью интерпретируемый ИИ, скорее всего, невозможен. Точно также как и полная интерпретация работы мозга. Разве что только один ИИ сможет понять и интерпретировать намерения другого ИИ или человеческого мозга, но тут опять встает вопрос с доверием уже к этому ИИ. Кто будет интерпретировать его в свою очередь? А еще, в процессе интерпретации он также может быть подвержен заражению вредоносными идеями от исследуемого "пациента" (другого ИИ)...
И еще одну мысль навеяла статья. Сейчас главным препятствием на пути от LLM к AGI является как раз таки это "катастрофическое забывание" при дообучении. Наш мозг решает эту проблему каким-то иным образом. Во время сна происходит консолидация памяти и информация из гиппокампа записывается в кору, а в коре она хранится как раз таки "голографически", по всей видимости. Как именно это происходит и почему люди не страдают от такого "катастрофического забывания" - вот главная загадка на данный момент. В итоге мы придем к тому, что воссоздадим подобие этого процесса в ИИ, сделаем нечто вроде аналога наших сновидений. Фаза, когда нейросеть дообучается на новых знаниях. Но для этого надо разгадать как это происходит в мозге, это может быть решающим шагом на пути к AGI и даже ASI, ведь дальше ИИ сможет постоянно развиваться и учиться, как человек (или даже намного лучше и эффективнее)...
Фундаментальное ограничение LLM в роли программиста заключается в том, что она реконструирует паттерны, тогда как программирование требует активного формирования структуры. Кодер мыслит через жёсткую семантику и инварианты — правила, которые должны сохраняться при любом преобразовании. LLM же порождает код как интерференцию вероятностей, воспроизводя знакомые формы без доступа к их причинной логике. Простое увеличение контекста не поможет: с ростом длины кода количество возможных интерференций растёт экспоненциально, тогда как число логически корректных решений остаётся исчезающе малым. Максимизируя локальную правдоподобность, модель неизбежно теряет единственно верный путь в этом комбинаторном поле. Поэтому LLM может имитировать код, но не создавать архитектуру. Она работает в поле интерференцией, а не со структурами.
LLM как резонансно-голографическое поле смыслов