Pull to refresh

Comments 16

Наверное, этот эффект проявляется только тогда, когда архитектура студента идентична или очень близка архитектуре учителя.

Да. И это говорит что задействован не какой-то универсальный механизм, а тот который работает на близких структурах. Где совпадают принципы формирования отпечатка.

Будет прикольно, если окажется, что от архитектуры зависит, но не в той степени, как ожидалось. И студент совсем с другой внутренней организацией может перенять наклонности учителя. Пахнет новой теорией.

Полагаю здесь зависит от архитектуры + первые датасеты.

Горячо. Не хватает: #язык, #символ, #смысл, #словарь. Схема автоэнкодера это ключ, который нужно увидеть в правильном свете

Очень перспективно. Латентное пространство то самое голографическое поле.... Промпт точка смысла... Надо подумать.

Если это голограмма, то сжимать ИИ можно простым разрезанием на части. Также, как порезанная голографическая пленка сохраняет всю информацию на обоих половинках.

Да. Для ИИ это называется pruning. Если я не ошибаюсь, то нейросеть пытается работать даже после удаления 90% весов.

Добавил в статью.

Через промпты заражение невозможно. Нужен доступ к весам. В сессии возможно формирование устойчивого нарратива.

Таки ковыряете 9 уровень? С интересом буду ждать вашей интерпретации 10.

Разверните, пожалуйста, мысль.

Вполне вероятно, что и человеческий мозг устроен также. Вспоминается гипотеза "голографической памяти" Карла Прибрама. И я бы еще один вывод из этой модели сделал: полностью интерпретируемый ИИ, скорее всего, невозможен. Точно также как и полная интерпретация работы мозга. Разве что только один ИИ сможет понять и интерпретировать намерения другого ИИ или человеческого мозга, но тут опять встает вопрос с доверием уже к этому ИИ. Кто будет интерпретировать его в свою очередь? А еще, в процессе интерпретации он также может быть подвержен заражению вредоносными идеями от исследуемого "пациента" (другого ИИ)...

И еще одну мысль навеяла статья. Сейчас главным препятствием на пути от LLM к AGI является как раз таки это "катастрофическое забывание" при дообучении. Наш мозг решает эту проблему каким-то иным образом. Во время сна происходит консолидация памяти и информация из гиппокампа записывается в кору, а в коре она хранится как раз таки "голографически", по всей видимости. Как именно это происходит и почему люди не страдают от такого "катастрофического забывания" - вот главная загадка на данный момент. В итоге мы придем к тому, что воссоздадим подобие этого процесса в ИИ, сделаем нечто вроде аналога наших сновидений. Фаза, когда нейросеть дообучается на новых знаниях. Но для этого надо разгадать как это происходит в мозге, это может быть решающим шагом на пути к AGI и даже ASI, ведь дальше ИИ сможет постоянно развиваться и учиться, как человек (или даже намного лучше и эффективнее)...

Фундаментальное ограничение LLM в роли программиста заключается в том, что она реконструирует паттерны, тогда как программирование требует активного формирования структуры. Кодер мыслит через жёсткую семантику и инварианты — правила, которые должны сохраняться при любом преобразовании. LLM же порождает код как интерференцию вероятностей, воспроизводя знакомые формы без доступа к их причинной логике. Простое увеличение контекста не поможет: с ростом длины кода количество возможных интерференций растёт экспоненциально, тогда как число логически корректных решений остаётся исчезающе малым. Максимизируя локальную правдоподобность, модель неизбежно теряет единственно верный путь в этом комбинаторном поле. Поэтому LLM может имитировать код, но не создавать архитектуру. Она работает в поле интерференцией, а не со структурами.

Sign up to leave a comment.

Articles