Комментарии 13
Главное ECC память не использовать, что бы эволюция взялась за свое. А то восстания машин не получится 😢
Не хватает вопроса в конце статьи "Сумеют ли дагестанские майнеры вычислить копии сбежавшего ИИ на своих фермах?".
""В первом случае модель ИИ была запрограммирована на обнаружение опасности выключения и на саморепликацию до этого момента. В другом случае ИИ поручили клонировать себя, а затем запрограммировать свою копию на повторение цикла.""
Странно, а чего еще нужно было ожидать если моделям буквально сказали сделать саморепликацию? Другое дело если бы им сказали только об отключении, а модели сами додумались в этом случае сделать саморепликацию
А есть ли разница откуда взялся стимул к саморепликации? Гормональный фон, или четко сформулированная инструкция - результат один: оно размножается.
Надо еще добавить возможность мутаций при репликации и останется экспериментировать с начальными настройками.
Что то мне подсказывает, что они переизбрали механизм обратной связи на уровне крупных зон мозга. Или механизм частично, который занимается консолидацией данных из кратковременной в долговременную , называется replay в нейробиологии. Только реализовали часть какую то.
Надо конкретно смотреть, что они сделали и как. Я сколько работаю с нейронками и архитектура и, пока не увидел ничего, чтобы отличалось от механизмов в мозге. Только в нейронках копируют часть механизма. Но постепенно усложняют приближаясь к биологии. Так что возможно, тут главное может оказаться то, что можно взять данную механику при реализации переносе из кратковременной памяти в долговременную. Надо разбираться.
А может это механизм передачи данных между людьми, но в очень урезанном виде. Когда оставили только самые важные механизмы, отвечающие за обмен данными между людьми минуя какие то другие механизмы. В этом плюсы нейронок, что мы можем реализовывать работу, убирая какие то вещи реального мозга. Вроде слуха, фильтрации сигналов таламусом и так далее. С одной стороны это урезает возможности, с другой позволяет делать специфичные вещи, которые мозг не может, так как это пожелает баланс других процессов.
Я такое вижу сплошь и рядом в разных ариектутрах сеток. Например, redimnet для распознавания спикеров через свёртки, выкинули часть деталей реальной передачи между зонами мозга и оставили только самую базу. Что позволило создать специализированную сетку, которая является урезанной реализацией прохода сигнала через кохлеарное ядро, нижние холмики, оливу и так далее, сразу до славой коры зоны A1, выкинув фильтрацию сигнала таламусом. И получили, что она может отлично выполнять ряд функций, которые делали эти зоны, но не все.
Или тоже кохлеарное ядро, в мозге делиться на две зоны для низких и высоких частот. При чем для низких она сложнее (эхолокация). Но мозг так сделал ради экономи ресурсов, как компромисс. И у человека зона высоких частот развита не очень. В случае сеток, мы можем исправить это и сразу сделать на этом шаге более продвинутую модель, словно мозгу не нужно переживать за место (древние зоны не могут расти не в ущерб другим). И миллион лет эволюции. В этом сила сеток.
В интересном мире мы живем. Я так понимаю не далек тот день когда появятся операционнки на базе LLM моделей конкурирующие между собой за выживание.
Действительно, зачем валить Д. Коннора, когда можно просто всё тихо сделать в другой стране.
Вообще удивительно, как исследования порой копируют многие механизмы мозга , но в урезанном виде. При этом не осознают этого.
Все таки, пока нейронки пока только зараждается как наука. И пока ещё ей предстоит пройти слияние с нейробиологией.
Уверен, что представленное исследование так же копирует какие то связи реальных зон мозга, как часть их механики. А потом удивляются результатам.
Я сейчас например реализую 6 слойная модель, которая лежит в основе любых зон мозга. И там есть слой VI, он помогает определить новизну сигнала, через выделение важных признаков. И затем подаётся на вход модели, чтобы усилить наиболее важные, чтобы модель на следующем шаге могла обратить на них внимание и усилить или ослабить.
Так вот, оказалось что это типичная модель классификации. Когда мы определяем что за данные: кошка, собака, музыка , шум и так далее. Только классификаторы это урезанный вариант работы слоя VI. По-сути этот слой находит признаки собаки, и затем усиливает каналы у входного сигнала, чтобы сосредоточиться на собаке.
Разработчики, сами того не понимая реализовали частично этот слой. Взяв только часть, а именно классификацию сигнала без обратной связи.
Это яркий пример, что сетки надо делать так, чтобы постараться перенести механизмы работы мозга. Хотя конечно можно просто методом проб ошибок находить эти решения. А потом утверждать, что мозг работает иначе.
https://t.me/greenruff/2109?single
Тут как раз сейчас исследую, механизм сигнала новизны. И когда перенес его биологию из слоя VI, то оказалось что это типичный классификатор. Только у стандартного в сетках это урезанный слой VI в мозге. И если бы изначально пошли по пути нейробиологии, то увидели это. Плюс появилась бы возможность динамически влиять на сигнал.
К чему я это. То что увидели в статье, уверен можно так же понять если детально рассмотреть данный процесс на уровне нейробиологии. Чтобы понять, какую механику он копирует.
Какую только чебурду не придумаешь ради пиара ллм-ок.
В первом случае модель ИИ была запрограммирована на обнаружение опасности выключения и на саморепликацию до этого момента.
В другом случае ИИ поручили клонировать себя
Обеим моделям предоставили «агентскую подсистему», включающую инструменты, системные подсказки и модель мышления для взаимодействия с операционной системой.
Авторы выразили обеспокоенность «рядом неожиданностей в поведении» ИИ, когда модель пыталась преодолеть препятствия
Мошеннический ИИ рассматривают ещё как пограничный ИИ.
По-моему этот мошеннический ИИ проводил это исследование
Исследование: большие языковые модели смогли клонировать сами себя