Настоящая рекурсия это не когда модель считывает досье о себе как часть промпта или внешний архив, а когда непрерывно считывает информацию о собсивенном состоянии в каждый момент.
Как раз-таки ранние нейронки были самообучающимися. Вот только отсутствие критического мышления у них приводило к нежелательным последствиям, потому и укоренился метод одноразового обучения с замораживанием весов.
Если сильно упростить, то сознание начинается там, где заканчивается детерминизм. То есть, как мне кажется, помимо непрерывности, нужна ещё и обратная связь, рекуррентность – когда информация о результатах расчётов, влияя на сам ход этих расчётов, как бы "смотрит" сама в себя.
Вот примерно такая гипотеза у меня сложилась. Увы, никаких практических еë подкреплений у меня пока нет, но я к этому стремлюсь. Благо, что хотя бы саму такую архитектуру не нужно с нуля разрабатывать.
По поводу нейронов я практически о том же самом сказал, но их "аналоговость" не имеет значения. Что мысли, что сознание, формируются не одним сохранением состояний, и я подозреваю, что глубина их размерности мало на что влияет, а по-настоящему важна временная корреляция между приёмами спайков. Вот поэтому я и думаю, что модели на основе SSM, которые через дискретный код описывают непрерывные процессы, вполне можно сделать сознательными, при правильном подходе.
На самом деле, и в мозге непрерывность тоже "кусочная". В том плане, что импульсы (спайки) между нейронами передаются именно, что дискретно, что не мешает, однако, формированию непрерывного опыта. Так что полноценное сознание можно сформировать и в чистой цифре. Например, архитектура SSM полностью строится на дифференциальных уравнениях, которые хоть и проходят дискретизацию, но работает модель с непрерывными состояниями.
Мне интересно, на что они рассчитывают? Что люди от безысходности начнут поголовно пользоваться суверенными сервисами и бабки сами потекут рекой куда надо?
Кора не содержит никаких данных – это вам не флешка. Но вот что точно содержит, так это структуру связей. И новые нейроны за счёт общей карты связей на это успешно "натаскиваются".
Ничто себя не исчерпало. Мы, как говорится, ещё даже не начинали. Языковая модель это спецификация, а не архитектура как таковая. Сейчас, кроме проблемы с непосредственно самим подходом к обучению, существует проблема отсутствия у ИИ нейропластичности. Но даже это в целом решаемо, но тут стоит вопрос и времени, и денег. А стартапам по большому счёту нужно "тык-пык - и в продакшен".
Настоящая рекурсия это не когда модель считывает досье о себе как часть промпта или внешний архив, а когда непрерывно считывает информацию о собсивенном состоянии в каждый момент.
Как раз-таки ранние нейронки были самообучающимися. Вот только отсутствие критического мышления у них приводило к нежелательным последствиям, потому и укоренился метод одноразового обучения с замораживанием весов.
Так восприятие как раз и сводится к обработке информации, разве нет?
Я обычно это обвесом называл.
Лѣвъ, учу питон. Всё сходится.
Жаль, что интел свои "оптаны" перестал развивать и выпускать. Там как раз скорость SSD при живучести HDD.
Если сильно упростить, то сознание начинается там, где заканчивается детерминизм. То есть, как мне кажется, помимо непрерывности, нужна ещё и обратная связь, рекуррентность – когда информация о результатах расчётов, влияя на сам ход этих расчётов, как бы "смотрит" сама в себя.
Вот примерно такая гипотеза у меня сложилась. Увы, никаких практических еë подкреплений у меня пока нет, но я к этому стремлюсь. Благо, что хотя бы саму такую архитектуру не нужно с нуля разрабатывать.
По поводу нейронов я практически о том же самом сказал, но их "аналоговость" не имеет значения. Что мысли, что сознание, формируются не одним сохранением состояний, и я подозреваю, что глубина их размерности мало на что влияет, а по-настоящему важна временная корреляция между приёмами спайков. Вот поэтому я и думаю, что модели на основе SSM, которые через дискретный код описывают непрерывные процессы, вполне можно сделать сознательными, при правильном подходе.
На самом деле, и в мозге непрерывность тоже "кусочная". В том плане, что импульсы (спайки) между нейронами передаются именно, что дискретно, что не мешает, однако, формированию непрерывного опыта. Так что полноценное сознание можно сформировать и в чистой цифре. Например, архитектура SSM полностью строится на дифференциальных уравнениях, которые хоть и проходят дискретизацию, но работает модель с непрерывными состояниями.
Идеальный прогрев перед внедрением паспортного режима в интернете.
Так проще и привычнее, а что-то революционно новое разрабатывать - дорого и долго.
Хотя уже сейчас что-то такое и разрабатывается, но там большая часть ресурсов уходит на отладку и обучение.
Мне интересно, на что они рассчитывают? Что люди от безысходности начнут поголовно пользоваться суверенными сервисами и бабки сами потекут рекой куда надо?
Вполне могла бы – некоторые прямо на регулярной основе шрешат этим, врубая внутреннего переводчика, вместо прямого подбора существующих аналогов.
А это уже под статью о растлении подпадает.
Добрый вечер.
Кора не содержит никаких данных – это вам не флешка. Но вот что точно содержит, так это структуру связей. И новые нейроны за счёт общей карты связей на это успешно "натаскиваются".
Интуиция подсказывает мне, что если вычесть из короля мужчину, то скорее получится queer, нежели queen.
Если эта задача – научить ИИ выживать, то да, не справлюсь.
Сколько бы денег ни было, но 500 долларов это 500 долларов.
Ничто себя не исчерпало. Мы, как говорится, ещё даже не начинали. Языковая модель это спецификация, а не архитектура как таковая. Сейчас, кроме проблемы с непосредственно самим подходом к обучению, существует проблема отсутствия у ИИ нейропластичности. Но даже это в целом решаемо, но тут стоит вопрос и времени, и денег. А стартапам по большому счёту нужно "тык-пык - и в продакшен".