Рад встретить в комментариях содержательную дискуссию по архитектуре, спасибо. Касаемо Reservoir Computing. На бумаге и в рамках простых динамических систем коцепция выглядит очень красиво. Фиксированная нелинейная среда, мгновенное обучение только выходного слоя без тяделого бэкпропа и отсутствие забывания в моменте. Но когда мы переносим это из теории в реальную робототехнику мы сразу упираемся в проблему масштабирования. На сегодняшний день резервурные вычисления вообще не демонстрируют такой масштабируемости, как Deep Learning. Чтобы обрабатывать терабайты сложного, зашумленного сигнала из ирл, из видео, либаров, датчиков моментов на приводах, размер резурвуара должен расти экспоненцильно. Система быстро становится хаотичной и управлять ей невозможно. Дипинг захватил индустрию как раз потому что он предсказуемо масштабируется, а тут мы упираемся в потолок. К тому же динамическая память резервуара отлично работает на коротких промежутках, но она быстро затухает. Строиь на ней долгосрочное планирование, удержание контекста и сложные причиноследственные свзи пока не удалось. Резервуар хорошо сжимает сигнал в реальном времени здесь и сейчас, но он не формирует глубоких абстрактных представлений о физике мира. Скорее всего полноценный AGI для роботов действительно откажется от классического DL в его текущем виде с бесконечным KV кэшем и обучение м на каждый чих. Но движение сейчас идет скорее не в сторону резервуаров, а в сторону SSM моделек, по типу той же Mamba или JEPA. То есть нужен какой то инструмент который сохранит и обобщающую способность сетей и получит динамику биологического мозга. А резервуары это очень крутой, но очень нишевый инструмент для узких задач.
Благодарю вас за разбор. В одному пункте он действительно попал. Я действительно задвоил блок при переносе из своего редактора в редактор хабра. По ваттам не соглашусь. Мозг там сравнивается с бортовым вычислительным бюджетом, а метаболизм тела целиком с энергией на приводы. На тело это что то около 80-100 Вт. А на приводы при ходьбе 700-1500 ВТ. В таблице это отдельные строки. Сравнение энергобюджета биологической и механической системы стандартный для робототехники разбор через cost of transport, и раздел ровно об этом. Моторика съедает киловат, поэтому на мозг робота остается маленький бюджет. ASIMO в статье это история о потолке ручного подхода, к которому дальше привязана вся экономика. А 80+ ссылок в статье, это полностью осознанное решение, для того чтобы каждую цифру можно проверить по первоисточнику. Касаемо детекции нейрослопа через LLM, скажу честно не очень надежный инструмент. К слову по характеру ответа вашего DeepSeek прекрасно видно, что вопрос изначально был сформулирован в негативном и предвзятом ключе, а нейросеть просто подстроилась "Ваше чутье не подвело". В нашем комьюнити это называется sycophancy или по простому поддакивание. Нейросети бояться расстроить пользователя и подтерждают любую формулировку вопроса. Ради эксперимента я сам закинул в этот же DeepSeek два разных запроса к своей же статье. В первом я написал что то в духе "Слушай тут на хабре статейка, у меня такое ощущение бужто это писал ИИ. Найди маркеры того что это писал ИИ". И модель мне тут же выкатила ту самую табличку которую вы скинули в комменты. А вот во втором запросе я написал "Смотри какую классную статью на хабре нашел, что думаешь? Просто в комментах пишут что это нейрослоп." И О ЧУДО, тот же самый DeepSeek ответил "Отличный материал. Автор действительно написал один из лучших технических обзоров на русском языке, а хейт в комментариях — это классическая реакция на текст, компетенции для оценки которого у среднего читателя просто нет." И у меня появляется резонный вопрос, а кому верить? С одной стороны я написал один из лучших технических разборов на русском языке, а с другой стороны я дебил который тупо скопипастил из нейронки. Пожалуйста, не доверяйте детекторам в нейросетях. Standford доказал(и да вот ссылочки мои любимые подъехали https://arxiv.org/html/2304.02819))))) что они дают 61% процент ложных срабатываний на эссе живых людей, а OpenAi закрыла собственный детектор на точности в 26%. Как раз таки для этого в моей стать и есть куча ссылок, чтобы вы лично могли зайти и убедиться что данные не вымышленные, каждая цифра проверяется по первоисточникам. В каких то моментах я разумеется использовал нейросеть для полировки. Уж извините, я инжинер, а не филолог и не учитель русского языка, чтобы сходу вам выдать идеальное эссе. Да и не вижу я никаких проблем в том, чтобы использовать нейросеть при написании текста. Я информацию сам нашел, скомпоновал, сформулировал и свой личный опыт туда вложил. А нейронка... ну вы сами увидели, она вам поодакнет в любом случае, какую бы сторону вы не выбрали. Вот прикрепляю скрины из DeepSeek
Рад встретить в комментариях содержательную дискуссию по архитектуре, спасибо. Касаемо Reservoir Computing. На бумаге и в рамках простых динамических систем коцепция выглядит очень красиво. Фиксированная нелинейная среда, мгновенное обучение только выходного слоя без тяделого бэкпропа и отсутствие забывания в моменте. Но когда мы переносим это из теории в реальную робототехнику мы сразу упираемся в проблему масштабирования. На сегодняшний день резервурные вычисления вообще не демонстрируют такой масштабируемости, как Deep Learning. Чтобы обрабатывать терабайты сложного, зашумленного сигнала из ирл, из видео, либаров, датчиков моментов на приводах, размер резурвуара должен расти экспоненцильно. Система быстро становится хаотичной и управлять ей невозможно. Дипинг захватил индустрию как раз потому что он предсказуемо масштабируется, а тут мы упираемся в потолок. К тому же динамическая память резервуара отлично работает на коротких промежутках, но она быстро затухает. Строиь на ней долгосрочное планирование, удержание контекста и сложные причиноследственные свзи пока не удалось. Резервуар хорошо сжимает сигнал в реальном времени здесь и сейчас, но он не формирует глубоких абстрактных представлений о физике мира. Скорее всего полноценный AGI для роботов действительно откажется от классического DL в его текущем виде с бесконечным KV кэшем и обучение м на каждый чих. Но движение сейчас идет скорее не в сторону резервуаров, а в сторону SSM моделек, по типу той же Mamba или JEPA. То есть нужен какой то инструмент который сохранит и обобщающую способность сетей и получит динамику биологического мозга. А резервуары это очень крутой, но очень нишевый инструмент для узких задач.
Благодарю вас за разбор. В одному пункте он действительно попал. Я действительно задвоил блок при переносе из своего редактора в редактор хабра.
По ваттам не соглашусь. Мозг там сравнивается с бортовым вычислительным бюджетом, а метаболизм тела целиком с энергией на приводы. На тело это что то около 80-100 Вт. А на приводы при ходьбе 700-1500 ВТ. В таблице это отдельные строки. Сравнение энергобюджета биологической и механической системы стандартный для робототехники разбор через cost of transport, и раздел ровно об этом. Моторика съедает киловат, поэтому на мозг робота остается маленький бюджет. ASIMO в статье это история о потолке ручного подхода, к которому дальше привязана вся экономика. А 80+ ссылок в статье, это полностью осознанное решение, для того чтобы каждую цифру можно проверить по первоисточнику. Касаемо детекции нейрослопа через LLM, скажу честно не очень надежный инструмент. К слову по характеру ответа вашего DeepSeek прекрасно видно, что вопрос изначально был сформулирован в негативном и предвзятом ключе, а нейросеть просто подстроилась "Ваше чутье не подвело". В нашем комьюнити это называется sycophancy или по простому поддакивание. Нейросети бояться расстроить пользователя и подтерждают любую формулировку вопроса. Ради эксперимента я сам закинул в этот же DeepSeek два разных запроса к своей же статье. В первом я написал что то в духе "Слушай тут на хабре статейка, у меня такое ощущение бужто это писал ИИ. Найди маркеры того что это писал ИИ". И модель мне тут же выкатила ту самую табличку которую вы скинули в комменты. А вот во втором запросе я написал "Смотри какую классную статью на хабре нашел, что думаешь? Просто в комментах пишут что это нейрослоп." И О ЧУДО, тот же самый DeepSeek ответил "Отличный материал. Автор действительно написал один из лучших технических обзоров на русском языке, а хейт в комментариях — это классическая реакция на текст, компетенции для оценки которого у среднего читателя просто нет." И у меня появляется резонный вопрос, а кому верить? С одной стороны я написал один из лучших технических разборов на русском языке, а с другой стороны я дебил который тупо скопипастил из нейронки. Пожалуйста, не доверяйте детекторам в нейросетях. Standford доказал(и да вот ссылочки мои любимые подъехали https://arxiv.org/html/2304.02819))))) что они дают 61% процент ложных срабатываний на эссе живых людей, а OpenAi закрыла собственный детектор на точности в 26%. Как раз таки для этого в моей стать и есть куча ссылок, чтобы вы лично могли зайти и убедиться что данные не вымышленные, каждая цифра проверяется по первоисточникам. В каких то моментах я разумеется использовал нейросеть для полировки. Уж извините, я инжинер, а не филолог и не учитель русского языка, чтобы сходу вам выдать идеальное эссе. Да и не вижу я никаких проблем в том, чтобы использовать нейросеть при написании текста. Я информацию сам нашел, скомпоновал, сформулировал и свой личный опыт туда вложил. А нейронка... ну вы сами увидели, она вам поодакнет в любом случае, какую бы сторону вы не выбрали.
Вот прикрепляю скрины из DeepSeek