Это не верно. Спайк, который пришел по каналу от уха - это спайк, который пришел по каналу от уха. Он обрабатывается по другому, чем спайк, пришедший по каналу от глаза. Его воздействие на процессы обработки информации в мозге совсем другое.
бит, записанный на флешке и на HD - это просто бит на чем он записан, для вычислений не важно если пришло что-то по нерву от уха - это был звук если пришло от глаза - это был свет это ярлыки? я совсем не понимаю, что Вы хотите сказать....
Ну это немного разные плоскости. Я развиваю теоретические модели и их программную реализацию. Лоихи - это возможный субстрат для воплощения всего этого. Поэтому тут трудно сравнивать. Лоихи сам по себе не является моделью нейрона или ИНС - это средство эффективной эмуляции последних. Мои модели "не влезали" в Лоихи 1. В Лоихи 2, думаю, "влезут", но я не пробовал.
У нас есть отечественный процессор AltAI, до лоихи ему пока далеко, но этот отрыв не безнадежен.
Если говорить о программных эмуляторах, то созданный мной ArNI-X очень мало похож на существующие аналоги. Существующие эмуляторы в основном имеют питоновский интерфейс. Я решил по другому. В 95% более-менее типовых случаев у меня сеть (ее структура) описывается декларативно на XML-based языке. Для оставшихся совсем кастомных случаев я предоставляю API на С++. Это позволяет удобно делать любые структуры, например конструировать сети из блоков - других сетей. Этот подход мне представляется более удобным и гибким. Далеко не все аналоги столь же эффективно реализованы на гпу и гпу-кластерах. Цена этого (и некоторый минус) - набор реализованных моделей нейронов и синапсов. У меня реализовано некоторое довольно многопараметрическое обобщение модели LIFAT. Это если без программирования. Чтобы реализовать, например, Ижикевича, надо дополнять коды эмулятора. Похожая ситуация и с моделью пластичности. Но в оправдание скажу, что, как ни странно, во всех моих исследованиях этих моделей вполне хватало.
А вообще мировые достижения в области импульсных сетей, как Вы сами, наверное, знаете, весьма скромны, так что мне кажется на их фоне наши исследования весьма передовыми выглядят. Например, никто еще не сделал ЧИСТО спайковую реализацию reinforcement learning (чтобы вообще не было никакой внесетевой механики - только сеть) - даже model-free, не говоря уже о model-based. Model-free мы сделали. Сейчас занимаемся model-based. Хотя это сложнейшая задача, надеемся в этом году продемонстрировать. А ясно же, что это имеет прямое отношение к робототехнике и ко всему. Т.е. нет особо отставания. Нам бы рабочих рук побольше (и голов :) ) - и опередили бы - по крайней мере, на некоторых направлениях....
Ну да, каналы как и в мозгу имеют разный смысл. По одним мы видим, по другим чувствуем, что нам холодно... А как иначе? К физиологам я конечно ходил. Но спрашивать такие вещи лучше у них.
Могут быть - вот обычные слоистые сети синхронны - пока первый слой не посчитается, второй ждет. Но мы то как раз хотим от этого уйти. Зачем нам синхронность и такты?
Стандартный? Ни разу такого подхода не встречал - ну по крайней мере если об импульсных нейронах говорить. Вы не путаете? Обычно и состояние нейрона и состояния синапсов не дискретны, они описываются вещественными числами. Мембранный потенциал, разные мембранные проводимости, синаптический вес - это все непрерывные величины. Какие между ними переходы?
Так и в нашем подходе нет никаких ярлыков. Спайк наказания сам по себе ни чем не отличается от любого сенсорного спайка. И подкрепляться все тоже не должно (это редкая вещь - кнут и пряник). В эффективной RL системе должно быть много unsupervised learning. Мы этого придерживаемся. А про мозг и эти каналы я бы Вам рекомендовал обратиться нейрофизиологам - они гораздо обстоятельнее меня обо всем этом расскажут.
Конечно, пока нет действия, нет и награды - модель, не модель - тут все равно - это не тупик а логика бытия. Про параллельность я говорил в том смысле, что могут параллельно протекать разные этапы этого процесса - например, быстрая первичная обработка сенсорной информации и медленные процессы пластичности, фиксирующие предыдущий опыт. И мне непонятно слово "такт" для мозга. Никто никаких тактов в мозге не наблюдал, равно как никто в нем не наблюдал процессов чтения и записи его параметров. Впрочем и самих этих параметров.... Если Вы веса синаптических связей имеете в виду - так они никуда не читаются и не записываются....
Нейрон живет в непрерывном времени, сам он непрерывный и стохастичный. Какой же он конечный автомат? У него нет никаких различимых дискретных состояний...
- ну а в чем здесь противоречие с биологией? Мы по специальным каналам получаем боль и (с некоторой натяжкой) удовольствие
2 - а почему Вы считаете эти шаги последовательными? все это идет непрерывно и параллельно. Сеть непрерывно "работает", ее сигналы непрерывно интерпретируются эффекторами, иногда (асинхронно) поступают наказания/поощрения, которые что-то в сети меняют (пока она сама работает).
Ну поскольку мы моделируем на компьютере - там числа, кремний и ни капельки глутамата :) Это же модель. Когда мы на бумаге пишем решения уравнения Эйнштейна, описывающие черную дыру - близко это к черной дыре или не близко? Эта бумага даже карандаш в себя не затянет... Моделирование - метод науки.
А что числе в природе нет (как и колеса) - это похоже правда. Если выразиться строже, то нигде в природе не видно реализации формальной арифметики.
Есть совсем не числовые (аналоговые) подходы к моделированию нейронов - BrainScaleS например. Ни и там обмен спайками и пластичность - цифровые процессы. Это естественно - с аналоговыми вещами очень трудно.... Я не вижу пока в этом смысла, если можно делать сколь угодно реалистичные числовые модели (Hodgkin - Hucksley +). Только надо ли...
Спасибо. Но если про депривацию - никто не мешает ввести в сеть какие-то не сенсорные источники активности, если надо. Тут все максимально гибко. Все можно сделать. Если знаешь как...
В целом, я с Вами согласен. Мозг и даже нейрон - настолько сложные вещи, что никто не знает, что там принципиально важно, а что, как говорится, "исторически сложилось"...
Здорово! Удачи Вам!
Боюсь, что не смогу. Я уже давно не читал учебников по машинному обучению, тем более на русском языке....
нет - именно к ним...
если сапоги будет тачать пирожник...
пироги печь сапожник...
короче - все это в русской классике :)
Конечно не использую.
Я не занимаюсь моделированием мозга.
И как я уже сказал - за всей конкретикой отсылаю к нейрофизиологам.
В мозге нет нейронов, обрабатывающих спайки и от уха и от глаза. Это совсем разные нейроны.И совсем разные нейронные структуры.
Это не верно.
Спайк, который пришел по каналу от уха - это спайк, который пришел по каналу от уха.
Он обрабатывается по другому, чем спайк, пришедший по каналу от глаза. Его воздействие на процессы обработки информации в мозге совсем другое.
бит, записанный на флешке и на HD - это просто бит
на чем он записан, для вычислений не важно
если пришло что-то по нерву от уха - это был звук
если пришло от глаза - это был свет
это ярлыки?
я совсем не понимаю, что Вы хотите сказать....
Ну это немного разные плоскости. Я развиваю теоретические модели и их программную реализацию. Лоихи - это возможный субстрат для воплощения всего этого. Поэтому тут трудно сравнивать. Лоихи сам по себе не является моделью нейрона или ИНС - это средство эффективной эмуляции последних. Мои модели "не влезали" в Лоихи 1. В Лоихи 2, думаю, "влезут", но я не пробовал.
У нас есть отечественный процессор AltAI, до лоихи ему пока далеко, но этот отрыв не безнадежен.
Если говорить о программных эмуляторах, то созданный мной ArNI-X очень мало похож на существующие аналоги. Существующие эмуляторы в основном имеют питоновский интерфейс. Я решил по другому. В 95% более-менее типовых случаев у меня сеть (ее структура) описывается декларативно на XML-based языке. Для оставшихся совсем кастомных случаев я предоставляю API на С++. Это позволяет удобно делать любые структуры, например конструировать сети из блоков - других сетей. Этот подход мне представляется более удобным и гибким. Далеко не все аналоги столь же эффективно реализованы на гпу и гпу-кластерах. Цена этого (и некоторый минус) - набор реализованных моделей нейронов и синапсов. У меня реализовано некоторое довольно многопараметрическое обобщение модели LIFAT. Это если без программирования. Чтобы реализовать, например, Ижикевича, надо дополнять коды эмулятора. Похожая ситуация и с моделью пластичности. Но в оправдание скажу, что, как ни странно, во всех моих исследованиях этих моделей вполне хватало.
А вообще мировые достижения в области импульсных сетей, как Вы сами, наверное, знаете, весьма скромны, так что мне кажется на их фоне наши исследования весьма передовыми выглядят. Например, никто еще не сделал ЧИСТО спайковую реализацию reinforcement learning (чтобы вообще не было никакой внесетевой механики - только сеть) - даже model-free, не говоря уже о model-based. Model-free мы сделали. Сейчас занимаемся model-based. Хотя это сложнейшая задача, надеемся в этом году продемонстрировать. А ясно же, что это имеет прямое отношение к робототехнике и ко всему. Т.е. нет особо отставания. Нам бы рабочих рук побольше (и голов :) ) - и опередили бы - по крайней мере, на некоторых направлениях....
Извините, мне не очень понятно это "без ярлыков". Если говорить о реальном мозге, ярлыки есть - как я уже говорил, про зрение и температуру....
Ну да, каналы как и в мозгу имеют разный смысл. По одним мы видим, по другим чувствуем, что нам холодно... А как иначе?
К физиологам я конечно ходил. Но спрашивать такие вещи лучше у них.
Могут быть - вот обычные слоистые сети синхронны - пока первый слой не посчитается, второй ждет. Но мы то как раз хотим от этого уйти. Зачем нам синхронность и такты?
Стандартный? Ни разу такого подхода не встречал - ну по крайней мере если об импульсных нейронах говорить. Вы не путаете? Обычно и состояние нейрона и состояния синапсов не дискретны, они описываются вещественными числами. Мембранный потенциал, разные мембранные проводимости, синаптический вес - это все непрерывные величины. Какие между ними переходы?
Так и в нашем подходе нет никаких ярлыков. Спайк наказания сам по себе ни чем не отличается от любого сенсорного спайка. И подкрепляться все тоже не должно (это редкая вещь - кнут и пряник). В эффективной RL системе должно быть много unsupervised learning. Мы этого придерживаемся.
А про мозг и эти каналы я бы Вам рекомендовал обратиться нейрофизиологам - они гораздо обстоятельнее меня обо всем этом расскажут.
Конечно, пока нет действия, нет и награды - модель, не модель - тут все равно - это не тупик а логика бытия. Про параллельность я говорил в том смысле, что могут параллельно протекать разные этапы этого процесса - например, быстрая первичная обработка сенсорной информации и медленные процессы пластичности, фиксирующие предыдущий опыт. И мне непонятно слово "такт" для мозга. Никто никаких тактов в мозге не наблюдал, равно как никто в нем не наблюдал процессов чтения и записи его параметров. Впрочем и самих этих параметров.... Если Вы веса синаптических связей имеете в виду - так они никуда не читаются и не записываются....
Нейрон живет в непрерывном времени, сам он непрерывный и стохастичный. Какой же он конечный автомат? У него нет никаких различимых дискретных состояний...
- ну а в чем здесь противоречие с биологией? Мы по специальным каналам получаем боль и (с некоторой натяжкой) удовольствие
2 - а почему Вы считаете эти шаги последовательными? все это идет непрерывно и параллельно. Сеть непрерывно "работает", ее сигналы непрерывно интерпретируются эффекторами, иногда (асинхронно) поступают наказания/поощрения, которые что-то в сети меняют (пока она сама работает).
В чем тупик?
Ну поскольку мы моделируем на компьютере - там числа, кремний и ни капельки глутамата :)
Это же модель. Когда мы на бумаге пишем решения уравнения Эйнштейна, описывающие черную дыру - близко это к черной дыре или не близко? Эта бумага даже карандаш в себя не затянет... Моделирование - метод науки.
А что числе в природе нет (как и колеса) - это похоже правда. Если выразиться строже, то нигде в природе не видно реализации формальной арифметики.
Есть совсем не числовые (аналоговые) подходы к моделированию нейронов - BrainScaleS например. Ни и там обмен спайками и пластичность - цифровые процессы. Это естественно - с аналоговыми вещами очень трудно.... Я не вижу пока в этом смысла, если можно делать сколь угодно реалистичные числовые модели (Hodgkin - Hucksley +). Только надо ли...
Спасибо. Но если про депривацию - никто не мешает ввести в сеть какие-то не сенсорные источники активности, если надо. Тут все максимально гибко. Все можно сделать. Если знаешь как...
Ну да, если делать на ПЛИС, такую возможность надо использовать....
Ну а куда особо оттранслируешь? Пока нельзя сказать, что вот пошел в магазин и купил плату с нейрочипами. Но все еще будет :)
В целом, я с Вами согласен. Мозг и даже нейрон - настолько сложные вещи, что никто не знает, что там принципиально важно, а что, как говорится, "исторически сложилось"...