Comments 26
По всей видимости аналогичные алгоритмы распространяются "вглубь" клеток и реализованы с помощью клеточной машинерии даже внутри самых простых бактерий, являясь основой любой жизни.
Даже интересно, откуда взялось такое "по всей видимости". Вроде ничего на то не указывает.
клетка инициирует деление, что приводит к образованию двух клеток. Процессы репликации устроены таким образом, что копирование ДНК, как правило, происходит не точно: ДНК полимеразы и другие ферменты, принимающие участие в копировании, делают “ошибки”Вроде при деление клеток происходит точная репликация, а вариации возможны при половом размножении или это абстрактный пример?
По грубой максимально консервативной оценке общее количество нейронов одной клетки составляет не менее 2 млн.Разве нейрон это не клетка?
А в целом, очень интересно, спасибо.
Как правило ДНК-полимеразы совершают ошибки, причём с характерной для данной ДНК-полимеразы частотой. Не слишком часто, но и не слишком редко, чтобы, например, бактерия, могла продолжать свою эволюцию. Если ДНК-полимераза бактерии, к примеру, вовсе не будет ошибаться, бактерия достаточно быстро проиграет своим сородичам, т.к. потеряет способность адаптироваться.
Нейрон в данной статье упоминается в двух значения: как "логический" нейрон в значении, в котором он используется в машинном обучении, так и в классическом биологическом значении нейрона (как клетка). Я старался где необходимо обозначать о каких нейронах идёт речь (если это косвенно не следует из контекста), однако это действительно может немного запутывать если Вы не сталкивались с опредлением нейронов из машинного обучения.
Нейрон в данной статье упоминается в двух значения: как «логический» нейрон в значении, в котором он используется в машинном обучении, так и в классическом биологическом значении нейрона (как клетка).Тут ошибка. Поведение классического биологического нейрона (клетки) непосредственно влияющее на его нейроактивность на 3-5 порядков (в 1000-100000 раз) сложнее поведения придуманного машинного нейдонейрона. В качестве примера, есть существа запоминающие все многообразие свойств своей пищи для всех ее тысяч видов этой пищи всего в одном единственном нейроне. Таким образом эти два смысла употребления слова «нейрон» в приципе совершенно разные и пересекаются только в очень малой части. По смыслу в статье, вы пытаетесь машинному недонейрону приписать часть биологических свойств, как вы их поняли и придумали/додумали.
Примечательно, что сегодня именно искусственные нейросети дают надежду на построение достаточно полной карты/модели взаимодействий хоть в сколько-нибудь обозримом будущем даже на основе разрозненных и плохо аннотированных данных (это, конечно, не отменяет необходимости работы по решению описанных выше проблем).Я же убежден (да и большинство исследователей интеллекта, а не AI фантазеров), что нынешние искусственные нейросети это тупик и мертвая ветвь развития, которая нуждается либо в тысячах кардинальных улучшений либо в полной переделке с нуля. Именно по причине деградирующего упрощения работы самого нейрона, да и самой нейросети.
Мне кажется, ваша нобелевка скрыта в утверждении
Функция
зависит от вектора весов
и не зависит от состояния системы
.
как только докажете, считайте, прорыв в биологии.
Действительно возможно не самая удачная формулировка, что может немного сбивать. Согласно определению рекуррентных нейросетей подразумевается, что функция 
одна и та же для каждого шага рекурсии, т.е. сама функция и вектор весов 
остаются неизменными, а меняются только входящий и исходящий вектора и значения нейронов.
В предложенной модели, соответственно, функция и вектор констант скоростей реакций остаются неизменными независимо от итерации.
Если я правильно понял вас, то получается, что константы скоростей реакций неизменны в модели. А вот это интересно - для протеинов это не так, по причине наличия множества различных взаимодействий, которые и меняют скорости реакций
Вы имеете в виду модификации белков при белок-белковых взаимодействиях?
Их самых, а также модификации белков при приложении физических сил. К примеру, изменение нуклеопор
Тогда с этим всё ок. Да, модифицированный (например, фосфорилированный) белок обладает другими константами скоростей реакций относительно своих субстратов (а в редких случаях может вообще изменить субстраты и начать делать что-то совершенно другое). С токи зрения предложенной для статьи системы определений (и по смыслу) модифицированный белок - совершенно другое вещество, имеет другой набор констант скоростей реакций, т.е. соответствует другому нейрону. То же касается и конформаций: в частности свернувшийся и несвернувшийся белок - разные нейроны. Если белок меняет свою конформацию под действием давления, то также может рассматриваться как другой нейрон.
Здесь резко возрастает количество нейронов в описании, что для теоретической модели не проблема. С точки зрения практического применения проблемы модификации можно кластеризовать. Например, у белка десять сайтов фосфорилирования. Это даёт 
возможных вариантов одного и того же белка, но с точки зрения практики разные сочетания можно кластеризовать - чем больше сайтов фосфорилировано, тем, например, более быструю версию белка мы получаем.
Мне кажется, что именно из таких притягиваний за уши и получается аналогия, вместо модели. Рассмотрение клетки как набора конечных автоматов с памятью, в принципе, не выглядит как подгоняние под модель, но все более ограничивающие утверждения требуют мучительного эмпирического доказательства.
Немного запутался с нейронами. Я из биологии, а не из нейросетей. Автор, ты же под нейронами имеешь не биологическое определение? Можно для не айтишника расшифровать это понятие.
Также заметил много неучтенных вещей, а именно момент, когда мы углубляемся в белковые взаимодействия, то временные промежутки взаимодействия очень сильно влияют. Более того, очень сильное влияние оказывает даже не концентрация веществ в клетке, а их локализация относительно органел/мембран/рецепторов и т.д. Не затронут вопрос механического взаимодействия внутри клетки, а ведь он обусловливает многие процессы. Если же идти вглубь ядра, то не совсем учтены регуляторы транскрипции и конформация ядра.
В подавляющем большинстве случаев (где иное не следует из контекста) в статье под нейроном действительно подразумевается нейрон из машинного обучения. К сожалению, совсем коротко описать понятие небиологического нейрона вне определения искусственных нейросетей непросто. Наиболее ясное и понятное описание (и на самом деле достаточно короткое) на мой взгляд в переводе Стэнфордского курса.
По поводу белковых взаимодействий не вполне понял что имеется в виду. Когда речь идёт о теоретической модели мы можем говорить о сколь угодно малом временном шаге. Если реакция ферментативная и проходит последовательно через образование нескольких комплексов, то каждая стадия может описываться своей константой скорости реакции.
Вы совершенно правы по поводу локализации, именно поэтому для эукариот для каждой мембранной органеллы речь идёт о своём наборе значений концентраций/нейронов. Но и в рамках даже одной органеллы или бактериальной клетки распределение веществ может быть не вполне равномерным (например, трансляция у бактерий может идти ещё в ходе транскрипции, когда на РНК уже садятся рибосомы). Поэтому в описании модели есть упоминание, что при необходимости можно делить клетку на необходимое количество сегментов, хотя с точки зрения общего эффекта во многих слуаях эффекты неравномерности, вероятно, могут усредняться. Регуляция транскрипции должна по идее также подчиняться закону действующих масс (т.к. для любого взаимодействи нужна встреча молекул, а их частота пропорциональна концентрации), но, т.к. соответствующие участки ДНК существуют в единичных экземплярах, флуктуации, конечно, могут быть существенными, и это показано в литературе (какраз в комментарии ниже одна из наиболее инетересных статей на этот счёт). В целом можно сказать, что да, модель может быть существенно усложнена и дополнена множеством параметров чтобы строже отражать множество эффектов, возникающих в клетке (включая механику). На текущем этапе была цель представить наиболее обобщённую модель, показав что концепция "нейросеть + обучение алгоритмами нейроэволюции" предлагают интересный взгляд на вопрос каким образом клетка решает большое количество сложнейших вычислительных задач.
Почитаю про небиологический нейро - я все же ещё и инженер)
Согласен, что время можно учесть константами скорости реакций. Хотя все-равно существует много но. И я правда не представляю как все это учесть в одной модели. А уж про численные значения для модели стоит только мечтать
А вот влияние механики стоит учесть. К примеру, при формировании клеточной адгезии винкулин под воздействием силы "раскручивается" и у него меняется константа ассоциации/диссоциации. И так много где - то же самое натяжение мембраны сильно влияет.
По теореме Цыбенко вы нейронкой можете аппроксимировать что угодно, а с добавлением рекуррентности, в принципе, получаете безграничные возможности в темпоральных аспектах. Машинное обучение можно натаскивать на биосистемы и на уровне таксонов, и в масштабах чистой физики. Так-то да, аналогии красивы и понятны, но только если вы шарите и в биологии на разных уровнях организации и основах теории нейронных сетей, а в остальных случаях ваши "нейронные" метафоры будут запутывать.
Но в принципе, вы на правильном пути: а именно, вы стараетесь смотреть на объект исследования как на нелинейную систему взаимодействующих агентов, где сложная организация эмерджентно возникает из связей, которые обуславливаются некоторыми индивидуальными параметрами каждого агента. Это круто как минимум из-за того, что позволяет выкарабкаться из господствующего редукционизма. Меня, конечно, этот вопрос интересует со стороны физики, но и в других областях иногда замечаю зависимости похожие на те, с которыми мне приходится работать.
Собственно, то о чем вы говорите можно озвучить и в физических метафорах — представить агентов как совокупность линейно связанных осцилляторов, и тогда вы сможете использовать стохастические уравнения и на масштабах молекулярных взаимодействий, и на тусы клеток, и на движухи животных, и на динамику генов. Здесь я специально подобрал уравнение Ланжевена, потому как за ним стоит довольно сносная математика и при этом, мы можем выделять из системы некоего агента или просто интересную величину, для которого уравнение будет учитывать связь с окружением, память о взаимодействиях и случайные силы.
А вот нелинейные осцилляторы это уже круче, сложнее, но ближе к реальности. Плюс это непаханное поле, но в биологии тоже есть интересные статьи (пример). Самое крутое, как это работает для моделирования процессов в мозгу, но об этом как-нибудь потом
Большое спасибо за такой развёрнутый ответ. В особенности за прекрасную статью по моделированию "bursts", какраз хотел подробнее ознакомиться с моделями по ним.
Про теорему Цыбенко полностью согласен. Однако на мой взгляд что принципиально отличает взгляд на клетку как на нейросеть в отличие от физических метафор и моделей - это явный и прозрачный механизм обучения, причём очень точно соответствующий и активно используемый уже давно и в искуственных нейросетях. При этом мне было бы инересно глубже разобраться в вопросах моделирования с помощью осцилляторов.
Биохимические «нейроны», в отличие от реальных нейронов, имеют фундаментальный недостаток — они неспособны обучаться (менять значения весов) в течение своего жизненного срока. Такие параметры, как константы скоростей, аффинность/авидность, аллостерические эффекты и т.д. — захардкожены в химической структуре веществ, и могут изменяться в нужную сторону только эволюционным путём. Это уже больше похоже не на обучение нейросети, а на подстройку её гиперпараметров.
Конечно, за миллиарды лет клетки выработали множество систем саморегуляции метаболизма. Например, при гипоксии клетка не умирает сразу, а переходит на анаэробный гликолиз и начинает экономить кислород. Но это происходит потому, что ферменты уже оптимизированы и «настроены» изменять свою активность в нужную сторону. В отличие от ферментов, нейроны в мозге могут менять веса (структуру) своих синапсов под действием сигналов поощрения-наказания на протяжении жизни организма.
Вы совершенно правы. Если мы говорим о нейросети нашего мозга, то обучением являтся образование новых синапсов, а обучение "биохимических нейронов" в ходе эволюции можно, вероятно, действительно рассматривать как подстройку гиперпараметров.
При этом если в качестве "системы отсчёта" мы берём "нейросеть биохимических нейронов", то обучение происходит именно со сменой поколений. Тогда обучение нейросетей мозга в этом случае можно рассматривать как работу выработанных в ходе эволюции механизмов "краткосрочной" памяти для сохранения информации о среде обитания в пределах одного жизненного цикла. Любопытно, что некоторые такие механизмы "краткосрочной" памяти есть не только в нейронах, но и во всех клетках, а некоторые "воспоминания" иногда могут передаваться и в пределах нескольких поколений (например, так работают механизмы эпигенетической памяти, реализуемые через метилирование).
Т.е., несмотря на то, что нейроны намного сложнее, здесь скорее корректно говорить о достоинствах и недостатках применительно к решаемой эволюционной задаче.
Спасибо, крайне интересный вопрос подняли!
Помнится прочитал на этом сайте эту статью: https://habr.com/ru/post/518206/ И первая мысль которая у меня возникала: "нужно применить модель к жизни вообще". По результатам написал такую статью скорее "развлекательного" характера: https://aftershock.news/?q=node/935629 Но идея была аналогичная информатика предопределяет поведение и развитие жизни вообще и общества в частности. Тут что-то похожее.
Спасибо, реально интересно! Прочитал обе.
Угу, нейронная сеть это только часть общей картины. А есть еще более общие закономерности положенные в основу всего живого и не живого. И нейронные сети это частный случай их проявления. Все это только наши модели. Модели позволяющие нам наконец понимать (попытаться понять) общую картину. Но гораздо интересней разобрать такое явление как разум используя модель клеточный автомат и модель нейронные сети. В конечном итоге, если мы сможет разобраться "что такое разум", это означает новый уровень познания, новый уровень гносеологии и философии подкрепленной математическим обоснование. Уровень на котором единство гуманитарных и точных наук, принципиально новый понятийный аппарат и аксиоматика. В конечном итоге, это принципиально иное общество, построенное на понимание принципов "что мы есть" в действительности, и что предопределено, а где начинается и заканчивается свобода воли. И куда все развивается.
Клетка и организм — рекуррентные нейросети?