Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Это, кстати, взгляд Дэвида Чалмерса
в будущем окажется
в будущем окажется, что у человека есть душа, где роются мысли, а нейроны — только связующие с этим «эфиром»
Да щаз! Блок питания то один! :)
Они отличаются друг от друга не меньше, чем европейцы.
А вы думаете если эту зону не тренировать, она сама будет различать лица с day0? Мы видим лица именно потому что зона мозга, та самая мини программа по распознанию лиц тренируется годами и да, китайцы отличаются именно когда проведешь там немного времени и опять же подашь данных на нейросеть отвечающую за обработку лиц, добавив туда данные об азиатах.
Нет. Люди хорошо различают лица т.к. у нас для этого процесса есть специальная зона в мозге.
В учебнике общей психологии был описан такой эксперимент: котят помещали в так называемую вертикальную среду (котята сидели в темноте, и свет зажигали ненадолго, при этом в пустом помещении имелись только вертикальные полоски на стенах). По окончании сензитивного периода их помещали в обычную среду. Оказалось, что такие котята не видят горизонтальные предметы, то есть если швабра стоит, то котенок может ее обойти, если она лежит, то он на нее натыкается. Это происходит потому, что в коре не образовались связи, реагирующие на горизонтальные предметы. То есть сигнал, поступивший через глаза и далее через боковое коленчатое тело, просто не может быть обработан в коре, он не распознается. Этот пример говорит о том, что животное, в частности человек, который в сензитивный период (до 3-5 лет) не получил богатый сенсорный опыт, будет ограничен в развитии своих интеллектуальных способностей. Пример – дети-Маугли, которых находили в возрасте 5-7 лет, не способных уже научиться говорить.
В учебнике общей психологии был описан такой эксперимент: котят помещали в так называемую вертикальную среду (котята сидели в темноте, и свет зажигали ненадолго, при этом в пустом помещении имелись только вертикальные полоски на стенах). По окончании сензитивного периода их помещали в обычную среду. Оказалось, что такие котята не видят горизонтальные предметы, то есть если швабра стоит, то котенок может ее обойти, если она лежит, то он на нее натыкается.
И от внутреннего состояния этой клетки зависит то, как работает нейрон. А внутреннее состояние клетки зависит не только и не столько от электричества, но и от того какие молекулы находятся возле нейрона, внутри нейрона и где именно они находятся, все вместе одновременно. А что именно окружает нейрон и находится внутри нейрона зависит как от него самого, так и от окружающих нейронов и даже совсем других органов, находящихся в совсем другом местеЕще сильнее напугаю читающих. Уже через 5-6 минут поведение нейрона существенно может измениться от записанного в ДНК и в зависимости от полученной дифференциации в ходе развития организма. А через 10 минут нейрон может вообще запустить программу самоликвидации или начать переползать в другое место в мозгу на основании кода в ДНК.
Согласен, но я давал верхнюю оценку, что бы не спорить лишний раз.
равнозначная информации о том, где расположены митохондрииравнозначность требует доказательства. Никакой равнозначности там нет и близко.
какие рядом с клеткой есть молекулы и так далеене имеет существенного значения для сложности. Развитие некоторых клеток устойчиво в широких пределах изменения среды. Это доказывает, что вся основная сложность записана в ДНК.
ДНК не является ВСЕМ, что влияет на то, как будет работать нейрон в будущем или настоящемЭто вообще не имеет никакого отношения к дискуссии. Структура нейросети тоже не является ВСЕМ, важно ещё то, какие картинки ей скармливать в процессе обучения. Мы говорим о принципиальной схеме.
есть ДНК и это и есть код, который описывает как работает клеткаИменно так. Вы пока что не показали ни одного существенного отличия между комплексом «ДНК+гамета» и системой «прошивка+ПК». Данные, которые поступают в программу в процессе её работы для этой аналогии ничего не меняют.
занимает десятки мегабайтОткуда такая оценка? Но даже если она верна, то 17*10^9*10^7 byte = 170 Petabyte, это примерно объем хранилища одного суперкомпьютера сегодня.
«Вычисления» нейрона происходят не при помощи ДНК, как я много раз говорил, а при помощи тех молекул, котоыре произведены на основе ДНКА я уже много раз отвечал, что это не имеет значения, так же можно сказать, что в транзисторе вычисления происходят при помощи тех электронов и ионов, которые в него входят.
Total element count in the minimal turing machine = 134(CPU) + 144(Tape) + 36 (program counter) = 314Давайте не будем уходить от темы. Вы говорите, что сложность нейрона — это его атомистическая сложность. Я вам говорю, что если так, то сложность процессора — это электронная сложность, а не транзисторная. Вот и всё.
computer comparable to the human brain, he added, would need to be able to perform more than 38 thousand trillion operations per second and hold about 3,584 terabytes of memory38 Petaflops + 3.5 PB — на порядок слабее чем Summit. Конечно, мы не знаем, на сколько эта оценка достоверна, но под ней больше фундамента, чем под тем, что мы можем наговорить здесь в комментариях.
сейчас оно находится в том, что лента ёмкостью некоторое количество мегабайт(грубая прикидка уникальных изменяемых данных в нейроне) включена в 300 транзисторов.Я этого не говорил, это просто недопонимание. Но я и не хочу об этом говорить, это неважно.
— если допустить, что в нейронах активный элемент — атом, то в ЦПУ это будет электрон.Именно это меня и удивляет. Почему?
— Нет не согласен
является ли детализация до белка или до атома в рамках данного тезиса никакой ролиНу, это приличная разница, на 4-5 порядков где-то. 10^14 и 10^10 элементов. А если продолжить логическую линию и сказать, что это не атомы, не аминокислоты, не белки не комплексы, а орагнелы и их группы, то дойдем вообще до 10^3.
я вижу как прямой уход от оценкиЯ как раз от прямой оценки не уходил, называл конкретные цифры: 170 PB, 38 PF+3.5PB. Какая Ваша оценка?
Можно ли уложиться в 300/3000/30000 транзисторов или такие низкие показатели — сказки и мечты и бюджет на порядков эдак 7 больше.Ну вот Dharmendra Modha, director of cognitive computing at the IBM Almaden Research Center даёт оценку, по которой современные суперкомпьютеры уже на порядок превзошли весь неокортекс. Я не знаю, на сколько эта оценка окажется верной, но предложить лучшую оценку не готов. А Вы?
порядков эдак 7Почему 7, а не 3 или 17? Покажите формулу.
Вы считаете важным пограничное предельное значение(точку), сосредотачиваясь полностью на ней, вместо взглянуть на всё пространство вариантовЭто не так, я пытаюсь дать верхнюю оценку (худший случай), ведь если мы способны справится с задачей даже в худшем случае, то в остальных и подавно.
Как в 1000 транзисторах разместить несколько мб памяти?Никак, я такого и не предполагал. Даже если для логического аналога нейрона нужен целый мегабайт — это не проблема, у компьютеров сегодня хватит памяти для 10 МБ/нейрон.
Это не оценка на один нейронА я просто согласился с Вашей оценкой, не вижу смысла особо ее обсуждать, она не доказывает Вашу позицию, что мозг намного сложнее современных компьютеров.
нейрон требует на много порядков больше ресурсов для симуляции, чем на это выделено даже в hardware реализациях с «симуляцией» синаптической щелиЯ с этим и не спорил. Я говорю, что доступные на сегодня вычислительный мощности, возможно, приближаются или превзошли совокупную мощность человеческого мозга. Про конкретную симуляцию и её дефекты я не говорил ни слова.
на неё нужно минимум несколько мегабайт памятиэто Вы так считаете. Даже если так, память может быть отдельно, на жестком диске. Она есть, по 10 МБ на нейрон хватит.
Какое IOpS будет у таких жестких дисковЭто слишком технический вопрос, глубина и точность наших оценок недостаточно велика, что бы этим заморачиваться. Кэши могут помочь с этим, если понадобится.
проблема(самая сложная) симуляции тьюринг полных сущностей, которые могут друг на друга влиять, но её оставим на сладкоеВ чем проблема?
Отнюдь, я просто подвожу к сути проблем, потребовалось время, чтобы стало понятноДа нет там никакой проблемы. Какой IOPS вы считаете достаточным, почему?
потребуется одновременный 86 млрд поточный random access к огромному объёму памятиА в чем проблема, там же data parallelism?
нейрон не группа вентилей, как я уже в самом начале говорилСмотря какой размер группы.
как только разберёмся с одновременностью доступа кучи мелких cpu и потребными ресурсами на симуляцию 86 млрд этих микро cpuТак не надо тянуть резину, напишите сразу, сколько по Вашему нужно ресурсов, конкретно. Не уходите от темы.
Я еще где-то слышал что большой процент мозга занят тем что постоянно стабилизирует работу всего мозга чтобы не было всяких эпилепсий и прочего. Интересно было бы узнать подробнее.
… Они-то и продемонстрировали наглядно, почему увлекающийся математикой, с отличными показателями по части учебы студент может поблагодарить за эти успехи какую угодно другую часть своего тела, кроме мозга. Ведь нельзя же, в самом деле, усматривать в хороших оценках и знаниях заслугу органа, который у данного индивида, собственно, отсутствует! Нет, не то чтобы его там вовсе не было. Было… граммов около двухсот, если взвешивать без ликвора, но вместе с мозговым стволом и мозжечком! Тоненькая прослойка толщиной до половины сантиметра, отделявшая контур кости от огромных желудочков, едва ли составила бы больший вес…
As of January 2015, the project is still awaiting peer review, and researchers involved in the project are reluctant to make bold claims about its current resemblance to biological behavior; project coordinator Stephen Larson estimates that they are «only 20 to 30 percent of the way towards where we need to get»
упрощение из-за этой сложности модели нейрона до аналога из мира, который разработал человек — большая ошибка и огромная недооценкаМы этого еще не знаем наверняка. Возможно Вы правы, а может и нет. Мы точно знаем, что функционально нейрон проще чем совокупность всех электронов, которые в него входят. Так-то можно сказать, что каждый атом — это «транзистор», но мы уже точно знаем, что описания функций целых белков (тысячи атомов) в человеческих аналогиях очень компактны. Функциональная сложность белков сильно ниже их атомистической сложности. Если пользоваться аналогией из электротехники, то принципиальная схема белка сильно проще чем разводка его печатной платы.
транзистор в современном процессоре плюс минус размером как раз с молекулярную фабрику внутри клеткивы имеете ввиду рибосому?
Нейрон это клетка
Что за превращение энергии в информацию?
Нейрон ничего не считает и результат работы нейрона выражен далеко не только и не столько в спайках
Обнаруживать везде «цель» это баг/когнитивная ошибка сознания человека.
Сложность одного нейрона настолько огромна, что его логическую полную логическую копию в данный момент не может создать цивилизация.
то есть только 1,5 % всего генетического материала кодирует белки или функциональные РНК. Остальная часть является некодирующей ДНК, которую часто называют мусорной ДНК
ДНК не является инструкциямиЧто Вы понимаете под термином «инструкции»? ДНК — это машинный код. Метилирование — это процесс саморедактирования кода в run-time, некоторые компьютерные программы тоже так делают. Code is data и т.п. Так что Вы пока не показали ошибочность восприятия ДНК как набора инструкций.
каждый атом является активным и движущейся частьюкак и электрон в транзисторе. Если следовать этой логике, то электрон — аналог атома в нейроне, структурные элементы транзистора — это молекулы, транзисторы — органеллы, ALU — это нейрон.
ДНК это очень активный механизм, в котором есть флаги включеня/выключения, которые постоянно меняются и влияют друг на другакак и программный код в компьютере, если применяется концепция code is data
Грубой аналогией ДНК плюс рибосом является как раз мультипроцессорный компьютерПочему? Чего не хватает в ардуино или даже 1/100 от ардуино?
Буквально каждый атом в клетке это действующий активный механизм, который всё время работаетЭто точно не так. Целый белок функционально можно описать небольшим числом параметров. Функционально белок проще совокупности входящих в него атомов.
каждый атом в клетке это действующий активный механизм, который всё время работает и существенно влияет на клеткуЭто не так. Тому есть эксперементальные доказательства. В белках большая часть аминокислот заменяемы без изменения работоспособности белка. И нет, это не потому что мы не замечаем, что мутация на что-то повлияла, т.к. есть мутации, которые распределены по популяции в точности так, будто они равнозначны и никакого эволюционного давления на них нет. То есть замена одной аминокислоты на другую функционально ни на что не влияет, вообще. Более того, оказывается, что значимых мутаций довольно мал0^9о, на этом построен целый метод в биоинформатике — coevolution derived residue–residue contact information.
Микротубулы динамическая штука, постоянно меняющаясяНу хорошо, стремянка из лего.
функциональная модель интеллекта(мозга) может быть проще чем мозг человека в атомистическом представлении.Вы правда с ним не согласны?
ДНК не является кодом, который описывает как всё работаетПочему?
Есть еще информация, которую не видят секвенсерыДопустим у ДНК не 4 нуклеотида, а 6 (+2 метилированных) — это не меняет сути, просто теперь код не четверичный а «как бы» шестиричный.
незнание которой ранее воспринималось как «мертвый код»Метилирование никогда не воспринималось как мертвый код.
Поэтому говорить о 15гб некорректно и говорить о ДНК как о аналоге флешки тоже совершенно некорректно.Не 15, а 1.5. Почему некорректно?
Наиболее близкий грубый аналог ДНК — работающий компьютер с необычной архитектуройЭто несущественное уточнение, да и не совсем корректное. Сама по себе ДНК ничего не делает с собой, нужны все эти ферменты и машины для метилирования и прочих издевательств над ДНК. Но чем это принципиально отличается от утверждения «ДНК — это машинный код клетки»?
А у каждой особи эта «спецификация» своя, поэтому отбросить её нельзяКакое это вообще имеет значение? Ну чуть-чуть отличается состав соматической клетки у разных людей, ну и что? Так и процессоры чуть-чуть отличаются, в рамках допусков.
Cell-Free Expression Kits — это почти набор для бутстрапа жизни из ДНК. И этот набор очень простой, что исключает какую-то скрытую сложность жизни. Вся сложность жизни закодирована в ДНК + нескольких простых белковых комплексах, в т.ч. рибосоме. Даже соматическая клетка нужна не полностью.
фундаментальную разницу между построить и заюзать готовое выбросив лишнееА я вообще об этом не говорил т.к. не относится к теме. Построение искусственной клетки тут ни причем. Нас интересует вопрос о том, до каких пределов можно урезать обычную клетку.
мы не можем делать клетки и пока не видно даже через год или через десять лет мы наконец сможем их делатьНу и что? Мы и на Альфа Центавра добраться не можем, какое это имеет отношение к обсуждаемому вопросу?
Сложность одного нейрона настолько огромна, что его логическую полную логическую копию в данный момент не может создать цивилизация.А пруфы будут? В посте же приводится пример, что исследователи смогли точно смоделировать отклик нейрона двухслойной нейронкой. Мы не знаем, какая полная логическая функция нейрона, но та часть функции, о которой мы знаем, не слишком сложная: она не исчерпывается одним сигмоидом, но проще, чем то, что может вычислить современный CPU.
однако это очень принципиальноэто непринципиально в контексте вопроса, является ли ДНК машинным кодом, а не «вообще».
значит ошибочны все модели нейрона в которых не учитывается химияНе значит. Метилирование — это просто память нейрона. Ну в компьютерных «нейронах» она тоже есть — т.н. скрытые параметры нейросети.
Точность вплоть до атома или молекулы отличаются настолько незначительно между собой
возможно молекулярной будет достаточно.На самом деле молекулярная точность и атомистическая соотносятся примерно как 10^10 и 10^14. Но эту мысль можно и нужно развивать. А там глядишь и придем к заключению, что и молекулярная не нужна, а только сложность на уровне целых клеточных органелл, или ещё грубее…
описать нейрон просто математической функцией нельзяМожно, даже если сложно. Даже атомистическая модель — мат. функция, и мы её уже почти записали. Для маленьких вирусов уже даже можем вычислить примерно.
игнорирование которой приведёт совершенно неверной моделиСовершенно не факт. Во-первых атомистическая сложность, очевидно, фиктивна — это всё равно что несжатый файл с тысячекратно повторяющимися фрагментами. Во-вторых не факт что даже настоящая «сжатая» сложность клеток полностью задействована в реализации функций связанных с интеллектом. Скорее всего нет.
Симуляция 85 миллиардов Тьюринг полных машин, работающих в реальном времени связанных в сеть это не та задача, про которую говорят, что её вот вот решатПотому что так задачу не ставят — не интересно, наверное. Один суперкомпьютер содержит примерно 0.5 квадралиона транзисторов, то есть в 20 раз больше, чем нужно для 85 млрд. Тьюринг-полных машин.
Любопытная гипотеза.К сожалению, не могу приписать её себе, это оценка лидирующих учёных в области — D.E. Shaw, например.
Аргумент затмевает авторитетпросто дал ссылку на исследования, на которые опираюсь в своих утверждениях, так принято в научной среде.
суперкомпьютер, который и будет симулировать иха зачем тут СК? Вы же согласились, что сложность нейрона — это всего лишь мегабайты памяти.
Тьюрин полная машина И мегабайты памяти.То есть в минимальном варианте — 350 транзисторов + микроскопический кусочек магнитной ленты?
симулировать все химические реакции(которые аналоги вычислений и ещё и идут сильно параллельно) в секундуВсе реакции симулировать не надо. Если Вы говорите, что реакции — это аналогии вычислений, то движение электронов в транзисторе — аналог реакций.
проблемы памяти описано в другом месте и она куда более фундаментальная, чем кажетсяКонкретные цифры пожалуйста, чего не хватает, сколько.
Ответить
Движение электронов [в транзисторе] не аналог химических реакций [в нейроне].Почему?
Нужна симуляция Тьюринг полных вычислений на тьюринг машинеЗачем? Почему нельзя просто построить «нейрочип» или его аналог? Ну то есть процессор, который будет состоять из сотен миллионов малых тьюринг-машин, по возможностям сопоставимых с нейронами? Почему не построить функциональный аналог мозга, только из транзисторов?
предлагаю самостоятельно оценитьтак дело не пойдет. Я Ваши мысли читать не собираюсь.
без понимания комплекса следствий того, о чём я написалПока что не видно, что бы там были какие-то релевантные следствия вообще. Начните с сути. Пока что Вы ничего по сути не сказали, лишь туманные сомнения озвучили. Неясно, в чём вообще Ваша мысль, есть ли в ней что-то любопытное.
ДНК/рибосомы + белки Тьюринг полны, а движения в транзистореНу и что? А атомы в белках не Тьрриг полны, как и движения в электронах.
потому что тьюринг полный нейрочип это есть тьюринг полная машина, то есть процессор.И что это доказывает?
нужно построить все 86 млрд процессоров или их эмуляцию, что сложнов чем сложность? Минимальный процессор — это 300 транзисторов.
симуляция 86 млрд процессоров не так тривиальнаВ чем сложность, в цифрах пожалуйста.
паралелльний доступ к памяти из них не реализован при нынешнем уровне техникиРеализован, в виде СК.
есть алгоритмическая проблема с вычислительной сложностью задачи синхронизации взаимного влияния 86 млрд активных cpuИ какова она? В цифрах? Нужно ли ее вообще решать? Зачем?
Это всё в комплексе — сложный и ещё не решенный комплекс проблем, говорить о сроках решения которого сейчас раноБез конкретики это пустые слова.
Сам по себе нейрон способен вычислить огромный диапазон так называемых нелинейных функцийПеребор у автора с нелинейностями. У дендритной мембраны их две, и они служат созданию лавинного эффекта, а не какому-то вычислению: один в сторону сомы, второй — от сомы.
… По ссылке имеется таблица сравнения методов распознавания на базе MNIST. Первое место за сверточными нейросетями с результатом 0.39% ошибок распознавания. Большинство из этих ошибочно распознанных изображений не каждый человек правильно распознает. Кроме того в работе были использованы эластические искажения входных изображений, а также предварительное обучение без учителя.
Но под капотом там обычная статистика (нейросети) и математика.
У нейросети, играющей в ГО, не было замысла, понимания и креатива. Это просто программа с набором классических алгоритмов и огромной базой закономерностей между состоянием игрового поля и выигрышем. Программа использовала базу для предсказания выигрышных ходов. Нет тут интеллекта.
набор классических алгоритмов и огромной базой закономерностей между состоянием игрового поля и выигрышем
Вот сегодняшняя статья говорит как раз о том, что сложность мозга и нервной системы на порядки выше, чем мы представляли
Когда желудок набивается едой, в кровь выбрасываются морфий-подобные вещества и мозг одурманивается, иногда вызывается зависимость от еды (в лучшем случае). В чем ценность этих эмоций? Без них было бы лучшеБез них бы вы умерли с голоду. Откуда вы узнали, что вам необходимо питаться? Вас этому обучило подсознание кнутом и пряником через подкрепление поведения. Агентов этим же способом обучают.
балласт интеллекта, что достался в наследство от простейших организмов. Дофаминовое подкрепление и прочее.А это вообще, можно сказать, аналог обратного распространения ошибки, закрепляющий нужные связи.
В коре вашего мозга 17 млрд компьютеров