Comments 27
Вопрос в тему. А зачем мы пытаемся эмулировать аналоговые по своей природе процессы на цифровой элементной базе? Не удивлюсь, если на реализацию даже одного нейрона уходит сотня или даже тысяча аналоговых транзистров. А если это сделать на аналоговом уровне, их надо будет всего несколько штук. Или я не прав?
В действительности биологические нейроны еще более "цифровые" чем компьютерные. В компьютере функция возбуждения, которая передается от нейрона к нейрону "аналоговая" - это действительное число. А в биологической системе возбуждение от нейрона к нейрону передается импульсами, "единичками", амплитуда которых не имеет значения, а значение имеет их частота. Причем реальные различия в работе системы происходят с одного-трех импульсов. Можно грубо сказать, что живые нейроны передают друг-другу одно из чисел "0", "1", "2", "3" (причем чаще всего именно 0), а компьютерные нейроны в самом примитивном виде - google TPU передают от 0 до 255, а другие железяки, не гугловские - они еще больше вариантов значений гоняют между нейронами.
По количеству тоже нет, в живых системах как правило гораздо больше связей между нейронами чем транзисторов в компьютерах (для каждой связи своя функция активации, хотя большинство функций активации равны 0, они видимо все-таки важны все). В чем живые системы превосходят железо - это в энергоэффективности, причем очень сильно.
Вы серьёзно так об этом говорите, что нейроны взаимодействуют только электричеством, а не химией? Насколько мне известно наука утверждает обратное. Нейроны управляются химией. Есть же еще нейротрансмиттеры - это химические вещества в мозгу, которые передают сигналы от одного нейрона к другому.
Сигнал передается внутри нейрона электричеством, а через межклеточное пространство химией. При этом это именно цифровой сигнал "есть/нет".
смотря на каком уровне погруженности смотреть, потенциал действия приводящий к выбросу нейромедиаторов - электрический по своей сути, однако внутри клетки все процессы носят химический, а если смотреть глубже физический характер(например каскад реакций запускаемы G белками). Нейроны ГМ крайне сложные.
Согласен. Любой нейрон это не просто транзистор, и даже не персептрон с весами и функцией активации, как нейрон в нейросетке. Это весьма сложная и динамичная система, которая меняется от импульса к импульсу, метаболизмом, формой, экспрессией генов, синапсами и распределением рецепторами в них, и множеством других вещей. Где-то читал что для более-менее нормального моделирования биологический нейрон требует сетку с как минимум тысячами параметрами.
В 2017-2018 годах я очень активно увлекался DL, даже делал коммиты в первую версию библиотеки fast.ai, ну а параллельно слушал много интервью и читал статьи Хинтона, Лекуна и прочих. Так вот тогда много обсуждалась тема о том, является ли backprop биологически обоснованным и имеет ли смысл изначально вкладывать в сеть какую-то архитектуру или можно обучить рандомную fully connected сеть имея достаточно данных. Джефри Хинтон пытался отстаивать позицию, что наш мозг тоже использует бэкпроп, но там было слишком много спекуляций. Что самое странное, Ян Лекун, один из создателей сверточных сетей, отстаивал позицию, что архитектура не нужна, а нужно просто больше данных, что противоречит тому, что мы видим в биологии, так как множество организмов изначально рождаются с хорошо сформированной нервной системой (еще до всякого обучения).
Вообщем, как мне кажется, DL и его модели нейронов имеют очень мало общего с биологией и пока мы видим лишь аналогии и спекуляции. И вообще не понятно зачем пытаться эмулировать то, что мы еще не понимаем, так как для эмуляции нужно понимать принцип работы того, что эмулируется.
забавно что вы думаете что вы умнее хинтона и можете определить использует ли он много/мало спекуляций
Забавно, что вы думаете, что умеете читать чужие мысли :)
Если серьезно, то Хинтон сам это признавал и я не считаю себя умнее его. Вообще Хинтон, из всех звезд DL, мне нравился больше всех, так как создавал впечатление человека, который действительно хочет разобраться в теме, а не побыстрее хайпануть на новой технологии.
так как множество организмов изначально рождаются с хорошо сформированной нервной системой (еще до всякого обучения)
Не стоит упускать тот момент, что до рождения есть внутриутробный (инкубационный) период в течении которого формируется нервная система. И какая она будет при рождении зависит не только от набора ДНК (начальной архитектуры), но и от информации приходящей к плоду от матери через питание и физические воздействия. Происходит скрытое обучение к предстоящей жизни и развитие "архитектуры" одновременно.
И абсолютно с вами согласен - аналогии и спекуляции на счет общего моделей нейронов с биологией.
Возможно, не следует путать электронно-лучевые трубки и электронные лампы.
вангую: прогресс будет в направлении обучении второго рода - "обучении обучателей" и далее. что приведет к более эффективному алгоритму обучения от общего к частному. впереди - новые открытия в области кластеров "естественных" законов обучения, которыми пользуется природа в решении той или иной задачи.
Ну или будут еще сильнее вкладываться в квантовые компьютеры.
вот кстати, используется ли квантовые вычисления где-либо в природе? я просто не в курсе.
А кто его знает? Много разговоров о квантовых процессах, необходимых для жизни, и возможно работы мозга, но теплая органическая среда слишком хаотичная, чтобы на нее можно было легко переносить закономерности холодного квантового мира. Я думаю что да, но доказать это очень непросто.
Вычисления нет, а явления да. Много примеров в этой книге https://www.klex.ru/mar, вот тут https://elementy.ru/bookclub/chapters/433635/Zhizn_na_grani_Glava_iz_knigi — отрывок с описанием физико-химической природы запаха
«к 2025 году уровень допущения ошибок в наилучших системах глубокого обучения, предназначенных для распознавания объектов из множества данных ImageNet должен сократиться всего до 5 процентов [вверху]. Но вычислительные ресурсы и энергия, которые потребуются для обучения такой системы будущего, также будут колоссальными, и приведут к такому же выбросу углекислого газа, какой дает за месяц весь город Нью-Йорк» — и это будет полезная обученная сеть, которой в дальнейшем можно будет пользоваться (backbone на базе предобученных на ImageNet сетей используется в большей части современных задач на классификацию/детекцию и прочие полезные CV-задачи, включая пользовательский поиск по картинке). В то время, как майнеры сжигают 121.36 терават/часов в год просто потому, что а вот такая сейчас сложность сети! Это тупо утилизация энергии и безумный «углеродный след» в котором нет НИКАКОЙ необходимости. Но не — майнеры пускай и дальше майнят, а мы будем обсуждать, как атмосферу загрязняет OpenAI.
Начните уже платить за распределенное обучение сетей хотя бы в половину так, как сейчас за крипту (и запретите крипту) и решите сразу кучу проблем: майнеры с удовольствием и тем же энтузиазмом будут делать ПОЛЕЗНУЮ работу, станет доступен огромный рынок вычислительных ресурсов для обучения моделей. Для экологии это по-любому полезнее (ну сейчас и майнят и все равно учат, за дорого, а так останется только один полезный вид деятельности).
Не вижу особого повода для пессимизма:
Если железо развивается быстро, то прогресс технологий движется наращиванием данных/кода, пока есть возможность ускорять железо.
Если железо развивается медленно, то прогресс двигается алгоритмикой и изменением архитектуры, пока они не создадут новые области для улучшения железа.
Так получилось, что текущий прогресс двигается железом. 15-20 лет назад это была совершенно пустая ниша, которую исследовали производители видеокарт и только сейчас она более-менее заполняется. И то не факт, что заполнится в ближайшее время — недавно, вон, TPU появились.
Как только будет достигнут реальный лимит железа, ресурсы перераспределят в направлениях экстенсивного развития: будут пересматривать архитектуры нейронок.
К тому же, железо развивалось на базе готовой инфраструктуры и готовых специалистов. А специалистов по тем же нейронкам — кот наплакал, и то каждый год появляются существенные прорывы. Количество специалистов по нейронкам только растёт, то есть бум в алгоритмической части ещё впереди.
Я летом копал перспективы Deep Learning и опубликовал довольно оптимистичный длиннопост у себя в блоге: https://tiendil.org/ai-will-not-or-will-replace-us-all/
Спасибо за комментарий, написал вам на гуглопочту
Как только будет достигнут реальный лимит железа, ресурсы перераспределят в направлениях экстенсивного развития: будут пересматривать архитектуры нейронок.
Интенсивного, конечно. Прошу прощения за описку. Оригинальный комментарий уже не могу поправить.
Атомную энергию научились использовать 70 лет назад. А экологисты до сих пор пишут, что затраченная энергия = углеродный след.
Я думаю, что помочь в разработке более продвинутого AI могут специалисты по детской психологии. Дети, как и взрослые, мыслят образами (моделями реальных объектов), ассоциациями (связи между образами) и учатся классифицировать новые объекты реального мира, полученные осязанием (видением, слушанием и т.д.), на основе имеющихся в памяти сведений: параметров образов. Грубо говоря, чтобы научиться отличать кошечку от собачки, ребенку нужно усвоить набор характерных для них признаков (спектры издаваемых звуков, форма морды, когтей, дневная активность и т.д.), а не бездумно анализировать тысячи фотографий и аудиозаписей для вычленения различий. Детей учат взрослые. Причем обучение заключается в направлении внимания, разъяснения (типа "образного" программирования), а не методом бросания в неизвестность с применением кнута и пряника в зависимости от полученных ответов ("обучение с учителем"). Меньше жестокости, больше внимания и доброты. Как-то так.
Отдача от глубокого обучения снижается. Что с этим делать