Comments 26
В настоящее время мозг — это единственный известный пример AGI (сильного искусственного интеллекта).
Уважаемый Скайнет, вы так немножко подставляетесь. Я считаю, что в мозгу у человеков всё-таки NGI - интеллект натуральный.
ну и если серьезней, вы исходите из нескольких предположений, которые слишком вольно интерполируете. например, вот это "выишрыш в интеллекте дается все большей ценой". Я полагаю, адаптативность здесь гораздо более специфичной может быть, чем вот простые интерполяции. Условно говоря, возможно наработать что-то типа хомскианских лингвистических структур в архитектонике, а имея оные - преодоление расстояния от Эллочки-Людоедки до Бальзака уже не стоит таких затрат, как обучение с "нуля". (вот, например, скажем, у гринды нейронов сильно больше чем у человека, но вот разумного с нашей точки зрения поведения она не проявляет - хотя если вспомнить Дугласа Адамса...)
А если "обучение" происходит вне мозга, и это всего лишь интерфейс подключения к ноосфере, или "общему" сознанию. Что конечно сейчас наукой отрицается. То есть есть общий для вида вычислительный центр. (муравьи, стаи птиц, косяки рыб, мегаполисы людей).
Но вопросы, которые ставятся в статье крайне хороши. Что такое данные для мозга? Почему мы учимся быстрее и нам нужно меньше данных, чем машине?
Очень давно думал об этом, думал о том, являемся ли мы вечными существами или натренерованой спермой. Поищу автора в оригинале.
Почему мы учимся быстрее и нам нужно меньше данных, чем машине?
В этом месте немного подробнее, пожалуйста. Почему Вы считаете, что человек учится быстрее? И почему Вы считаете, что человеку для обучения нужно меньше данных?
А если "обучение" происходит вне мозга, и это всего лишь интерфейс подключения к ноосфере, или "общему" сознанию
Хоть один пример у вас имеется подтверждающий эту эзотерику?
А у науки имеется тьма накопленных примеров подтверждающих, что все активности происходят именно локально в мозге. Возьмите двух школьников, один был на занятиях, а второй прогулял - и вот у них уже разный набор знаний, а это противоречит вашим "подключениям к общему сознанию". За прошедшие 100 лет накопилось достаточно информации какая часть мозга за что отвечает, есть куча примеров с травмами или удалением опухолей, после которых человек терял какие-то навыки или знания, при сохранении других.
Много веков назад ещё можно было считать, что мы такие сложные и умные потому, что чьё-то творение. Но сейчас то уже можно не мракобесничать, вполне достаточно научных данных накоплено, чтобы понимать, что мы именно процесс эволюции и являемся просто биологическими автоматами со своими программами (множеством разных). И также есть связанные с этим глюки-баги. Например возвратный гортанный нерв - чистейшая эволюционная неоптимальность (особенно не повезло жирафам). Или сетчатка глаза, которая почему-то вывернута наизнанку, светочувствительные клетки оказались не на границе со стекловидным телом, а глубоко внутри и свету нужно пройти несколько слоев других клеток. При этом на планете есть существа, у которых сетчатка глаза правильно сформирована, не помню точно, рачки какие-то, у них глаз сформировался правильно, светочувствительными клетками к свету.
В общем как обычно, "если в школе прогуливать уроки физики, химии и биологии, то жизнь до самого конца будет полна чудес и магии".
Любая современная кремниевая "нейросеть" представляет собой дискретную цифровую вычислительную систему, жёстко ограниченную рамками теории алгоритмов. Аналоговая белковая нервная система таких рамок не имеет.
Компьютер не может воспроизвести аналоговые физические / химические процессы - он лишь может их приблизительно (в рамках ограничений, задаваемых дискретной цифровой природой компьютеров) моделировать численными методами.Само понятие "бит" применимо к дискретным цифровым системам и неприменимо к аналоговым процессам. Любая попытка оцифровки аналогового сигнала приводит к его искажению и потери части информации (при оцифровке звука или видео используется низкая разрешающая способность человеческих зрения и слуха, позволяющая замаскировать эти искажения).
Синапс передаёт не дискретное числовое значение (как происходит в "нейросети"), а аналоговый сигнал сложной формы, представляющий собой пакет импульсов, в котором варьируется количество импульсов, их продолжительность и скважность. Как соотнести этот пакет импульсов с количеством цифровых битов в дискретных системах, современной науке неизвестно.Кремниевый "нейрон" - примитивная и неизменная алгебраическая функция. Всё, что мы делаем в процессе "обучения" - лишь меняем коэф-ты, на которые умножаются числа, поступающие на вход этой функции. При этом и сами "нейроны", и топология "нейросети" никак не меняются. Тогда как и биологическая нервная клетка представляет собой аналоговый компьютер, меняющий свое поведение во времени. И структура связей между нейронами мозга тоже меняется во времени.
То, что мозг состоит из зон - это только верхний уровень структуры. Каждая зона состоит из нервных клеток разного типа, имеющих разное поведение, и клеток, которые нейронами вообще не являются. И как работают не отдельные клетки, а весь ансамбль связанных клеток (для чего надо параллельно и синхронно снимать информацию со всех клеток ансамбля), наука сказать не может, т.к. у человечества нет технологий такого изучения.
Пункт о котором часто забывают: мозг - не самодостаточный механизм, а часть намного более сложной системы. Железы внутренней секреции вырабатывают гормоны, регулирующие работу мозга, а мозг влияет на работу желез внутренней секреции. Даже банальный кофеин уже меняет работу мозга, а можно вспомнить и то, что случилось с Аланом Тьюрингом, когда ему изменили гормональный баланс. Мозг - система с множеством обратных связей, которых даже близко нет в кремниевых "нейросетях".
Возможно, местами я излишне упрощаю, да и получились скорее тезисы, чем аргументы, но на мой вывод это никак не влияет: сильный ИИ не может быть создан в рамках дискретных цифровых "нейросетей".
Сильный ИИ, построенный на базе аналоговой системы - да, возможен. Но, опять же, у человечества в настоящий момент нет технологий построения аналоговых систем такой сложности. И речь даже не о мышке. Смоделируйте хотя бы нервную систему муравья, который при всего 250 тысячах нервных клеток проходит зеркальный тест. Но и это на данном этапе развития невозможно.
муравья, который при всего 250 тысячах нервных клеток проходит зеркальный тест
Нашел и почитал подробное исследование здесь: https://elementy.ru/novosti_nauki/432881/Muravi_sposobny_uznavat_sebya_v_zerkale
Кому лень читать - да, муравьи реально проходят зеркальный тест.
Наброшу на вентилятор гипотезу:
Вокруг муравьев в дикой природе имеется много естественных зеркал - капли воды (дождь, роса и т.д.). Если муравей выглядит нестандартно, испачкался например, его собратья по улью не могут его идентифицировать, происходит сбой механизма распознавания "свой-чужой" и такого муравья убивают. Поэтому в процессе отбора на генетическом уровне возник автоматический механизм прохождения зеркального теста - когда муравей бегает мимо капель, у него срабатывает алгоритм поиска аномалий в отражении и если аномалии обнаружены, муравей начинает реагировать и чистить себя.
Т.е. это не совсем настоящее прохождение зеркального теста, а скорее строгий генетический алгоритм, примерно как плетение паутины пауком.
Наброшу другую гипотезу что если бы муравьи за стеклом не просто бегали а про аналоги с зеркалом проходили ближе и пытались взаимодействовать с муравьем то и вел бы он себя также как с зеркалом, т.е. вывод эксперимента не верен
Вы же не думаете, что больше никаких исследований с тех пор по этой теме не велось: https://www.elibrary.ru/download/elibrary_49442473_81074349.pdf
Эти 5 пунктов содержат полезных знаний не меньше, чем сама статья) Я бы еще добавил нервную сеть в желудке, сердце, печени, влияние которых на принимаемые мозгом решения, особенно, когда нужно принимать волевые (рискованные и энергозатратные) решения, недооценена.
Любая современная кремниевая "нейросеть" представляет собой дискретную цифровую вычислительную систему, жёстко ограниченную рамками теории алгоритмов. Аналоговая белковая нервная система таких рамок не имеет.
Гипотеза, что в основе работы мозга лежат аналоговые вычисления пока никем строго не доказана. Есть довольно свежее исследование, авторы которого утверждают, что информация в мозге хранится и обрабатывается в дискретной форме.
Часто указывают такие ключевые отличия мозга от ИНС (второго поколения):
Мозг работает асинхронно, в то время как ИНС работают на базе синхронной (тактовой) логики.
В мозге используется импульсная двоичная логика, а в ИНС потенциальная двоичная логика.
В импульсных нейронных сетях (ИмНС, ИНС третьего поколения) эти различия преодолены. ИмНС могут быть реализованы как программно поверх классической фон-Неймановской архитектуры, так и аппаратно в виде нейроморфных чипов, где хранение и обработка данных архитектурно объединены. Последний вариант не обладает никакой особой «магией аналогового», но дает огромный выигрыш по скорости и энергоэффективности. Да, нейроморфные чипы иногда называют «аналоговыми», но это не означает, что в них происходят аналоговые вычисления.
Если рассмотреть цепочку: сверточная нейросеть с дропаутом → программная ИмНС → нейроморфный чип → мозг (при верности цифровой гипотезы выше), то где прочертить линию и сказать «вот тут все работает жестко в рамках теории алгоритмов, а вот тут уже нет»? Если вы включаете недетерминированные/стохастические алгоритмы в понятие «алгоритм», то все 4 примера работают «в рамках теории алгоритмов», если не включаете, то все 4 примера выходят за эти рамки.
Любая попытка оцифровки аналогового сигнала приводит к его искажению и потери части информации (при оцифровке звука или видео используется низкая разрешающая способность человеческих зрения и слуха, позволяющая замаскировать эти искажения.
Имхо, аналоговый сигнал в реальном аналоговом компьютере не имеет бесконечной информационной емкости из-за шумов и ограничения по частоте, это же касается и любых аналоговых аспектов работы нервной системы. По теореме Котельникова можно оцифровать любой реальный аналоговый сигнал и воспроизвести его без потери информации. По этой причине работа любого реального аналогового компьютера в принципе может эмулироваться на цифровом компьютере. Эмулировать невозможно только идеальный аналоговый компьютер (без шумов и с сигналами любой частоты), но таких в природе не бывает.
Синапс передаёт не дискретное числовое значение (как происходит в "нейросети"), а аналоговый сигнал сложной формы, представляющий собой пакет импульсов, в котором варьируется количество импульсов, их продолжительность и скважность.
Так само наличие дискретных импульсов указывает на дискретность передаваемой информации: спайк = 1, нет спайка = 0, это совсем не похоже на работу аналогового компьютера. А любые особенности, касающиеся количества, продолжительности и скважности импульсов, можно моделировать в цифровых системах.
При этом и сами "нейроны", и топология "нейросети" никак не меняются.
Топология мозга человека тоже практически не меняется за секунды – десятки секунд, но это не мешает человеку выполнять интеллектуальную работу на таком масштабе времени. Возможно, без эмуляции эффектов долговременной потенциации можно получить только «интеллект с антероградной амнезией», но это не является принципиальным ограничением для «силы» и универсальности такого интеллекта.
И структура связей между нейронами мозга тоже меняется во времени.
Насколько я понимаю, нет никакого принципиального запрета для создания классических ИНС, которые имели бы внутреннее состояние (подобное контекстному окну ChatGPT, но постоянное), или меняли бы свои синаптические веса не только в процессе обучения, но и в процессе работы ИНС. В импульсных нейросетях эти свойства вы получаете практически «из коробки»: создатели Intel Loihi прямо заявляют о «синаптической пластичности» и обучении в процессе работы.
И как работают не отдельные клетки, а весь ансамбль связанных клеток (для чего надо параллельно и синхронно снимать информацию со всех клеток ансамбля), наука сказать не может, т.к. у человечества нет технологий такого изучения.
Мне кажется, сейчас нейрофизиология вполне успешно занимается в том числе декодированием работы нейронных ансамблей.
Железы внутренней секреции вырабатывают гормоны, регулирующие работу мозга, а мозг влияет на работу желез внутренней секреции… Мозг - система с множеством обратных связей, которых даже близко нет в кремниевых "нейросетях".
Да, безусловно, в мозге есть эти обратные связи, но опять же, что принципиально мешает эмулировать работу гормонов «в кремнии»? И почему работа гормонов вообще необходима для создания сильного ИИ? Имхо, гормоны работают слишком медленно, чтобы быть важным «кирпичиком» сильного ИИ.
Смоделируйте хотя бы нервную систему муравья, который при всего 250 тысячах нервных клеток проходит зеркальный тест.
Если речь про исследование Are ants (hymenoptera, formicidae) capable of self recognition?, на которое ссылаются elementy.ru и русскоязычная википедия, то ее автор (Marie-Claire Cammaerts), к сожалению, имеет славу зарубежной Ирины Ермаковой ([1], [2]). В этом свете объяснение @bbs12 куда больше похоже на правду. Звучит удивительно, что муравьи честно проходят зеркальный тест, а собаки с на порядки более сложным мозгом (и тоже социальные) его заваливают. Любопытно увидеть новые исследования на эту тему в немусорных журналах.
Но и это на данном этапе развития невозможно.
Копирование нервной системы муравья проблематично, потому что у нас на данный момент нет технологии «считывания» нейронных связей для достаточно сложной нервной системы. Плюс моделирование работы нейрона со всеми биологическими деталями требует очень больших накладных расходов «в железе», что хорошо видно по проекту OpenWorm. Но никто не доказал, что такое детальное копирование принципиально необходимо для сильного ИИ.
Да, эволюционные решения иногда оказываются элегантными, но иногда они довольно кривые и избыточные, потому что работают по принципу «я его слепила из того что было». Создавая самолеты, мы вдохновлялись полетом птиц, но не копировали его один-к-одному и это не помешало нам создать эффективные летательные аппараты и даже преодолеть звуковой барьер, на что ни одна птица не способна. Лично мне кажется, что заявления вроде «сильный ИИ прибит гвоздями к гипотетическим аналоговым (или квантовым) вычислениям в мозге» – это такой современный вариант замаскированного витализма.
Ответ достойный отдельной статьи! Может сделаете отдельную публикацию на эту тему с расширением идей и мыслей из комментария?
Спасибо за добрые слова. Но дело в том, что я не являюсь специалистом в области ИИ или нейрофизиологии, просто с интересом читаю материалы на эту тему для себя. Публикация – это не просто комментарий, я периодически вижу, как даже научные журналисты делают большие ошибки, а в моей статье точно ляпов будет на порядок больше =), особенно на такую сложную тему. Я сейчас собираю материал для статьи на смежную тематику, но более подъемную для меня: как опубликую, пришлю вам ссылку.
В принципе, с числом 1000 синапсов на нейрон удобно работать, а нас в рамках этого анализа интересует лишь порядок величин. Если всерьёз воспринимать эти цифры, то можно ожидать, что во всей коре мозга насчитывается примерно 16 миллиардов нейронов, что соответствует 16 триллионам параметров. Это примерно на 2 порядка больше, чем в больших языковых моделях, таких, как GPT3.
Только синапс одним параметром не закодируешь. Считать надо не синапсы, а объем информации, который содержится в структуре мозга.
Для дрозофилы (0.5 * 10^6 синапсов) коннектом весит примерно 100гб, если считать по 4б на параметр, то это примерно 0.25 * 10^11 параметров, или ~10^20 параметров (от десятков то сотен эксабайт, сравнимо со всем объемом информации, созданным человечеством) для коннектома человека.
Второй момент - крайне неэффективное качество кодировки в ллм, т.к. это просто фидфорвард сети. Более совершенные сети могут без проблем кодировать сотней параметров то, на что гпт потребуются миллиарды (или даже триллионы) параметров. Так что следует прибавить еще с минимум с полдесятка-десяток порядков - итого, в голове у человека аналог трансформера примерно на 10^25-10^30 параметров (и это самые нижние оценки).
Работал не так давно с whisper, очищал LJ Speech Dataset, идея была в том чтобы искать несовпадения между текстом из датасета и STT по аудио, oh boy.. Для начала борьба с генерацией чисел вместо слов и обрыв генерации если сказали слово, текст которого является спец символом, например, фунт стерлингов, поковырялся с токинайзером, сделал. А вот дальше следим за руками этой "превосходящей человеческий слух модели" (некоторые примеры под спойлером). Модель пропускает слова, генерит отсебятину, повторяет какой-то токен пока не кончатся символы и предсказать в каких случаях она себя так будет вести у меня не получилось. Насколько я помню, она использует какой-то общий кусок с GPT3 поэтому периодически "умничает" добавляя слова или целые предложения, которых и близко не было в аудио.
Hidden text
Это очень много, но всего на 1-2 порядка больше, чем в современных крупномасштабных системах.
Я слышу об этом уже лет 40, что не хватает 1-2 порядков...
Насчёт количества данных при обучении живого мозга.
Если задуматься, то наш мозг учится на довольно небольших "выборках".
Наиболее сильно это видно на примере физических навыков. Например, имеем тело способное выполнить некое физическое упражнение: сальто, удерживание равновесия на снаряде и так далее.
Понятное дело, если физических кондиций недостаточно, то сперва человек качает их. Но если достаточно, то он выполняет десяток упражнений (например тех же сальто) с инструктором, а затем, выполнив около сотни становится уже "продвинутого уровня" - может контролировать каждую фазу упражнения, внося коррективы на ходу.
То же самое с языком. Те, кто имеет своих детей, если задумаются, то подтвердят, что ребёнок начинает правильно строить фразы не пропуская через себя гигабайты текстовой информации.
Получается, что модель управления телом или языковая модель - эти вещи, как бы уже есть в мозгу человека и, условно говоря, уже имеют некий коэффициент обученности. Учась разговаривать человек просто как бы "дообучает" свою нейросеть, но не строит все модели заново.
Как-то так.
ИМХО, разумеется.
А какие из этого выводы? Что если построить сканер нейронов мозга, можно эти модели заимствовать у природы. Причём, возможно, не до конца понимая как они работают. Например, получить копию естественного сознания не проходя стадию создания сознания искусственного.
очень понравилось.!!!
наскока я понял кора не главная, мозжечок рулит. во-первых он просто сложнее, во вторых даже у крысы "достаточно мозгов" при ее ничтожных размерах и при практически отсутствии коры. Возможно дело не в количестве (как у чата).
Далее, текущие модели ИИ (все) собственно эмулируют кору (в самом общем смысле) а не мозжечок "мозги", поэтому и "думать" не умеют, но считают хорошо )).
Еще далее, судя по всему модель ИИ статична (сама по себе), а мозгов - нет (в общем случае).
По «определению достоверности» интересно, что это и сегодня такой «огромный открытый вопрос». Фрейд в 1925г. описал отрицание как начало интеллектуальной функции у человека. В контексте тестирования реальности (= «присваивания достоверности»), - как механизм сохранения собственной связности человеческим Я. То есть мотив состоит в (со)хранении (отрицаемых) данных.
Если я правильно понимаю, вещи вроде обратного распространения нацелены на эффективное удаление неподходящих данных. Для человеческой личности такая попытка в отношении значимого факта чревата психозом, а главное – является деятельностью пусть мозга, но не его интеллекта.
2.) Нейроны в мозге сложнее, чем в искусственных нейронных сетях. Так и есть, но я полагаю, что этот эффект незначителен по сравнению с количеством синапсов. Определённо, нейроны способны, например, подстраивать свой порог под силу входного сигнала; кроме того, их работа различным образом модулируется под действием тех или иных нейромедиаторов. Можно предположить, что при наличии таких свойств каждый нейрон обладает 5 дополнительными параметрами обучения. Это мизер по сравнению с 1000-10000 параметров, закодированных в его синапсах. С другой стороны, само наличие этих параметров означает, что мозг гораздо лучше нейронки способен адаптировать обучение «на лету», исходя из совершаемых умозаключений, тогда как нейронка вычисляет всего лишь фиксированную функцию. Вероятно, это очень полезно для динамической корректировки поведения, но в долгосрочной перспективе должно слабо сказываться на весовом обучении.
Этот момент со сложностью биологического нейрона сильно недооценивается. В последнее время проводилось их моделирование с помощью ИНС, как пример такой работы. Пирамидальные нейроны моделируются сетями из 5 - 8 слоев формальных нейронов. Что это значит? Условно число слоев в ИНС сокращается грубо в 5 раз. Например, вентральный тракт зрительной системы приматов состоит из 5 отделов, которые моделируются 5 слоями в сверточной сети в LeNet-5, первой удачной сети разработанной ЛеКуном, которая распознавала циферки. Однако в мозге условно 5 * 6 = 30 слоев, где 6 число слоев в коре. Последующая гонка с количеством слоев, с улучшенной эффективностью распознавания, привела к глубоким сетям с числом слоев 100 и более, таким как GoogLenet. Возможно причина такого расхождения как раз в сложности биологических нейронов. Если 30 * 5 = 150, то получаем число слоев в эффективных глубоких сверточных сетях по эффективности распознавания сравнимых с возможностями зрительной системы. Обращаю внимание, что все оценки условные с целью демонстрации порядков.
И это еще не все. Биологические нейроны и сети функционируют в динамическом, импульсном, асинхронном режиме с обратными связями, что лучше моделируется рекуррентными сетями. Это объясняет их энергоэффективность и пластичность недостижимую в традиционных ИНС, которые являются статическими сетями. Все эти характеристики пытаются достичь в нейроморфных решениях.
Очень интересная статья. Автор мужественно взялся за междисциплинарную тему и попытался дать свои ответы на вопросы, о которых профессиональные учёные зачастую «увиливают», поскольку они сложны и не обещают быстро получить результаты, которые возьмутся публиковать журналы с хорошими рейтингами. А область развивается очень быстро.
Ну а комментарии к статье посто восхитительны.
Простите, не смог удержаться от комплиментов. Но таких статей даже на Хабре очень мало, не говоря уже об остальных платформах.
Рискну теперь внести пару своих сомнений. Я называю их так, поскольку у меня нет оснований назвать их критикой положений статьи.
Сдаётся мне, что большая часть клеток мозга всё-таки универсальны и только клетки областей, географически близких к сенсорам (например - глазам) и «исполняющим органам» (мышцам и т.д.) специализированы. Об этом говорят и современные результыты измерения активностей мозга и жизнь людей с травмами мозга. Так что исходный посыл, исходящий из результатов картирования мозга, скорее всего неверен.
Перефразируя и дополняя соображения некоторых высказавшихся до меня, рикну примкнуть к мнению некоторых видных исследователей и практиков ИИ, полагающих, что «hardware“ мозга и кремнивыех компьютеров, на которых работает ИИ, радикально различны. Просто исследователи видят в структурах мозга то, что ищут. Грубо говоря, на что у них хватает фантазии. Напомню, что ещё полторы сотни лет назад люди практически не знали понятия «энергия» и «электромагнитные волны» и «не видели» их. Очевидно, что сегодня человечество только подходит к понимаю информации как компоненты окружающего мира.
Мозг и системы машинного обучения: сравнение масштабов