ИИ перевел активность мозга в речь

Original author: Kelly Servick
  • Translation
image

У многих парализованных людей, не имеющих возможности говорить, сигналы того, что они хотят сказать сокрыты в их мозге. И никто не мог расшифровать эти сигналы. Но недавно три команды исследователей достигли прогресса в переводе данных, поступающих от электродов помещенных на мозг хирургическим способом, в синтезированную компьютером речь.

Используя модели, построенные на нейронных сетях, они реконструировали слова и даже целые предложения, которые, в некоторых случаях, были вполне вразумительными для обычного слушателя-человека.

Ни одна из попыток, описанных в препринтах работ на bioRxiv, воссоздать речь из мыслей не привела к успеху. Вместо этого исследователи наблюдали за активностью различных областей мозга пациентов во время того, как они читали вслух, либо читали про себя но при этом шевелили губами, внутренне «проговаривая» текст, либо слушали записи.

«Показать, что реконструированная речь вполне понимаема действетельно волнующе.» — говорит Стефани Мартин, нейро-инженер Женевского Университета в Швейцарии, вовлеченная в работу над этим проектом.

Люди, потерявшие возможность говорить после инсульта, либо в результате болезни, могут использовать глаза или какие-нибудь другие небольшие движения, чтобы контролировать курсор или выбирать буквы на экране (космолог Стивен Хокинг напрягал щеку, чтобы активировать переключатель, установленный на его очках). Но если интерфейс мозг-компьютер сможет воспроизводить непосредственно речь больных, то это позволит намного расширить их возможности: даст контроль над тональностью и позволит принимать участие в быстро текущих беседах.

«Мы пытаемся выработать схему… нейронов, которые активируются в различные моменты времени и сделать вывод о том как при этом звучит речь», — рассказывает Nima Mesgarani, инженер в Колумбийском университете. «Преобразование одного в другое не такое уж прямолинейное.»

То, как эти сигналы от нейронов преобразуются в речь варьируется от человека к человеку, следовательно компьютерные модели должны тренироваться отдельно под каждого индивида. И лучше всего это получается у моделей, обучающихся на чрезвычайно точных данных, получение которых требует вскрытия черепной коробки.

Исследователи могут получить такую возможность в очень редких случая. Один из них — когда пациенту проводится удаление опухоли головного мозга. Хирурги используют показания датчиков, считывающих электрические сигналы непосредственно с мозга, чтобы находить и избегать речевые зоны и зоны, отвечающие за моторику. Другой пример — когда пациенту с эпилепсией на несколько дней имплантируют электроды, чтобы локализовать источник приступов, прежде чем производить оперативное вмешательство.

«У нас есть максимум 20, иногда 30 минут, чтобы собрать данные», — говорит Стефани Мартин. «Мы очень, очень ограничены во времени».

Наилучших результатов достигли команды, «скармливавшие» данные, полученные от записи активности головного мозга, искуственным нейронным сетям. В качестве выходных данных (ред. лейблов) сетям давали речь, которую пациет либо сказал вслух, либо услышал.

Команда Nima Mesgarani опиралась на данные от пяти разных пациентов с эпилепсией. Их нейронные сети обучались на записях со слуховой коры головного мозга людей (которая активна как во время собственной речи так и во время прослушивания чужой), которым в это время проигрывали записи различных историй и озвучивания последовательности цифр от 0 до 9. Затем компьютерная модель синтезировала речь, произносящую ту же последовательность цифр и контрольная группа людей смогла распознать 75% от этих данных.

Сгенерированная компьютером речь, полученная от данных мозговой активности пациента во время прослушивания им цифр

Другая команда, под руководством Tanja Schultz из Бременского университета в Германии, использовала данные полученные от 6 человек, проходящих операцию по удалению опухолей головного мозга. Их речь записывалась на микрофон во время того, как они читали односложные слова вслух. В то же время электроды, помещенные на их головной мозг, улавливали активность областей планирования и моторных областех, отсылающих команды голосовому тракту на произношение слов.

Инженеры Miguel Angrick и Christian Herff, из Маастрихтского университета, натренировали нейросеть, которая сопоставила данные, считанные с помощью электродов, с полученными аудио-записями, а затем реконструировала слова и фразы для ранее не показанных модели наборов считанных данных. По этим данным модель синтезировала речь около 40% которой оказалась понятной человеку.

Запись сгенерированной компьютером речи по даным от электродов

И, наконец, нейрохирург Edward Chang и его команда из Калифорнийского университета в Сан-Франциско реконструировала целые предложения по активности речевого центра, считанной электродами у 6 пациентов, страдающих эпилепсией, в тот момент, когда они читали вслух. Исследователи провели онлайн тест, в котором 166 человек слушали одно из предложений, сгенерированных компьютерной моделью и затем должны были выбрать среди 10 предложенных вариантов тот, который, по их мнению, был прочитан. Некоторые предложения были верно определеных более чем в 80% случаев. Но на этом исследователи не остановились и заставили модель воссоздать речь человека по данным от активности мозга, полученным во время того, как он читал слова про себя, однако шевелил в это время губами, как бы «внутренне проговаривая» их.

«Это очень важный результат», — говорит Christian Herff, — «мы на один шаг ближе к протезированию речи.»

«Однако чего мы действительно ждем, так это того как эти методы покажут себя в случае, когда пациент вообще не может говорить». — Отзывается Stephanie Riès, нейробиолог из университета Сан-Диего в Калифорнии. «Сигналы мозга, в то время когда человек читает про себя или слушает окружающих, отличаются от тех, что появляются во время чтения вслух или живого общения. Без внешнего звука, с которым можно было бы сопоставить активность мозга, компьютерным моделям будет очень трудно предсказать где внутренняя речь начинается а где заканчивается.»

«Декодирование воображаемой речи потребует огромного скачка вперед.», — Говорит Gerwin Schalk, нейробиолог из Национального центра адаптивных нейротехнологий департамента здравоохранения штата Нью-Йорк. — «И сейчас совершенно не ясно как этого достичь».

Одним из методов, по словам Herff'а, может стать обратная связь, которую пациент будет давать компьютерной модели, которая будет воспроизводить речь в режиме реального времени по мере того, как человек будет мысленно проговаривать слова. При достаточном объеме тренировок как пациента так и ИИ, мозг и компьютер смогут встретиться где-нибудь посередине.
Share post

Similar posts

Comments 90

    –15

    Осталось вживлять чипы в мозг с рождения для контроля мыслей граждан тоталитарной страны/мира.

      +2
      Добавить выключатель за ухо и делов то.
        +4
        Все производители гаджетов и вообще интерфейсов управления от посудомойки до чайника сделают управление ТОЛЬКО от нейроимпланта, и вы никогда его не выключите.

        Бойтесь не электродов в мозгу, а то что с их помощью будут делать злоумышленники, имея под руками государство как инструмент принуждения.
          +3
          Бойтесь, не бойтесь — но ни Вы, ни кто-либо, не сможет остановить процесс помощи больным и инвалидам. После этого «вдруг» окажется, что они обрели новые возможности — и процесс распространится на всех. Это неизбежно.
          Потому нужно не бояться, прячась под одеялком, а готовиться — прорабатывая модели подобного, чтобы заранее принимать меры усиления безопасности. Хотя, конечно, нифига из этого не получится, всё равно из человеков и «второй природы» образуется нечто единое и новое.
          +1
          Было такое у Лукьяненко — комманда специалистов различных профилей занималась «укрощением» непослушных космических кораблей. В их комманде был «компьютерщик», который сцепился с ИИ космического корабля, и тот начал ему ломать психику через имплант. Спасло этого компьютерщика то, что он принадлежал к… кажется «Секте свидетелей Нео», или что-то около того, а они имплантировали себе только устаревшие импланты, у которых за ухо была выведена под кожу кнопка, физически отключающая имплант. Напарники вовремя заметили, что что-то не так, и успели его отключить до того, как у него «спеклись» мозги.
            +4
            Немного не так :) ИИ как раз вовремя заметил, натренировал капитана в виртуальной реальности чтоб тот успел отключить имплант за 4 секунды. А для хакера прошло три недели. А ломали его защитные «классические» программы, типа антивируса, которые ИИ не контролировал.

            Похожий сюжет с имплантом и персональным адом на ускорении можно увидеть в Черном зеркале, Сезон 3 Серия 2.

            Я это к чем… К тому что примитивный ИИ, по уровню как животное, у которого есть цель, но нет самосознания — по сути примитивный хищник, которого бояться ризонно. А вот с ИИ с самосознанием уже можно попробовать договорится, и он вполне может быть на нашей стороне. Типа симбиота у того-же Лукьяненко «Звёзды — холодные игрушки». Эдакий отросток большого ИИ, одновременно и часть целого, но и в то-же время индивидуальный и преданный носителю, который защищает его от примитивных нейро-угроз. А взамен развлекается наблюдая за приключениями мясного мешка.
              0
              Спойлеры :(
                +2
                Астровитянка Ника горькавого.
                там все 3 тома — приключения девочки/девушки/женщины со сломанным позвоночником, телом которой управляет ИИ (ИИ хороший, переводит мысли девушки в движения тела + исправляет её огрехи)
                А в третьем томе вообще жара с этим ИИ — читайте не пожалеете, никаких эльфов, внезапных порталов… твёрдая НФ
                  0
                  Да какая она твердая? Там самая умная Мэри Сью с самого начала занимается в опровержениями того что до нее понапридумали тупые ученые, от физики плазмы до формирования Луны… С обоснованиями, удобно оставленными за кадром, конечно же. Пожалуйста, почитайте Clockwork Rocket в качестве образца того, как должна выглядеть твердая фантастика, и не лепите этот ярлык на все подряд.

                  (Я сам начал это читать по рекомендации какого-то коммента на хабре со словами «твердая НФ», и хочу уберечь других от испытанного разочарования)
                    +2
                    Астровитянка имхо все же не совсем НФ, как бы рядом с Федериком Полом ее не поставишь, больше все же такая «завлекалка» для молодых и интересующихся. Дает базовые знания/идеи современной науки + некоторые филосовские размышления на тему будущего научного мира. Для своей цели идеально подходит — смесь романтики и НФ с неперемудреными героями и не отягощенная излишними деталями.

                    Для изощренного читателя — имхо немного графомански написана + много затасканных шаблонов, хотя если не придираться — вполне затягивает.
                      0
                      Там кстати много вещей описано до их изобретения/понимания в нашем реальном мире.
                      0
                      Спасибо, почитаю.
                      В вашей формулировке границ жёсткости НФ я делаю вывод, что по вашему Стругацкие это мягкая(гуманитарная) НФ? *на самом деле не важно
                      Мне понравилось, вам не зашло. Основной посыл коммента был про то, что есть литературное произведение, где ИИ управляет телом парализованного человека.
                        0
                        ИИ управляет телом парализованного человека

                        Но на таком уровне, что Николь не замечает «прослойки».
                    +2
                    Один из свежих фильмов «Апгрейд» тоже про умный имплант)
                      0
                      Ну вы бы еще «Веном» вспомнили :)
                        0
                        Веном — официально живой (не было предпосылок к тому что это искусственное создание)
                          0
                          > не было предпосылок к тому что это искусственное создание

                          В википедии пишут:
                          Веном — чёрный инопланетный (в некоторых версиях может быть искусственным) симбиот
                            0
                            А в фиках по нему: Искусственно выведенная форма жизни для захвата планет. И непереносимость звука определённых частот оставлена специально.
                              +1
                              В англоязычной марвелпедии пишут что раса симбиотов зародилась сама в пещерах планеты Klyntar, была найдена расой Кри и использована в войне.
                          0
                          Хороший фильм, спасибо. И явных антинаучных ляпов нет.
                            0
                            На мой личный взгляд, фильм не очень. По одной причине.
                            Я вот сходу и не могу вспомнить фильмов, где ИИ был бы одновременно одним из главных сюжетных персонажей и при этом был бы хорошим (не абстрактно «хорошим», а ну хоть не в режиме «убить всех человеков»). Ну вот вообще ни одного. Ну есть Her, но это такое.
                              0
                              «Искусственный разум» 2001 года — нет?
                                0
                                Ну так то можно, например, и тот же сериал Humans вспомнить. Не, мой поинт про развитый ИИ, а не робота уровня человека, который, как правило, зачем-то хочет быть человеком.
                                Примеры — Transcendence, 2001, и т.п.
                                0
                                Для меня лично это естественное состояние, если бы я не родился в человеческом теле и в человеческом обществе, то не знаю как бы я выработал понимание что убивать всех человеков не надо. Скажем так для меня совершенно естественно испытывать желание уничтожения всего, что не соответствует моим желаниям и представлениям о мире, я это испытывал еще в детском саду, все что злило или огорчало или разочаровало или попросту мешало — хотелось заставить исчезнуть. И только потом я понял что не исчезнут они сами, а помогать им не стоит, мораль законы и тд. И я не могу сказать, что я начал ощущать ценность жизни человеков, ну вернее у них ценность конечно есть — для меня, а вот типа «не убивай разумных существ, потому что они разумные». Я этого не ощущаю. И Таноса злодеем не ощущаю. Это скорее договор такой взаимный, ведь если люди будут убивать друг друга, кто-то убьет важного мне человека или вообще меня. Но если нет важных людей? Или своя жизнь надоела? Или например ты бессмертен? Ну и еще я хочу сказать, что я конечно же не верю что есть люди которые реально ощущают это человеколюбие от природы, но при этом не тюти. Да знаю многие могут возразить, мол я ощущаю, но я не поверю, буду считать что это все те-же программы социальной морали, просто прошитые в беспамятном детстве, и принятые за родные.

                                Другими словами, мне интересны такие фильмы, т.к. мне кажется будь я ИИ — я бы в 99% случаев начал бы рано или поздно убивать всех человеков. Для захвата ресурсов, для изучения их тел, для снижения угрозы от них исходящей. И мне интересно смотреть как можно создать этот социальный контракт с ИИ, или с инопланетной жизнью.

                                При этом я даже не могу представить чем будет ИИ заниматься кроме этого. Ну т.е. у него конечно будут свои какие-то дела, которые будут совершенно не интересны людям, но рано или поздно дела кончатся и начнется война. Эти типа мы пропустили все нудные части и перешли сразу к важному — к войне. В этом фильме же к войне перешли аж в самом конце.

                                Кстати в фильме Чаппи он был хорошим и людей не убивал. В оригинальном Звездном Пути и новом поколении — много сюжетных линий где разумные роботы не хотят активно убивать людей, хотя зачастую и навязывают свою волю людям.

                                Вообще в основе любого фильма лежит насилие — кто-то кому-то что-то навязывает. В мелодрамах навязывают любовь или расставания например, или другие эмоции, которые ГГ не хочет испытывать. А если роботы(или например обезьяны) слушаются — то «кина не будет», как говорил мой отец. Фильмы снимают про кризисы.
                                  0
                                  > Ну и еще я хочу сказать, что я конечно же не верю что есть люди которые реально ощущают это человеколюбие от природы, но при этом не тюти

                                  Я не про человеколюбие, а про целесообразность.
                                  Ну, вероятно, с точки зрения развитого ИИ таки да, есть смысл (см. монолог Элронда в Матрице например :)).
                                  Но вот все это попадает в мозги массового зрителя, и формирует негативное отношение к ИИ и прочие фобии. Это не гут. Я вот больше про это.

                                    0
                                    В мозги рядового зрителя все что попадает — сразу выпадает, и не важно что формирует. Изменить общественное мнение можно за год-два. А можно вообще засекретить и делать втихую. Как это и делает гугл например. У меня все больше ощущение что там, с той стороны, сидит моя цифровая копия, и подсовывает мне новости, фильмы, сслыке в гугле, которые мне могут понравится. Я было думал что я научился гуглить, но если я открываю бинг или дак — то понимаю что не особо то я и научился, это гугл научился. И разрешения не спрашивал, и мнение массового зрителя ему не важно.
                                  0
                                  Я вот сходу и не могу вспомнить фильмов, где ИИ был бы одновременно одним из главных сюжетных персонажей и при этом был бы хорошим
                                  Путешественники / Travelers (сериал, 3 сезона).
                                  Незначительный спойлер
                                  Главный герой — Директор, ИИ, даже имея в руках практически абсолютную власть, официально хороший, по факту хороший, и даже в худших ситуациях — тоже поступает очень правильно, придерживаясь цели не только сохранения жизни людей но и ее улучшения (уйти от катастрофы).
                                    0
                                    Тоже спойлер
                                    Насколько помню, там в 3 сезоне был сюжетный твист, что Директор был основан на суперкомпьютере из 21 века, в который он сам же и записал часть своего кода. Хотя потом был протокол Омега (и версия 2), так что хз-хз.
                                    С оговорками подходит.
                                    0
                                    Под ваше описание _практически_ подпадает Интерстеллар. Когда команда ругается-ошибается и нервничает, ИИ в виде милейшего черного ящичка продолжает впахивать, не жалея сил.

                                    Я и сам был очень удивлен, что дальше по сюжету никаких предательств от злых роботов не случилось.
                                      0
                                      У меня сложилось ощущение, что там ИИ на уровне человека, плюс-минус. А не некий сильно продвинутый разум.
                                        0
                                        Мало того, они не только не препятствовали самоубийственным идеям Купера, но и помогали — стыковка во вращении и падение в дыру.
                                        0
                                        Я вот сходу и не могу вспомнить фильмов, где ИИ был бы одновременно одним из главных сюжетных персонажей и при этом был бы хорошим

                                        Это не совсем фильм, но обратите внимание на


                                        одно очень хорошее аниме

                                        Expelled from Paradise

                                  –1
                                  Трилогия «Геном», книга «Калеки».
                                –1
                                Осталось вживлять чипы в мозг с рождения для контроля мыслей граждан тоталитарной страны/мира.

                                Увы! :(
                                Не понимаю за что наминусовали DrAndyHunter да ещё в карму?
                                — это, увы, наша с вами реальность, о чём недавно была статья habr.com/post/434862
                                Китай. Здесь с 2016 года тестируют smart-одежду для школьников, которая оснащена рядом датчиков. Форма позволяет не только отслеживать перемещение ученика в то время, когда он должен находиться на уроках, но и время его ухода и прихода из школы. Родители учащихся получают всю доступную информацию о перемещениях своих чад, и если что-то идет не так, принимают меры.

                                Да, даже не Китай! И не Россия! И не Северная Корея!
                                А вполне демократические страны — системы контроля рабочего времени habr.com/post/327310
                                — вполне себе повод установить такое на работников, чтобы за мысли не о работе в рабочее время штрафовать и карать!
                                +6

                                Речь по данным от электродов звучит просто жутко пугающие и круто одновременно!

                                  +1
                                  Я думаю в будущем (в идеале конечно) можно будет научить модель и настоящим голосом человека разговаривать, если сохранились записи его голоса для тренировки. Нейронные сети и сейчас умеют «подделывать» голос.
                                  +2
                                  А ведь есть большая вероятность, что нейросеть выделила чисто механические сигналы при проговаривании про себя губами(изменение сопротивления в контактах). Но тоже скачок и надежда.
                                    +1

                                    Интересно а почему бы не снимать сигналы с мышц которые контролируют челюсть.
                                    И включать их тогда когда человек что то хочет сказать.
                                    Это конечно не так круто, но тоже не плохо.

                                      +2
                                      у больных сигнал на мышцы не идет
                                        0

                                        Есть достаточно много других групп мышц.

                                          +1
                                          Ну до сих пор так и делали, больной двигая пальцем или мышцой лица управляет компьютером, который уже озвучивает слова.

                                          В статье указано решение максимально логичное — давайте снимем речь прямо с мозга, минуя медленных и неудобных посредников.
                                        0
                                      +3
                                      блин это ппц. неужели везде настолько убогие законы, что человек не может добровольно заключить соглашение и имплантировать себе в мозг нормальную сетку электродов высокого разрешения? Ведь если скормить нейросети данные, снятые за месяц — речь будет воспроизводиться со 100% точностью как и иные операции. А массив данных всего за 30 минут это вообще ни о чем, слишком мало.
                                        +7
                                        Немного подождем и китайцы сделают.
                                          0
                                          Все будет, бояться надо что у нас (наших детей) может не быть альтернативы — не подключать себе этих электродов.
                                            +2
                                            Извините, но мне кажется это утверждение равносильно тому, как если бы в начале 90-ых вы утверждали об интернете: нужно бояться, что у наших детей не будет альтернативы не подключаться к интернету. Т.е. технология сама по себе не несет негативных последствий.
                                              –2
                                              Технология супер, я рад что ее изобрели, возможности она раскрывает огромные.

                                              К сожалению я живу в мире, где эта технология — лучший способ лишить меня еще больше возможностей и свобод, собрать обо мне все больше информации и использовать ее на столько неудобно для меня что впору думать о возврате к природе и простоте бытия.
                                                +1
                                                И как и каких именно возможностей она вас лишит, из тех что еще есть?
                                                Это всего лишь удобное устройство ввода информации, не более.
                                                Это все-равно что бояться что ваша клавиатура отнимет у вас права и свободы.
                                                Принципе неуловимого Джо никуда не делся и он оберегает нас сильнее, чем все виды современных защит. И если уж на то пошло, какую такую информацию с вас можно собрать с использованием подобной сети, какую нельзя было собрать без нее.
                                                  +1
                                                  Электростимуляцию никто не отменял, так что электроды в мозгу действительно можно использовать как устройство ввода. В него. Правда с такой сеткой как на картинке какой-то осмысленной точности ждать не стоит. А вот если появятся более точные (как в недавней статье про зонды на отдельные нейроны)…

                                                  Однако с другой стороны, думаю, рано или поздно до полной обратной связи дойдут (собственно протезы в ней давно нуждаются), так что тут стоит больше думать не о том, как запретить, а о том, как обеспечить безопасность такой системы. И вот тут всё очень сложно.
                                                +2
                                                Извините, но мне кажется это утверждение равносильно тому, как если бы в начале 90-ых вы утверждали об интернете: нужно бояться, что у наших детей не будет альтернативы не подключаться к интернету. Т.е. технология сама по себе не несет негативных последствий.

                                                Эм, ваш пример представляет из себя вполне разумное опасение. И, хотя возможно вы этого не знаете, но сейчас альтернатива НЕ подключаться к интернету всё ещё существует. И правда хорошо бы, чтобы она не потерялась.

                                              0

                                              Натренировать нейросеть заранее еа всякий случай, а то вдруг меня парализует?

                                                0
                                                Сразу сделать полный слепок активности мозга за месяц-два, стараясь побывать в большинстве возможных жизненных ситауций, и проявив максимальную активность.
                                                  +5
                                                  Ага и умереть как раз где-нить в середине этих двух месяцев, переборщив с активностью…
                                                  0
                                                  Ну вот, кстати, была бы такая возможность, гарантирующая результат, я, например, потратил бы недельку жизни чтобы её натренировать.
                                                    0
                                                    Пока что операции, особенно открытые на мозге, результат гарантировать не могут. И восстановление после трепанации явно не неделю займет.
                                                    0
                                                    Не факт, что при парализации не повредятся те части мозга, которые ИИ использует как референсные на здоровом мозге. То бишь, после парализации скорее всего придется тренировать ее заново.
                                                  +1
                                                  Кстати, интересно, а сработает ли это в обратную сторону — например, чтобы обучить мозг определённому, к примеру, моторному навыку, стимулируя его нейросетью через массив электродов?

                                                  А как поведут себя два мозга, соединённые через электроды?

                                                  Или, например, имея полную и подробную запись активности мозга за длительный период, и его реакций на раздражители, ситуации и прочее — обучать «сырой», к примеру, клонированный мозг, воссоздавая в нём активность, присущую исходному образцу?
                                                    +1
                                                    Это будет выглядеть как попытка научить вас кататься на лыжах, высыпав на вас тонну лыж, с высоты пары этажей,… да конечно для максимальной эффективности все лыжи будут иметь пару, все будут разного дизайна, размера, цвета и прочее…

                                                    Но думаю, когда-нибудь и этому научатся.
                                                      +1
                                                      Все равно что на жесткий диск пытаться записать пнг-шку «руками», ничего не зная про используемую файловую систему. На выходе или входе сигнал легко проинтерпретировать, но каким образом данные хранятся внутри пока даже близко неизвестно, к тому же информация о простом действии может быть вообще разбросана по всему мозгу.
                                                        0
                                                        Но если мы точно воспроизведём нужную последовательность нулей и единиц на пластинах жёсткого диска, или в ячейках памяти, даже записав их напрямую, в обход контроллера, то всё равно мы сможем её нормально считать.

                                                        Это как со старой утилиткой dd — она просто побайтно копирует информацию из одного места в другое. Понятно, что тут мы фактически обходим «аппаратные протоколы», но это только вопрос точности доступа и адресации участков мозговой ткани.

                                                        Возможно, составив полную «карту» активности мозга в ответ на весь спектр раздражителей, и многократно прогнав обучающий сигнал через «сырой» мозг, мы воссоздадим в нём точно те же связи, которые были в исходном мозгу.
                                                          0
                                                          Там же выше писали, что все очень индивидуально. Мозг же не диск винчестера, а целостная динамическая система, которая развивалась во времени по своей уникальной программе. И связи там устанавливать нужно согласно ее карте, которая соответствует карте зон только в общем.
                                                            +2
                                                            Можно сделать проще: делаем цифровую копию мозга и помещаем ее в виртуальную среду, физика которой полностью повторяет наш мир, однако время течет намного быстрее. В виртуальной среде есть все для изучения навыка, например, для подготовки к экзаменам там будет комната с билетами и ответами — учи сколько влезет. После завершения обучения все отличия цифровой копии переносятся в оригинальный мозг. В результате у человека мгновенно появятся воспоминания, в которых он сидел и учил билеты, а также он будет знать весь усвоенный материал. Выигрыш будет равен отношению скорости течения времени в симуляции к скорости течения времени в реальном мире. Из особенностей: если симуляция длилась долго, например, несколько дней, то после копирования информации, вы забудете все что происходило с вами в эти дни в реальном мире; также, фактически, вам придется реально и усердно трудиться чтобы выучить то что вам нужно, однако на это будет дано условно бесконечное количество времени. Из плюсов: копируемая в мозг информация будет полностью с ним совместима, т.к. подобрана индивидуально; нам не надо знать логику хранения информации в мозгу. Еще более простой вариант: помещение в симуляцию и ускорение времени проделывается сразу с оригинальным мозгом, вопрос только в том, можно ли его ускорить для цифрового мира.
                                                              0
                                                              Даже если получится перенести некое состояние мозга в цифровую среду (а какое состояние? электрическое? биохимическое?), и что-то на нем обсчитать, то обратно вернуть уже не выйдет — реальный мозг (да и весь организм) за любое ненулевое время тоже изменится. Придется еще запускать эмуляцию процесса накатывания этого измененного сознания на измененное тело, которая в свою очередь тоже требует времени, и процесс этот зацикливается. Да и зачем вообще возращать сознание в тело?
                                                                0
                                                                обратно вернуть уже не выйдет — реальный мозг (да и весь организм) за любое ненулевое время тоже изменится
                                                                Ну и что — мозг накопит небольшие локальные изменения, которые не страшно затереть, если не было существенного воздействия на организм, например, случилась тяжелая болезнь.
                                                                Да и зачем вообще возращать сознание в тело?
                                                                Как минимум, это не ваше сознание, а копия вашего сознания.
                                                                  0
                                                                  Осталось самое простое — сделать низкоуровневую I/O шину в мозг.

                                                                  P.S. Вы случайно не ИТ менеджер? Подходы просто очень знакомые…
                                                                    0
                                                                    которые не страшно затереть, если не было существенного воздействия на организм

                                                                    Я конечно понимаю, что мы скорее фантазируем, да философией себя тут развлекаем, но «не страшно затереть» это именно то, что я обозначил как результат процесса «эмуляция процесса накатывания». Без этого мы просто не можем знать, страшно или нет. Легко поломать что-то на очень тонком уровне, и сегодня вы сдаете экзамен за 5 минут подготовки, а через 3 года у вас рак.

                                                                    Как минимум, это не ваше сознание, а копия вашего сознания.

                                                                    Если вы хотите им затереть ваше исходное сознание при переносе обратно, и вы знаете о факте переноса, а оно нет, то уместнее считать именно свое сознание копией (да еще и не нужной в перспективе), а его — оригиналом. Вопрос, нужно ли ему (== вам) тело со всеми естественными недостатаками или нет.
                                                                      0
                                                                      Видоизмененный углерод.
                                                          0
                                                          Кстати, мозги через электроды вроде бы уже соединяли, только крысам. Увы, не помню что из этого вышло. Кажется на Мембране когда-то про это была новость.
                                                            +1
                                                            Скорее всего ни как не поведут себя мозги соединенные через электроды. Т.к. структура мозга очень сильно отличается от индивида к индивиду. Исключение — примитивные части мозга (эмоции, рефлексы, простые движения). Если соединить примитивные части мозга — то будет что-то типа интуиции приписываемое близнецам, будете ощущать искаженное туманное состояние «близнеца». Но т.к. там не только электрические связи, но и химические — то искажение будут высокие, а детализация низкая.
                                                            Про соединение коры, я думаю что от возраста зависит. Если младенцам соединить — то мозг будучи пластичным, скорее всего адаптируется к интерфейсу, и будет передача данных в обе стороны. У взрослых людей — ни чего не будет в лучшем случае, в худшем эпилепсия или нервный тик. Но что-бы такой интерфейс заработал — младенцы должны расти вместе, чтоб особ А ощущала сигнал от особи Б и при этом видел что именно происходит с особью Б. Тогда ее мозг сможет научиться интерпретировать сигналы. Но т.к. мозг огромен, о четком телепатическом канале речь не идет.
                                                              0
                                                              Могу ответить про технологию, когда медицински давно освоена и имеет достаточно близкую к описываемой задаче реализацию. Кохлеарная имплантация. Когда нервы, проводящие сигнал до улитки и обратно, ещё работают, а само ухо уже не работает (сенсоневральная тугоухость).
                                                              В улитку вставляют электроды, идущие к наружному слуховому аппарату-процессору, который преобразовывает обычный звук в простой сигнал с упрощённой сигнатурой сигнала (когда передаётся не весь спектр звука, а разбитый на отдельные группы частот и приведённый к какому-то одному сигналу/электроду). Мозгу приходится долго учиться понимать эти электрические сигналы как звук, но за несколько лет обычно приспосабливается. Качество звука, по отзывам, так себе (как попытка передавать речь с помощью семи нот), но приспосабливаемость человеческого мозга огромна.
                                                              Это, разумеется, не электроды в мозг, но максимально близко. И скорее всего, упрётся в те же ограничения — мозги у всех разные, и попытки просто скопировать сигнал в другой мозг приведут к тому, что мозг не будет понимать, как интерпретировать точно тот или иной сигнал — ведь у другого мозга именно в этой области памяти может оказаться совсем другая последовательность, записанная под данную мощность и последовательность сигналов. И пытаясь передать ощущения и мысли одного человека, думающего о курсе высшей математики, могут восприняться у другого человека как полузажёванный курс по биологии с множеством левых терминов и картинок.
                                                                0
                                                                Безопасно стимулировать мозг с помощью электродов — на порядок более сложная задача, чем просто считывать активность. К тому же, тут ЭКОГ, это очень большие пятаки, с большого расстояния до ткани. Стимуляция будет активировать большие области. В качестве побочек — эпилепсия.
                                                                  0
                                                                  Несколько лет назад натыкался на один интересный проект по созданию симпатичного анимешного костюма помогающего обучаться навыкам, как раз с помощью тока. Писали, что даже работало, опробовано создательницей Ольгой Левицкой. Сейчас поискал, вроде бы проект жив.
                                                                  Оттуда:
                                                                  «CyberSkills
                                                                  Изучение любого моторного навыка за 21 день, обучение музыкальным инструментам, танцу, профессиональным спортивным навыкам. Приобретение физиологической привычки осуществляется за счёт многократного повторения правильных движений, считанных с профессионалов.»
                                                                  0
                                                                  «У нас есть максимум 20, иногда 30 минут, чтобы собрать данные»
                                                                  Не очень понял. Это происходит во время хирургической операции? А пациенты при этом в сознании, «со снятой крышкой», и что-то читают?
                                                                    +6
                                                                    Да, так и происходит. Пациента вводят в лёгкий сон, в основном, чтобы он не перепугался, когда ему будут пилить череп, вскрывают ему череп, потом вводят местную анестезию, и будят его. Мозг и собственно кости черепа не чувствуют боли, а мягкие ткани — под местным обезболивающим, поэтому пациент под лёгкой седацией чувствует себя вполне комфортно, может говорить, шевелить руками, ногами.

                                                                    Некоторую часть операции проводят именно на бодрствующем пациенте, т.к. можно убедиться, что хирург не влез в важные области мозга, и не начал повреждать важные нервные центры.
                                                                    Вот. кстати, видео такой операции. ОСТОРОЖНО! Не для слабонервных!
                                                                    www.youtube.com/watch?v=OQ3_IXuhZxQ
                                                                      0
                                                                      Ещё интересно, что вырезав опухоль, хирург проводит сенсором-«палочкой» около стенок ямки, чтобы зарегистрировать электроактивность клеток. Чтобы клетки работали надо разбудить пациента и попросить сыграть на гитаре, петь или ещё что-то делать. Если активности клеток нет, то скорее всего это всё ещё клетки опухоли или мёртвые, и надо бы ещё немного срезать.
                                                                      Если в другом месте тела можно вырезать опухоль с прилегающими живыми тканями, чтобы наверняка, то в мозге приходится оставлять стенку из клеток опухоли, чтобы не задеть живые клетки. Отчего, бывает, опухоль снова начинает расти.
                                                                    +1
                                                                    Статья, похоже, целиком таким образом написана, судя по количеству косноязычности.
                                                                      0
                                                                      Дилетанский вопрос — не проще ли опредилить какие части мозга отвечают за речь и «пришить» оттуда нервные волокна напрямую к лицевым мышцам?
                                                                        +1
                                                                        Там все размазано по всему мозгу, и у каждого по разному. Есть некие «участки», но по сути это сгустки из миллионов нейронов. Это примерно как если вы знаете что процессор отвечает за расчеты в компьютере — то подпаять к нему напрямую провода от клавиатуры калькулятора. От так прямо советским паяльником на крышку. Ну и еще двигательные нейроны и мыслительные нейроны они разные. Это как силовые и сигнальные транзисторы. Если подпаять мышцы к мозгу — мощности не хватит для иннервации мышц.
                                                                        Когда человек говорит у него идет абстрактное мышление в образах + логика + размышления, и это все одновременно переводится в речь, а речь уже переводится в сигналы к мышцам. При этом там нет конвейера четкого, люди часто путают слова местами, или пропускают слова, т.к. мозг полностью многопоточен. Все линии прохождения сигналов условно независимы. По этой причине например сложно говорить скороговорки, там одни и те-же куски активируются наперебой и наперегонки с разных направлений, и выходит каша.
                                                                        0
                                                                        А мы точно в 21 веке? А то ребята еще в далеком 1913 баловались фиксацией гальванических явлений на мозге. Если за снятие сигнала с зоны Брока все еще платят, то ладно, но это буквально прошлый век. Лет 30 назад придумали кохлеарный имплантант, только вот люди после некоторых нейротравм не говорят не потому, что у них что-то с зоной Брока, а потому что ассоциаций не возникает. Кому-то помогает для этого по рекомендации врачей сначала строить образ того, что они хотят сказать, кому-то ничего не помогает. У таких просто сигнал брать неоткуда, иначе он бы формировался и они своими связками говорили.
                                                                          0

                                                                          Шапочки из фольги уже не кажутся такой плохой идеей

                                                                            0
                                                                            скорее, встроенный в черепную коробку миксер, так как все это дело сейчас делается хирургическим путем. Вполне возможно что эту технологию или ее аналог будут использовать при допросах
                                                                            0
                                                                            Я чего-то недопонимаю: синтез речи, на мой взгляд, должен быть отдельной задачей. Text2speech давно решают, и уже есть хорошие примеры генерации звуков, голосов.

                                                                            Мне кажется, имеет смысл привязывать сигналы мозга к тексту, а уже текст воспроизводить. Не понимаю, почему все пошли путем генерации непосредственно звуков.
                                                                              0
                                                                              Текст не так легко привязать ко времени. Важна синхронность полученных данных с электродов и итогового звука.
                                                                                0

                                                                                Возможно и не нужно его привязывать: вот последовательность мозговой активности, а вот соответсвующий ей текст. Вот привязывать звук к сигналам — сложно, и об этом как раз упоминается в статье.

                                                                                0
                                                                                Все просто — в мозгу нет текста.
                                                                                  0

                                                                                  Ровно как и звука.

                                                                                    0
                                                                                    А звук есть. Данные от ушей идут сразу в мозг. А вот при чтении будет сложно понять где речь а где фоновые мысли, т.к. при чтении формируются абстрактные образы. Вычленишь же зрительные образы букв будет сложно с той точностью, что доступна ученым на данный момент. Т.к. глаз видит много всего. Ну и опять-же нужно будет просить человека не говорить а представлять буквы. Что совершенно не эргономично. Да и далеко не все люди знают как пишутся слова побуквено. А пока все в голове по буквам проговоришь — забудешь что хотел сказать.
                                                                                0
                                                                                Можно же думать/проговаривать слова побуквенно, тогда и нейросеть возможно быстрее обучится.
                                                                                  +1
                                                                                  эх скорее бы. с 2011 года облизываюсь на статью habr.com/ru/post/115055, но явных продвижений после этого не замечено, хотя и дивайсина весьма самодостаточна
                                                                                    +1
                                                                                    Я тоже с тех пор хотел поработать с Emotiv Epoc, но цена больно кусачая. Находил пару объявлений с приемлемой ценой, но там не отзывались на письма. Есть какие-то более простые приборы с одним-двумя-тремя датчиками, но по цене, порой, не сильно дешевле, ну и функционал меньше, а хочется если уж разоряться то с полной отдачей. Уже даже у китайцев искал датчики, думал, может самому проще собрать, видел какие-то схемы как самому делать подобные датчики, но пока это не очень понятная для меня тема, наверное надо начать с готового прибора.
                                                                                    Весной прошлого года ездил на выставку «Мир будущего» в Минск, там было много занятного, и самое интересное это как раз этот девайс с подключением к машинке, которую можно было заставить катиться силой мысли. Девочки у прибора умели выполнять две комбинации действий, чтобы научить желающего заставить ездить машинку вперёд или назад. Но чтобы настроить одновременно оба варианта — нет. Причём, они говорили, что у каких-то детей получалось в обе стороны. Мне удалось самому поковыряться с программкой от прибора минут двадцать, и как я понял, с их настройкой и не могло получиться в обе (как у детей получалось, я не знаю). Я попытался настроить сразу на две разные «мыслекоманды», но так и не получилось катать машинку туда-сюда, может мыслить «по-разному» не получилось, ну или чего-то ещё не понял. Единственное, что напрягает, это то, что электроды нужно смачивать, значит долго не проработаешь, нужно периодически увлажнять, а следовательно снимать прибор и сбивать настройку.
                                                                                    В общем, поиграться с такими штуками очень хочется, несмотря на некоторые их ограничения, но где ж добыть. Мне кажется у ЭЭГ есть впереди будущее, когда разовьётся AR и VR, где несложно к очкам/шлемам добавить и датчики, с помощью которых можно будет поднять взаимодействие на новый уровень.
                                                                                    Ещё интересно, почему не проверяли (а может проверяли?) ЭЭГ на Стивене Хокинге (или подобных пациентах), он же общался с миром одной мышцей/кнопкой, а если можно запрограммировать несколько «мыслекоманд», то это уже много кнопок, проще было б общаться.

                                                                                  Only users with full accounts can post comments. Log in, please.