Компьютер научили визуализировать зрительные образы человека


    Слева — изображение лебедя, справа — изображение, пропущенное через сознание человека и отрисованное заново компьютером

    Чтение мыслей, при помощи машин или телепатических способностей не раз описывалось во многих научно-фантастических произведениях, не говоря уже о фэнтези. Технологии сейчас развиваются очень бурными темпами, но чтение мыслей все еще далеко от реализации, хотя и ближе, чем, например, полвека назад.

    Искусственный интеллект (слабая его форма) помогает приблизить желанный момент. Японские ученые смогли реализовать проект, в рамках которого разработана технология чтения активности мозга человека с визуализацией того, о чем он думает. Правда, мимолетные мысли проанализировать пока не получается. Речь идет о визуализации зрительных образов, появляющихся в результате концентрации внимания человека на изображении.

    Результаты своего исследования ученые опубликовали в научной статье с названием «Глубокая реконструкция изображений путем анализа активности мозга». В течение 10 недель ученые отрабатывали методику визуализации изображений по результатам активности мозга человека, который в то же самое время смотрел на какую-то картинку или видео. Активность мозга анализировалась в режиме реального времени.

    В ряде случаев после того, как человек внимательно смотрел на изображение, его просили представить себе увиденную картинку настолько ярко, насколько возможно. После обработки снятых специальной аппаратурой показателей активности мозга при помощи компьютера во многих случаях удавалось восстановить изображение, о котором идет речь выше. Конечно, его качество было не слишком хорошим, но понять, что видел человек, можно.



    В ряде случаев восстановленные картинки были не слишком похожи на оригинал. Например, фотография совы, «расшифрованная компьютером», выглядит как существо из кошмарного сна. Но что поделать — технология еще далека от совершенства.


    Обучение ИИ велось на основе многих тысяч примеров активности мозга человека, который смотрел на заранее известное компьютеру изображение. В результате искусственный интеллект научился определять, на что смотрит человек в конкретный момент времени. По большей части, нейросеть просто делает предположения, и строит изображение на их основе. Главное, что машина способна вести анализ в режиме реального времени.

    Расшифровать в итоге можно как отдельные буквы, так и гораздо более сложные изображения, которые были показаны выше.



    C течением времени ученые надеются доработать технологию таким образом, чтобы восстанавливаемые изображения были более качественными, и больше напоминали оригинал. Может быть, все это — начало большой работы, в ходе которой ученые научатся создавать системы, способные визуализировать образы, которые появляются в голове у человека (во сне или наяву). Причем эти образы будут уже мимолетными, а не устоявшимися.

    Правда, для того, чтобы достичь этого, нужно проделать огромную работу. Сама работа ученых не слишком нова — например, схожие проекты осуществлялись в 2011, 2013 и других годах. Правда, качество реконструированного изображения сейчас получше, плюс оно цветное, а не черно-белое.


    Для снятия сигнала в прежних работах использовался метод функциональной магнитно-резонансной томографии. Это разновидность магнитно-резонансной томографии, которая проводится с целью измерения изменений в характеристиках тока крови. Между нейронной активность и изменением кровотока есть небольшая задержка, что можно видеть на демонстрационном видео выше.

    Как бы там ни было, но до реального чтения мыслей еще далеко. И, кстати, стоит подумать, если ученые действительно смогут научиться безошибочно реконструировать визуальные образы, которые появляются в голове человека, как это может повлиять на приватность. Личные данные будут уже ничем не защищены. Конечно, просто так не получится «снять» образы из головы проходящего мимо человека. Но с течением времени, наверное, и эта проблема будет решена. И тогда о защите собственных мыслей придется заботиться так же, как сегодня мы заботимся о защите наших данных в сети и на локальных ПК.
    Поделиться публикацией
    Комментарии 59
      +1
      Слева — изображение лебедя, справа — изображение, пропущенное через сознание человека и отрисованное заново компьютером

      Это у кого же такое буйное сознание?...

        +8
        Ха, ха — шапочка из фольги становиться актуальной ))
          0

          Первые малострочные телевизионные системы обеспечивали изображение очень низкого разрешения, а теперь есть многомегапиксельные матрицы и прочее. Вот и эта технология сегодня делает первые шаги, а когда-нибудь позволит использовать глаза пользователя в качестве камер, по ряду параметров способных конкурировать со многими "железными".

          • НЛО прилетело и опубликовало эту надпись здесь
              0
              Например гораздо большим динамическим диапазоном, чем современные камеры. Очень быстрая автофокусировка по сравнению с камерами. Я думаю, преимуществ полно. Конечно, у специального оборудования есть свои плюсы.
                0
                очень быстрая фокусировка — спорно. Классическое упражнение для глаз, когда фокус многократно переводится с близкого (15-20см) на дальний (10-30м) предмет позволяет это почувствовать, субъективно время 0,5-1с. Хотя наверное это тренируется. Динамический диапазон — тоже спорно, по крайней мере требуется значительное время для привыкания. может быть массовые камеры и проигрывают, но вот заточенные под это дело уже могут посоревноваться.
                  +1
                  Динамический диапазон — это не про привыкание, это максимальная воспринимаемая разность яркости между ОДНОВРЕМЕННО наблюдаемыми объектами.
                  Вот видишь красивый закат и хочешь его запечатлеть.
                  image
                  А не получается. Экспонируешь по небу, цвета получаются насыщенные, а пейзаж под ним тупо чёрное пятно.
                  image
                  Экспонируешься по пейзажу: цвета яркие и насыщенные, а небо тупо белое.
                  image

                  Глаз такую картину воспринимает нормально, а для фотографий приходится ухищряться с брекетингом/склейкой HDR
                    0
                    Я знаю что такое динамический диапазон, много ночью против фар видно? Зато у камеры с hdr вполне приемлемая картинка получается. В общем дело времени. На приличных камерах iso за 200тыс ушло — это в темноте, диафрагму прикрыли — яркий объекты сняли, так что динамический диапазон — вопрос времени, пусть пока обходными путями через тот-же hdr
                      0
                      Ну так экспонируйте разные части кадра по разному и всего делов.
                        +2
                        А то что это уже сделано и результат приложен к комменту на который вы отвечаете — вас не смутило? :)
                          0
                          Прошу прощения, я не верно выразился: я предлагаю уже на этапе получения сигнала с матрицы экспонировать каждый отдельный пиксель/группу пикселей на основании данных по их освещенности, чтобы сделать снимок за один проход. Принципиально, это примерно то же самое, что вы предложили, но техническая реализация другая — не требуется нескольких кадров.
                    0
                    Не слишком быстрая для широкоугольного объектива. Более того, нужно менять форму твердотельной линзы (хрусталика), а это заведомо проигрышный ход по сравнению с перемещением или использованием деформируемой жидкой линзы.
                    0
                    >Глаза пользователя — это настолько паршивый вид камеры, что к нему дополнением идет мощный программно-аппаратный комплекс для постобработки.

                    В смартфонах тоже самое по сути. И тем не менее, даже с текущими ограничениями изображения послучаются весьма приемлемыми.

                    Так что с непрофессиональными камерами конкурировать точно можно будет. Заменить устройства типа нательных камер у полицейских — тем более.
                      0
                      > Так что с непрофессиональными камерами конкурировать точно можно будет.

                      1 градус по центру — максимальная чёткость, остальное всё более и более размыто, цветов на периферии практически нет. Нет, не будет конкурировать.
                        0
                        >1 градус по центру — максимальная чёткость, остальное всё более и более размыто, цветов на периферии практически нет

                        Решается программно + импланты при желании.
                          0
                          «Извините, портрет придётся переснять». На фотографии очень аппетитный сухарик, изображенный во всех подробностях, с шикарно размытым фоном. «Я забыл покормить фотоаппарат».
                            0
                            Это вы уже свои личные половые трудности описываете.
                        +1
                        Научатся брать взятки не глядя
                        0
                        Глаза не нуждаются в электричестве.
                          +2
                          Ой-ли? (у нервной ткани, батарейки в комплект входят, вернее она сама по себе хитроделанная батарейка)
                          Электрохимия наше всё!
                        +2
                        там восстанавливают то, что представляет себе мозг, а не то, что видят глаза.
                        то есть — ваши сны и иллюзии с фантазиями. Это будет стоить гораздо дороже, чем банальное видео реальности…
                          0
                          а еще они увидят, что думает человек в момент смерти и в состоянии комы
                            –1
                            Засовывать умирающего человека в аппарат МРТ вместо оказания ему помощи, это уж слишком, как мне кажется.
                              0
                              В хоспис помещают тех, кому медики не в силах помочь. Там же обычно проводят исследования на умирающих людях.
                              0
                              Да ничего он не думает. Потеря сознания обычная. Сакрализация момента смерти происходит от верований в отделение души от тела и воспарения на небеса, а те в свою очередь от сильных эмоций, испытываемых родными и близкими в такие моменты.
                              0
                              А еще будут видеть, о чем думаете вы в рабочее время…
                              +1
                              А ещё снимать то, что не видишь, но воображаешь. 3d-моделирование, компьютерные эффекты, дорогостоящая пиротехника и декорации? Зачем!
                              Грамотно обученный человек помедитировал часа два — и вуаля, художественный фильм готов.
                              Ну и после выход технологии на широкий рынок и множество «любительских» фантазий на youtube.
                                0

                                Скорее на pornohub

                                  0
                                  Если качество будет как у совы — интересно на это посмотреть.
                              0

                              Вопрос:
                              Если рассуждать логически, то топология связей в нейронах у разных людей будет разной, и соотв. картина активности участков мозга на микроуровне тоже будет различаться. Если это так, то значит ли это, что система работает только на одном человеке — на обучающем?
                              Система тренированная на одном человеке, будет ли работать на другом человеке так же хорошо?

                                0
                                ну вот для одного откалибровали, теперь будут пилить систему, которая сможет обучаться на других людях.
                                  0

                                  Причём, всё для этого уже есть — цепляется GoPro на лоб, сканер на макушку и поехали. Подход к распознаванию тоже забавный: до этого были Generative Adversarial Networks, где генерирующая сеть пытается переиграть оценивающую. Теперь же генерирующая стала биологической. Так себе аналогия, конечно, но близко.

                                    0
                                    фуфуфу, ходить по улице как какой-то фрик :«гопро на лоб»!

                                    Это должны быть стильные очочки, такие как гугл-гласс или мс хололенс (и что там подтянут к тому времени амазон и эппл). И чтобы нейроинтейфес аля емотив был совмещен с наушниками с костной проводимостью.
                                    И реклама «наконец-то у вас появился настоящий друг, который действительно вас понимает»
                                  0
                                  Полагаю, что на других людях система работать не будет. Да и «оригинал» через некоторое время съедет.
                                    0
                                    а почему съедет?
                                    Там же не опросники надо заполнять, а сопоставляют активность мозга с изображением.
                                    Если каждый день это отслеживать (например, повесить ковер на стену, и считывать активность мозга, когда на него смотрит — утром и вечером), то даже при возрастных изменениях — система будет автоматически перекалибровываться и подстраиваться.
                                      0
                                      Я имел в виду, что без регулярной рекалибровки все съедет. Что это не один раз и навсегда.
                                  +1
                                  Хм… очень надеюсь, что технология разовьется и можно будет записывать сны) Все же иногда снятся такие прикольные штуки…
                                    0
                                    Главное чтобы экстремистские сны не стали сниться
                                      +1
                                      2086 — новая утопия по Оруэллу, только вместо вездесуoего Большого Брата — наголовные сканеры ваши мыслей)))
                                      0
                                      Потом научаться внедрять что-то в сны, и вот мы имеем во сне рекламу светоскоростных шорт.
                                      0
                                      Крипотно, однако. Так и представляю, что после изобретения высококачественной визуализации, первый учёный, который решит посмотреть в выдачу собственного мозга, выбежит из лаборатории поседевшим и бесповоротно сошедшим с ума. Почему — решать вам.
                                        +1
                                        Положительная обратная связь по поступающим данным от доверенного источника, плюс достаточно короткий round trip, плюс обязательно пролезающая мыслишка с негативом будет усилена. Как следствие, замыкание в ужасе.
                                          0
                                          зато следующий запилит GAN для селекции приятных эмоций, и тогда никто не будет из лаборатории выбегать.
                                            0
                                            Они там станут постоянно жить в вечной эйфории :)
                                        +1
                                        Какая-то жуть из совы получилась.
                                          +1
                                          Ну, фМРТ не сильно радует нас пространственным разрешением, а в пространстве контекстов оно важно…
                                          … за то понятненько, как сон разума рождает чудовищ
                                          0
                                          Шел 2030 год. Джон проснулся и сразу же включил «визуализатор-3000». Сегодня ему опять приснился эротический сон и он хотел побыстрее его пересмотреть в 4К-качестве.
                                            0
                                            А неплохой генератор монстров для игрушек может получиться.
                                            Даём тестировщику картинку с животным или монстром — он пытается её представить — подсознание выдаёт ужастик — расшифровываем скан — моделируем и вставляем в игру!
                                              0
                                              Проще обучить нейросеть саму генерить ужастики, без участия человека.
                                                0
                                                Даём тестировщику картинку с животным или монстром

                                                И получаете отчёт:
                                                — у этого крокодила ножки короткие, не догонит;
                                                — когти хлипкие, сломаются;
                                                — в темноте видеть не будет;
                                                — такого босса одним дуплетом из обреза положить можно.

                                                Наверное вы все же имели в виду геймдизайнера? :)
                                                  0
                                                  Поэтому нужно чтоб игра использовала кошмары самого игрока.
                                                    +2
                                                    Уже было в Чёрном Зеркале. Одна из самых disturbing серий, как по мне.
                                                  0
                                                  Игра-ужастик, где за вами гоняются монстры из ваших ночных кошмаров?
                                                    0
                                                    на первом уровне — у всех одинаковые хедкрабы из халфлайфа, а потом по мере калибровки — на каждом уровне монстры все ближе и ближе к именно вашим ночным кошмарам (МУАХАХАХА!)
                                                  0
                                                  На видео распознавания лебедя (или кто это?) я отчётливо увидел лапы
                                                  картинка
                                                  image

                                                  Вопрос: это испытуемый мысленно дорисовал лапы и эти мысли считал компьютер; или это посторонний шум, и это я воспринимаю его как лапы?
                                                  Или ещё хуже: ИИ троллит человека, дорисовывая то, чего нет: для того, чтобы повлиять на наше восприятие =)
                                                    0
                                                    На самом деле видео очень напоминает DeepDream заранее обученный на всяком разном. Например тут кроме ног правая часть по расцветке очень напоминает обычную утку (!?). И на других объектах тоже порой видно что-то совсем не похожее, но по теме. Есть подозрение, что оно не видит непосредственно картинку, а категорию объекта, которую пытается впихнуть в кадр чтобы было хоть как-то похоже.
                                                      0
                                                      Оно «видит» электрическую активность мозга. Попытки воссоздать по ней образ сродни попыткам воссоздать происходящее в микропроцессоре по его температурной карте — потенциально возможно отследить определенные закономерности для определенных задач, но и только.
                                                      0
                                                      На чём расшифровщик-нейросеть обучали — то и проступает.
                                                      Если натренированную на животных натравить на цветок — получится весёлая наркомания.
                                                        0
                                                        А чуть раньше, на 0:16, утку явно брутфорсят по базе фотографий известных птиц.

                                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                      Самое читаемое