Comments 37
Если честно, то это офигенно! Вот оно будущее, а ни эти ваши айфоны. Надеюсь, что такие технологии пойдут для развития человечества, а не его дрессировки.
Миелофон не за горами :)
Очередной приступ датасотонизма с натягиванием совы на глобус.
Речь не идёт о реконструкции изображения, а об определении его категории, причём не на основе самого изображения, а некоторых его свойств.
Ибо есть специфические отклики, на лица, на движение, контрастные линии, итд.
Кроме того, на низкочастотные колебания общей яркости, контраста, фокуса, так же регистрируются ВП.
И здесь интересно разве что применение генеративных методов, чтобы выявлять такие моменты.
Но реконструкция изображения, это знаете ли, как в том анекдоте про нейросеть неразличавшую танк и трактор, ибо критерием оказался цвет фона...
На видеоиллюстрации забавны такие закономерности:
1.Гонки на любом устройстве в любой среде гражданином почти всегда воспринимаются через призму вождения автомобиля.
По-видимому, гражданин примеряет гонку на свой автомобиль.
2.Гражданин в этом автомобиле всегда ожидает увидеть зеркало заднего вида, хотя в исходном материале его нет.
По-видимому, гражданин редко в него смотрит, оно просто ему постоянно мешает чёрным пятном.
3.Всё незанятое время — когда гражданин отказывается воспринимать видеоряд — он увлечён «машиной Руди Голдберга» и сосредоточен на ней.
4.Если он обращает внимание на людей, то почему-то упорно думает о брюнетке с короткой стрижкой.
1.Гонки на любом устройстве в любой среде гражданином почти всегда воспринимаются через призму вождения автомобиля.
По-видимому, гражданин примеряет гонку на свой автомобиль.
2.Гражданин в этом автомобиле всегда ожидает увидеть зеркало заднего вида, хотя в исходном материале его нет.
По-видимому, гражданин редко в него смотрит, оно просто ему постоянно мешает чёрным пятном.
3.Всё незанятое время — когда гражданин отказывается воспринимать видеоряд — он увлечён «машиной Руди Голдберга» и сосредоточен на ней.
4.Если он обращает внимание на людей, то почему-то упорно думает о брюнетке с короткой стрижкой.
Не в гражданине дело. Сеть обучена по видео вождения автомобиля. Вот она и воспроизводит любой шум в категории «вождение» как то, что ей показывали.
Это не гражданин примеряет гонку на свой автомобиль, а нейросетка.
Тоже самое и с брюнеткой.
Это не гражданин примеряет гонку на свой автомобиль, а нейросетка.
Тоже самое и с брюнеткой.
Для чистоты эксперимента картинку следовало бы показывать посредством VR-шлема, чтобы энцефалограмма не забивалась «шумом» от периферического зрения, в поле которого попадают лишние объекты возле монитора. Человек при этом должен лежать на удобной кушетке в расслабленном состоянии.
Хорошо, что на ютуб зашел почитать комментарии о том, что видео не соответствует реконструкции. Оказывается нейросеть определяет на какое из 5 видео похожа энцефалограмма и подставляет любое. Если хотите это можно назвать обманом ну или очень серьезной недоговоркой.
вот это больше похоже на правду. напоминает старый прикол с показом в браузере локальной директории на компе, который выдавался за хакерский взлом
дык это и без комментариев ютуба видно, что сетку гоняли на тех же видеороликах, что и показывают испытуемому. А дальше просто подгон категорий.
Короче — расходимся!
Короче — расходимся!
Правду лучше искать не на ютубе, а в оригинальной статье: www.biorxiv.org/content/biorxiv/early/2019/10/16/787101.full.pdf.
Чуваки обучили автоэнкодер и сетку, которая мапит выход ЭЭГ в пространство декодера. Да, декодер обучали на ограниченном датасете. Но и ЭЭГ, по словам авторов, может выдать максимум 6 категорий. Подход совершенно масштабируемый в двух направлениях:
1. Нужно обучать более сложную генеративную модель, пространство параметров которой сожет кодировать более широкий спектр «концепций» из реального мира.
2. Нужно создавать девайсы, которые будут получать от мозга данные в большем «разрешении».
При наличии новых достижений по этим двум направлениям подход из статьи с большой долей вероятности будет отлично масштабироваться вплоть до настоящего «восстановления» изображений из «мыслей».
Чуваки обучили автоэнкодер и сетку, которая мапит выход ЭЭГ в пространство декодера. Да, декодер обучали на ограниченном датасете. Но и ЭЭГ, по словам авторов, может выдать максимум 6 категорий. Подход совершенно масштабируемый в двух направлениях:
1. Нужно обучать более сложную генеративную модель, пространство параметров которой сожет кодировать более широкий спектр «концепций» из реального мира.
2. Нужно создавать девайсы, которые будут получать от мозга данные в большем «разрешении».
При наличии новых достижений по этим двум направлениям подход из статьи с большой долей вероятности будет отлично масштабироваться вплоть до настоящего «восстановления» изображений из «мыслей».
Подход совершенно не масштабируемый, хотя бы по тому, что единственный способ повышение разрешения — насверлить дырок в черепе и разместить электроды непосредственно на зрительной коре. Что в принципе многократно и успешно делалось и позволило более менее разобраться в принципах работы именно зрительного участка коры.
По сути, примерно тоже самое — разместить антену вблизи разъема pci-express и попробовать восстановить поток видеоизображения индицируемого на мониторе
По сути, примерно тоже самое — разместить антену вблизи разъема pci-express и попробовать восстановить поток видеоизображения индицируемого на мониторе
На видео видно, что один и тот же видеоряд показывается для разных изображений, значит он так и делает, определяет, какое из видео наиболее похоже (я бы сказал, что это большой такой обман). Но не понятно тогда, почему выходное изображение такое артефактное — просто обработали вручную для большей правдоподобности? ну тогда вообще стыдно такое показывать
Нет, видео все-таки не из исходников взято (это уже был бы совсем примитив), а из выходов натренированной нейросетки. Т.е. это то как эти видеоролики «видела» (воспринимала) компьютерная нейросеть и находя потом ассоциированные с соответствующими роликами признаки в снимаемой с человека ЭЭГ воспроизводила «по памяти» наиболее подходящий набор образов — потому и такое качество.
А вот уже выдача «зрения» искусственной нейросети кое-как запомнившей за время тренировок несколько роликов и научившейся подставлять из них наиболее подходящий к ситуации за якобы раскодированное изображения снятое с живого мозга — да, неслабый такой обман и кликбейт.
Честно было бы сделать простой кассификатор (которым по сути результат и является) — выдавать по снимаемой ЭЭГ категорию видео на которое смотрит человек (лицо/человек/езда/механизм/текст и т.д.) и привести % правильного угадывания категории.
А вот уже выдача «зрения» искусственной нейросети кое-как запомнившей за время тренировок несколько роликов и научившейся подставлять из них наиболее подходящий к ситуации за якобы раскодированное изображения снятое с живого мозга — да, неслабый такой обман и кликбейт.
Честно было бы сделать простой кассификатор (которым по сути результат и является) — выдавать по снимаемой ЭЭГ категорию видео на которое смотрит человек (лицо/человек/езда/механизм/текст и т.д.) и привести % правильного угадывания категории.
Русские ученые — это типа шутка?
Статья с названием, фактически ничего общего не имеющего с содержанием.
Много раз ловил себя на мысли что нельзя оцифровать обрывки памяти из детства и круто было бы иметь подобную технологию. Это сейчас фотографировать можно на что угодно и это доступно.
Дожить бы до появления подобной технологии. Уж я бы отсканировал ))
Дожить бы до появления подобной технологии. Уж я бы отсканировал ))
UFO just landed and posted this here
Меня одного смущает, что подопытному демонстрировали реконструированное нейросетью изображение? Не оказывало ли это изображение влияние на результаты эксперимента?
Как я понял, сначала они натренировали автоэнкодер, потом натренировали вторую сеть переводить ЭЭГ в latent space автоэнкодера. А автоэнкодер, в свою очередь, генерирует какое-то изображение.
В развитие темы — можно синтезировать случайные демонстрируемые изображения и на них тренировать распознавание ЭЭГ. Тогда количество образов должно повыситься и останется наращивать качество.
А нейросеть-опознавальщик натягивается на конкретного испытуемого? Или в принципе переносима на других без проблем? Энцефалит или атеросклероз влияют на результат?
Могу рассказать, как работала моя собственная нейросеть, с минимумом исходных данных — я практически сразу полез смотреть видео, глянув текст по диагонали:
— Хмм, ну и лаги.
— Картинка с ралли показывает, что ЭЭГ видит отличие светлых областей от темных, пожалуй и все.
— Машина Голдберга показана в правильных цветах, но пятна совсем хаотичные. Интересно, при таких ФПС, как у этой картинки в реальном времени, учитываются саккадные движения глаза для построения изображения? Может, фреймы выхватываются в неудачные моменты, когда глаз направлен не в центр изображения, и суммарное изображение такое грязное?
— Лицо — ну да, как и ралли. Светлое отличается от темного. Стоп, что?? Один фрейм выглядит как реалистичное женское лицо! Так, подождите! Смена усатого мужика на блондинку не дала вообще никакой разницы, а при этом один из кадров лица был очень детализированным! Что-то нечисто…
— Водный мотоцикл лагает картинкой лица, а потом четко переключается на ралли! Нет, это не распознавание ЭЭГ в реальном времени, это распознавание заданного пресета из видеороликов. Наверное, нейросеть генерирует их на основе входных пресетов-роликов и данных ЭЭГ?
— Ну да, снегоход — это ралли, машина Голдберга — тоже. Кликбейт такой кликбейт.
*дропнул видео на 1:50*
*полез в каменты — с облегчением увидел, что люди это тоже поняли*
— Хмм, ну и лаги.
— Картинка с ралли показывает, что ЭЭГ видит отличие светлых областей от темных, пожалуй и все.
— Машина Голдберга показана в правильных цветах, но пятна совсем хаотичные. Интересно, при таких ФПС, как у этой картинки в реальном времени, учитываются саккадные движения глаза для построения изображения? Может, фреймы выхватываются в неудачные моменты, когда глаз направлен не в центр изображения, и суммарное изображение такое грязное?
— Лицо — ну да, как и ралли. Светлое отличается от темного. Стоп, что?? Один фрейм выглядит как реалистичное женское лицо! Так, подождите! Смена усатого мужика на блондинку не дала вообще никакой разницы, а при этом один из кадров лица был очень детализированным! Что-то нечисто…
— Водный мотоцикл лагает картинкой лица, а потом четко переключается на ралли! Нет, это не распознавание ЭЭГ в реальном времени, это распознавание заданного пресета из видеороликов. Наверное, нейросеть генерирует их на основе входных пресетов-роликов и данных ЭЭГ?
— Ну да, снегоход — это ралли, машина Голдберга — тоже. Кликбейт такой кликбейт.
*дропнул видео на 1:50*
*полез в каменты — с облегчением увидел, что люди это тоже поняли*
А я помню, лет 5 назад была такая новость, делали то же самое. И даже реалтайм-видео из глаз удавалось снимать, конечно, очень плохого качества.
Всегда интересовало, какой же там «протокол». Какая «модуляция».
Как электрически сформировать сигнал и подать его на глазной нерв, чтобы мозг увидел видео?
Подавать, видимо, придётся сразу по каждому нерву из пучка, идущего от глаза, свой кусочек общей картины.
А что передаётся по каждому из нервов пучка? Там аплитудная модуляция по яркости? Тогда почему мы не видим световые шумы от электромагнитных полей и не слышим радиоволны, они же должны наводиться на нервы?
Всегда интересовало, какой же там «протокол». Какая «модуляция».
Как электрически сформировать сигнал и подать его на глазной нерв, чтобы мозг увидел видео?
Подавать, видимо, придётся сразу по каждому нерву из пучка, идущего от глаза, свой кусочек общей картины.
А что передаётся по каждому из нервов пучка? Там аплитудная модуляция по яркости? Тогда почему мы не видим световые шумы от электромагнитных полей и не слышим радиоволны, они же должны наводиться на нервы?
подавать на нерв не получится, там идёт шлейф из 1М каналов, от каждого пиксела. Плюс — глаз собирает картинку сканированием, в движении. В недавней статье про глаза и мегапиксели очень хорошо описан весь наворот наших гляделок.
Получается, что подавать изображение можно только после блока первичной обработки изображения, где оно используется в понятном виде.
Получается, что подавать изображение можно только после блока первичной обработки изображения, где оно используется в понятном виде.
Только тогда это делали при помощи ф-МРТ с человека лежащего в томографе. Но зато реально снимали видимое изображение, точнее его проекцию в зрительную кору. Правда на уровне качества вида дающего отличить вертикальную палочку (линию) от горизонтальной, а 2 перекрещенные палочки от 2 параллельных или большой контрастный треугольник на однородном фоне от такого же круга.
Надеюсь, что технология никогда не стрельнет, а то придется медитировать при виде встрече с копами) и так это осталось единственным местом, где, принекоторой сноровке, можно остатся без назойливого внимания корпораций и государств.
Первое что пришло в голову, – можно ли таким образом записать сны?
Это же не реконструкция, это пока классификация.
1) Взять 100 фраз
2) Посчитать md5
3) Взять один из md5
4) Добавить шума и искажений
5) Посмотреть на какой из 100 он похож больше всего
6) Сделать вывод, что мы теперь можем расшифровывать md5
Идея классная, но нужен датасет пожирнее
1) Взять 100 фраз
2) Посчитать md5
3) Взять один из md5
4) Добавить шума и искажений
5) Посмотреть на какой из 100 он похож больше всего
6) Сделать вывод, что мы теперь можем расшифровывать md5
Идея классная, но нужен датасет пожирнее
Лет 15 назад читал про устройство записи снов, которое испытывали на кошках. Блин, что же оно все так медленно развивается. Можно было бы не только сны записывать, а музыку сочинять в уме или картины рисовать. Как в научной фантастике…
Sign up to leave a comment.
Российские ученые восстановили образы из мыслей человека по электрической активности мозга