Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 37
А какой физический смысл вкладывается в перестановку контекстов? Понятно, что миниколонка X не продирается физически к своему новому месту Y, расталкивая локтями соседей.
Правильно ли я понимаю, что речь идет о том, что целевая колонка Y начинает работать с паттернами X. А кто контролирует обратный процесс? Как именно происходит обмен информацией?
Или же при такой корреляции происходит постепенная переспециализация колонок так, что X постепенно приобретает свойства Y (отказываясь от изначальных свойств X), в то же время Y приобретает свойства X (отказываясь от изначальных свойств Y). Тогда со временем оказывается, что с функциональной точки зрения колонки «поменялись местами».
Правильно ли я понимаю, что речь идет о том, что целевая колонка Y начинает работать с паттернами X. А кто контролирует обратный процесс? Как именно происходит обмен информацией?
Или же при такой корреляции происходит постепенная переспециализация колонок так, что X постепенно приобретает свойства Y (отказываясь от изначальных свойств X), в то же время Y приобретает свойства X (отказываясь от изначальных свойств Y). Тогда со временем оказывается, что с функциональной точки зрения колонки «поменялись местами».
Вы мыслите в верном направлении. В следующей части я планировал рассказать достаточно подробно как миниколонки могут «бегать» по коре. Там есть интересные идеи. Сохраним интригу на неделю?
Сохраним :) Самому подумать тоже интересно.
Дам подсказки :) 1. Решение очень сильно в духе самой модели. 2. Миниколонки реально могут «бегать», как на видео. 3. Существенные изменения могут происходить очень быстро (минуты, часы).
Видимо, даже с подсказками, мало кто способен угадать «дух» ответа на сей каверзный вопрос о «беге» миниколонки по коре.
Возможно колонку переносит «волна»
Нет, не волна и не переносит :)
:) Чтобы найти ответ, необходимо «очень сильно» проникнуться «духом самой модели». Ответ должен содержать как минимум десять страниц убористых выкладок и вкладок.
Да нет. Пара строк.
До истины — всегда «пара строк». Ищут её многие, находят — единицы.
Прорастание дендритов/аксонов в сесдение миниколонки? Как-то ведь такая струкутра образовалась (рис. 2).
Если она не была зашита на генерическом уровне (что не исключено, это ведь самый первый слой зрительной коры), то должа была образоваться в результате обучения.
Если она не была зашита на генерическом уровне (что не исключено, это ведь самый первый слой зрительной коры), то должа была образоваться в результате обучения.
Нет не проростание. Да, результат обучения. Вопрос в том, что одновременно должно происходить и обучение колонки и поиск колонкой самого удачного места. Что подразумевает «перенос» колонки с места на место, а точнее обмен колонок местами. Перекачка все информации от одной колонки к другой не подходит. Долго, сложно и требует механизма считывания. Память миниколонки может выдать информацию в ответ на запрос по ключу, но кто знает все ключи?
Возможно, ответ уже очевиден :)
Возможно, ответ уже очевиден :)
Halt>… Как именно происходит обмен информацией?…
Да, это ключевой вопрос. Особенно с учётом, что «всего 100 нейронов миниколонки могут хранить воспоминания всей жизни».
Да, это ключевой вопрос. Особенно с учётом, что «всего 100 нейронов миниколонки могут хранить воспоминания всей жизни».
Алексей Редозубов>… Это, по сути, все те же «нейроны бабушки». Подаваемая информация «лепит» из нейронов детекторы неких усредненных «бабушек». В центрах окрашенных областей получаются более-менее похожие на что-то «бабушки», ближе к границам областей формируются «бабушки-мутанты». Там оказываются гибриды соседних «бабушек», «дедушек», «кошечек» и «собачек».…
===
Эффект бабочки (бабушки) имеет место и в науке. Привносимая в анализ негативная коннотация накладывает отпечаток субъективности и предвзятости. В итоге, это косвенно влияет на направление поиска решений.
===
Эффект бабочки (бабушки) имеет место и в науке. Привносимая в анализ негативная коннотация накладывает отпечаток субъективности и предвзятости. В итоге, это косвенно влияет на направление поиска решений.
То есть, получая на вход некий контент, мы сравниваем его с огромным множеством уже имеющегося, и сравнение идет по огромному множеству данных. Собственно чем больше данных можно сравнить и больше их совпадает, тем четче понимание нового контента.
Я правильно понимаю, что можно представить цепочки в виде конуса сперва цепочек много, чем дальше — тем их меньше за счет того, что они начинают пересекаться между собой и количество связей уменьшается
как-то так:
Со временем получение нового контента перестает образовывать новые цепочки, поскольку уже ничего нового добавить не может, и новое знание становится рутиной с известной «лыжней».
Я правильно понимаю, что можно представить цепочки в виде конуса сперва цепочек много, чем дальше — тем их меньше за счет того, что они начинают пересекаться между собой и количество связей уменьшается
как-то так:
| | | | |
| \/ | |
| | \ /
| | |
Со временем получение нового контента перестает образовывать новые цепочки, поскольку уже ничего нового добавить не может, и новое знание становится рутиной с известной «лыжней».
На входе контент. Контент описан понятиями. Есть знания о том, как можно трактовать эти понтия в разных контекстах. Создается огромное количество возможных трактовок. Каждая из трактовок сравнивается со всей предыдущей памятью.
Как бы вы объяснили юмор?
Я предполагал, что например есть два независимых понятия, которые уже достаточно обросли своими трактовками, внезапно оказываются достаточно похожими, чтобы вызвать реакцию сопоставления. В результате начинает резко генерироваться большое количество новых трактовок/правок в старых, что и вызывает смех.
То есть совершенно новое понятие (изучение) вызывает меньшую реакцию, чем смех (сопоставление двух уже известных, но ранее не сопостовлявшихся понятий)
Я предполагал, что например есть два независимых понятия, которые уже достаточно обросли своими трактовками, внезапно оказываются достаточно похожими, чтобы вызвать реакцию сопоставления. В результате начинает резко генерироваться большое количество новых трактовок/правок в старых, что и вызывает смех.
То есть совершенно новое понятие (изучение) вызывает меньшую реакцию, чем смех (сопоставление двух уже известных, но ранее не сопостовлявшихся понятий)
Интересная идея, мне кажется, так можно решить проблему с перестановкой колонок. Они автоматически формируются рядом с близкими.
Это плохо по нескольким причинам. Во-первых на начальных стадиях, когда контексты еще плохо сформированы может сложиться не самая удачная расстановка. Во-вторых, новый опыт с какого-то момента не сможет менять расстановку. В-третьих, корреляции между контекстами накапливаются со временем и в начале, когда их нет, трудно сформировать размещение.
Подскажите, а как в вашей модели объясняется преобразование «исходное изображение — контрастные переходы — колонки ориентации»? Насколько я представляю, это тоже должно быть основано на механизме самообучения клеток.
Интересовался этим вопросом одно время, даже в чем-то начал приходить к похожим выводам, но не было возможности всерьез этим заниматься, да и в математике я не настолько разбираюсь. Рад, что у вас что-то получилось.
Интересовался этим вопросом одно время, даже в чем-то начал приходить к похожим выводам, но не было возможности всерьез этим заниматься, да и в математике я не настолько разбираюсь. Рад, что у вас что-то получилось.
Подскажите, пожалуйста:
1. то, что вы описали, уже есть в виде программной реализации?
2. ваша основная прикладная цель — переводы? Или иная?
Несколько вопросов по статье:
1. почему бы контексты не связать-объединить контекстами (или «обобщенными категориями») более высокого уровня? Разве это не упростит вычислительную сложность задачи?
Молото + Рубанок => Инструменты.
Кот + Пес => Домашние животные
Чашка+Вилка+Раковина+Ведро = Кухня
2. Чтобы обучать «сеть» нужна 2 типа информации: «позитивная» и «негативная». Одна — учит, другая — задает границы, где перестает действовать модель.
Пример: Поз.: «мясо можно кушать», Нег.:«мясо сырое нельзя есть людям».
Каким образом вам удается свою сеть «научить» 2ому виду информации?
3. При работе с «сырым» текстом встречается: юмор, поговорки, глупости, оговорки и иносказания. Как можно научить сеть хотя бы их игнорировать? ;)
4. Семантические контекстные связи(СКС) могут быть очень «тончайшими» и не вербализуемыми, как в этом случае их удается представить в виде весов матрицы?
Или схожая ситуация: 2 разных человека могут определить СКС по-разному в зависимости от воспитания, жизненного опыта и даже настроения. Для некоторых людей СКС могут быть вообще в виде поэтических ассоциаций ;)
5. А каким образом проверяется «чему сеть научилась»? Есть ли какая-то автоматизированная методика построения «контрольных точек» для проверки корректности работы сети после обучения?
1. то, что вы описали, уже есть в виде программной реализации?
2. ваша основная прикладная цель — переводы? Или иная?
Несколько вопросов по статье:
1. почему бы контексты не связать-объединить контекстами (или «обобщенными категориями») более высокого уровня? Разве это не упростит вычислительную сложность задачи?
Молото + Рубанок => Инструменты.
Кот + Пес => Домашние животные
Чашка+Вилка+Раковина+Ведро = Кухня
2. Чтобы обучать «сеть» нужна 2 типа информации: «позитивная» и «негативная». Одна — учит, другая — задает границы, где перестает действовать модель.
Пример: Поз.: «мясо можно кушать», Нег.:«мясо сырое нельзя есть людям».
Каким образом вам удается свою сеть «научить» 2ому виду информации?
3. При работе с «сырым» текстом встречается: юмор, поговорки, глупости, оговорки и иносказания. Как можно научить сеть хотя бы их игнорировать? ;)
4. Семантические контекстные связи(СКС) могут быть очень «тончайшими» и не вербализуемыми, как в этом случае их удается представить в виде весов матрицы?
Или схожая ситуация: 2 разных человека могут определить СКС по-разному в зависимости от воспитания, жизненного опыта и даже настроения. Для некоторых людей СКС могут быть вообще в виде поэтических ассоциаций ;)
5. А каким образом проверяется «чему сеть научилась»? Есть ли какая-то автоматизированная методика построения «контрольных точек» для проверки корректности работы сети после обучения?
Подскажите, пожалуйста:
1. то, что вы описали, уже есть в виде программной реализации?
Да, есть для распознавания изображений.
2. ваша основная прикладная цель — переводы? Или иная?
Цель — понять как работает мозг и создать сильный ИИ.
Несколько вопросов по статье:
1. почему бы контексты не связать-объединить контекстами (или «обобщенными категориями») более высокого уровня? Разве это не упростит вычислительную сложность задачи?
Молото + Рубанок => Инструменты.
Кот + Пес => Домашние животные
Чашка+Вилка+Раковина+Ведро = Кухня
При пространственной организации обобщенные категории получаются автоматически как области близких по смыслу контекстов, далее я покажу интересные механизмы по работе с ними.
2. Чтобы обучать «сеть» нужна 2 типа информации: «позитивная» и «негативная». Одна — учит, другая — задает границы, где перестает действовать модель.
Пример: Поз.: «мясо можно кушать», Нег.:«мясо сырое нельзя есть людям».
Каким образом вам удается свою сеть «научить» 2ому виду информации?
Это уже относится к обучению с подкреплением. Оно будет описано позже.
3. При работе с «сырым» текстом встречается: юмор, поговорки, глупости, оговорки и иносказания. Как можно научить сеть хотя бы их игнорировать? ;)
Все это решается через выделения набора смыслов.
4. Семантические контекстные связи(СКС) могут быть очень «тончайшими» и не вербализуемыми, как в этом случае их удается представить в виде весов матрицы?
Или схожая ситуация: 2 разных человека могут определить СКС по-разному в зависимости от воспитания, жизненного опыта и даже настроения. Для некоторых людей СКС могут быть вообще в виде поэтических ассоциаций ;)
Корреляции между контекстами считаются не по ассоциациям или «вербализациям». Они отражают совместность срабатывания контекстов. То есть тот факт, что часто одна и та же информация может быть неплохо истолокована в каждом из них.
5. А каким образом проверяется «чему сеть научилась»? Есть ли какая-то автоматизированная методика построения «контрольных точек» для проверки корректности работы сети после обучения?
В следующей части я покажу такой механизм на примере автоэнкодера. Его цель — сжатие описания с максимальным сохранением точности.
1. «Цель — понять как работает мозг и создать сильный ИИ»
А вы работает в связке со спецами по изучению мозга?! [удивление]
В каких областях и задачах ваш «сильный ИИ» (согласно вашему определению из wiki) будет специализоваться в будущем?
2. «категории получаются автоматически как области близких по смыслу контекстов»
А как эти области изначально получаются?
Оператор-человек? Алгоритм? Эмпирические правила? Частотность использования пар-троек слов? Иное?
Грубо: Вам нужно в программу загнать серьезный объем терминов, связей с весами, фактов и контекстов, и возможно моделей.
Как вы научите компьютер понимать «человеческие смыслы», если компьютер у вас говорит на инопланетном бинарном языке? Ведь базис семантики людей и семантики машин, категорически иной.
На бинарном базисе семантику можно только «симулировать».
3. «выделение набора смыслов»
Что есть СМЫСЛ с точки зрения ЭВМ? ;) Как он выглядит? И как его можно выделить алгоритмом?
IMHO: можно создать только «проекцию смысла» в виде электронного образа. Но без электронного «базиса пространства смыслов» и это НЕвозможно.
4. «Они отражают совместность срабатывания контекстов. То есть тот факт, что часто одна и та же информация может быть неплохо истолкована в каждом из них.»
Если брать слишком широкие, пересекающиеся контексты, в чем тогда польза от них? Они же низкоинформативны.
Например: «грибы» и «несъедобные грибы». Контексты пересекаются, но один из них содержит целиком второй. Информационной ценности больше у 2ого.
Или я не правильно вас понял? Примерчик бы…
Контексты будут явно нескольких видов: категориальные или «широкие» (сотни терминов. Пример: «живые существа»), специализированные (20-50 терминов. «особенности обработки титана»), модельные (описание явлений, процессов или оргструктуры), статичные и динамичные ситуативные/сценические (например: «описание театрального представления»).
А вы работает в связке со спецами по изучению мозга?! [удивление]
В каких областях и задачах ваш «сильный ИИ» (согласно вашему определению из wiki) будет специализоваться в будущем?
2. «категории получаются автоматически как области близких по смыслу контекстов»
А как эти области изначально получаются?
Оператор-человек? Алгоритм? Эмпирические правила? Частотность использования пар-троек слов? Иное?
Грубо: Вам нужно в программу загнать серьезный объем терминов, связей с весами, фактов и контекстов, и возможно моделей.
Как вы научите компьютер понимать «человеческие смыслы», если компьютер у вас говорит на инопланетном бинарном языке? Ведь базис семантики людей и семантики машин, категорически иной.
На бинарном базисе семантику можно только «симулировать».
3. «выделение набора смыслов»
Что есть СМЫСЛ с точки зрения ЭВМ? ;) Как он выглядит? И как его можно выделить алгоритмом?
IMHO: можно создать только «проекцию смысла» в виде электронного образа. Но без электронного «базиса пространства смыслов» и это НЕвозможно.
4. «Они отражают совместность срабатывания контекстов. То есть тот факт, что часто одна и та же информация может быть неплохо истолкована в каждом из них.»
Если брать слишком широкие, пересекающиеся контексты, в чем тогда польза от них? Они же низкоинформативны.
Например: «грибы» и «несъедобные грибы». Контексты пересекаются, но один из них содержит целиком второй. Информационной ценности больше у 2ого.
Или я не правильно вас понял? Примерчик бы…
Контексты будут явно нескольких видов: категориальные или «широкие» (сотни терминов. Пример: «живые существа»), специализированные (20-50 терминов. «особенности обработки титана»), модельные (описание явлений, процессов или оргструктуры), статичные и динамичные ситуативные/сценические (например: «описание театрального представления»).
Я работаю в достаточно плотном контакте с биологами, да и сам неплохо разбираюсь в биологии мозга.
Формирование контекстов станет понятнее на конкретных примерах, они будут в следующей части.
Вопросам про «смысл» и его формальную модель были посвящены предыдуще части.
Широкие пересекающиеся контексты позволяют очень изящно решить задачу обобщения, об этом будет дальше.
Мозг имеет порядка 50 зон коры. Каждая зона работает с миллионами контекстов.
Формирование контекстов станет понятнее на конкретных примерах, они будут в следующей части.
Вопросам про «смысл» и его формальную модель были посвящены предыдуще части.
Широкие пересекающиеся контексты позволяют очень изящно решить задачу обобщения, об этом будет дальше.
Мозг имеет порядка 50 зон коры. Каждая зона работает с миллионами контекстов.
Мозг имеет порядка 50 зон коры. Каждая зона работает с миллионами контекстов.
А будет подробный анализ каждой, с картой-развёркой коры на плоскость, и схемой системы проекций? Или такой работы для мозга человека ещё никто не делал? (Вроде была о мозге мартышки).
Типа объединение этой краты со схемой коннектома. Достатчно ли достигнутого разрешения, чтобы постпроить рельную модель мозга? (Отдельные нейроны ведь видеть необязательно).
Система проекций достаточно детально изучена (ссылки на основные проекты есть на вики). Подробного разбора не будет — это слишком серьезно и масштабно.
Алексей, такой вопрос по вашей теории параллельной обработки информации во всех контекстах — почему мы не мгновенно решаем детские загадки? Казалось бы, при обработке во всех контекстах, в нужном информация должна мгновенно приобрести смысл, и этот контекст победит. Однако в действительности этого не происходит, и на этот контекст что-то должно «натолкнуть» извне…
Как пример можно привести загадку вроде «синий, большой, с рогами и полностью набит зайцами?(Троллейбус)»
Как пример можно привести загадку вроде «синий, большой, с рогами и полностью набит зайцами?(Троллейбус)»
Когда нет четкого совпадения, вероятность выбора контекста определяется общей похожестью воспоминаний на трактовку в контексте. В «детских» задачах в первую очередь выбирается контекст с «лобовой» трактовкой. Зайцы и рога навевают трактовку «зайцы — звери». В этой трактовке ничего точного не находится.
Чтобы не зациклиться на одном контексте при каждом новом обращении контекст выбирается, исходя из его вероятности. Это значит, что при длительном размышлении (много попыток обращения к коре) есть шанс, что будет выбран и контекст с низкой вероятностью, который может оказаться правильным. В данном случае — это контекст где «зайцы — безбилетники». И тогда мы сможем обнаружить, что хотя и не точное, но нечто близкое есть — это тролейбус.
«Детская» задача строится на том, что даже в нужном контексте нет точного совпадения. Однако если есть дополнительные подсказки узнавание значительно облегчается, но это уже не называется загадками. Это алегории, иносказания, образная речь и так далее. Как правило, там мы контекст определеяем сразу с первой итерации.
Чтобы не зациклиться на одном контексте при каждом новом обращении контекст выбирается, исходя из его вероятности. Это значит, что при длительном размышлении (много попыток обращения к коре) есть шанс, что будет выбран и контекст с низкой вероятностью, который может оказаться правильным. В данном случае — это контекст где «зайцы — безбилетники». И тогда мы сможем обнаружить, что хотя и не точное, но нечто близкое есть — это тролейбус.
«Детская» задача строится на том, что даже в нужном контексте нет точного совпадения. Однако если есть дополнительные подсказки узнавание значительно облегчается, но это уже не называется загадками. Это алегории, иносказания, образная речь и так далее. Как правило, там мы контекст определеяем сразу с первой итерации.
>… даже в нужном контексте нет точного совпадения…
Но узнав ответ мы стопроцентно знаем, что он верный!
>… при каждом обращении контекст выбирается…
Непонятно, чем. Видимо, кратковременной рабочей памятью? Из ваших статей (пока) непонятно ее «расположение» и назначение…
> длительное размышление — много попыток обращения к коре
Аналогично предыдущему — эти обращения к коре чем являются, согласно описанной модели??
Прошу прощения, если недостаточно внимательно читал текст, и это все уже было описано :/
Но узнав ответ мы стопроцентно знаем, что он верный!
>… при каждом обращении контекст выбирается…
Непонятно, чем. Видимо, кратковременной рабочей памятью? Из ваших статей (пока) непонятно ее «расположение» и назначение…
> длительное размышление — много попыток обращения к коре
Аналогично предыдущему — эти обращения к коре чем являются, согласно описанной модели??
Прошу прощения, если недостаточно внимательно читал текст, и это все уже было описано :/
Механизм, действительно, был в предыдущих частях.
Все ли у вас в порядке? Когда ждать следующую статью?
Подготовил следующую часть. Показалось, что несколько сложно и занудно, но главное совершенно непонято для тех, кто не читал или читал невнимательно предыдущие части. Решил сделать «разъяснение на пальцах», наболтав его на видео. Дела сильно закрутили. Надеюсь, что через пару дней выложу видео. А в воскресенье следующую часть.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Логика сознания. Часть 7. Самоорганизация пространства контекстов