Подскажите, пожалуйста:
1. то, что вы описали, уже есть в виде программной реализации?
Да, есть для распознавания изображений.
2. ваша основная прикладная цель — переводы? Или иная?
Цель — понять как работает мозг и создать сильный ИИ.
Несколько вопросов по статье:
1. почему бы контексты не связать-объединить контекстами (или «обобщенными категориями») более высокого уровня? Разве это не упростит вычислительную сложность задачи?
Молото + Рубанок => Инструменты.
Кот + Пес => Домашние животные
Чашка+Вилка+Раковина+Ведро = Кухня
При пространственной организации обобщенные категории получаются автоматически как области близких по смыслу контекстов, далее я покажу интересные механизмы по работе с ними.
2. Чтобы обучать «сеть» нужна 2 типа информации: «позитивная» и «негативная». Одна — учит, другая — задает границы, где перестает действовать модель.
Пример: Поз.: «мясо можно кушать», Нег.:«мясо сырое нельзя есть людям».
Каким образом вам удается свою сеть «научить» 2ому виду информации?
Это уже относится к обучению с подкреплением. Оно будет описано позже.
3. При работе с «сырым» текстом встречается: юмор, поговорки, глупости, оговорки и иносказания. Как можно научить сеть хотя бы их игнорировать? ;)
Все это решается через выделения набора смыслов.
4. Семантические контекстные связи(СКС) могут быть очень «тончайшими» и не вербализуемыми, как в этом случае их удается представить в виде весов матрицы?
Или схожая ситуация: 2 разных человека могут определить СКС по-разному в зависимости от воспитания, жизненного опыта и даже настроения. Для некоторых людей СКС могут быть вообще в виде поэтических ассоциаций ;)
Корреляции между контекстами считаются не по ассоциациям или «вербализациям». Они отражают совместность срабатывания контекстов. То есть тот факт, что часто одна и та же информация может быть неплохо истолокована в каждом из них.
5. А каким образом проверяется «чему сеть научилась»? Есть ли какая-то автоматизированная методика построения «контрольных точек» для проверки корректности работы сети после обучения?
В следующей части я покажу такой механизм на примере автоэнкодера. Его цель — сжатие описания с максимальным сохранением точности.
Позже я подробно напишу про юмор. Все гораздо интереснее и сложнее. Нельзя просто констатировать, что что-то вызвывает смех или удовольствие. Надо понимать причины. Необходимо понимать саму природу эмоциональных оценок.
На входе контент. Контент описан понятиями. Есть знания о том, как можно трактовать эти понтия в разных контекстах. Создается огромное количество возможных трактовок. Каждая из трактовок сравнивается со всей предыдущей памятью.
Дам подсказки :) 1. Решение очень сильно в духе самой модели. 2. Миниколонки реально могут «бегать», как на видео. 3. Существенные изменения могут происходить очень быстро (минуты, часы).
Вы мыслите в верном направлении. В следующей части я планировал рассказать достаточно подробно как миниколонки могут «бегать» по коре. Там есть интересные идеи. Сохраним интригу на неделю?
Основные исследования связаны с изучением зрительного восприятия (там проще прослеживать, что от чего зависит). В последующих частях я подробно расскажу о том как работает зрение и как это соотносится с моей моделью. Там очень много важного и интересного. Если приводить факты сопоставления урывками, то, боюсь, не сложится общей картины.
Любые понятия имеют спектр возможных трактовок. Сам термин «информация» имеет разный смысл в зависимости от контекста. Шеннон дал одну из трактовок, основанную на вероятности или, что то же самое на энтропии. В своем узком смысле эта трактовка очень хороша и полезна. Но она, например, не учитывает важность информации. Оглашение приговора «казнить» или «помиловать», когда чаша весов колеблется 50 на 50, содержит 1 бит информации по Шеннону. Но этот бит для подсудимого важнее всего на свете и он расценит информативность приговора несколько по другой шкале.
Вы правильно говорите. Про аксиоматику математики, исходные понятия и их связь с возможностью понимать математику и находить решения трудных задач я хотел написать отдельно. Общепринятой теории смысла, действительно, нет. Приведенные в начале статьи фразы являются общепринятыми толкованиями (если считать википедию мерилом общепринятости). Но дальше я покажу, что введенная в предыдущей части простая модель смысла при некотором усложнении дает очень хорошие практические результаты и в продвинутом виде может претендовать на объяснение смысла в том виде, как его понимает человек.
Все части достаточно сильно увязаны, трудно сказать какая важнее для понимания. Позже будет описана модель зрения. Возможно, на примере будет понятнее.
В общем случае первичной фильтрации нет. Каждый контекст, то есть каждая колонка, строит свою трактовку и сверяет ее с памятью. Ничего нельзя отбросить. Заранее неизвестно опыт какой трактовки придется перенести на текущую ситуацию.
Я бы сказал, что это о другом. Сотня образов для нейрона — это маловато для распределенной памяти. Там нет вариации информации в контекстах. У них, просто, «нейроны бабаушки», но чуть похитрее. Им эта хитрость нужна для объяснения как работать с последовательностями сигналов. У меня последовательность закладывается в структуру идентификаторов. Нет, у них совсем о другом.
Раньше не читал. Насколько я понял из беглого просмотра на википедии это формализация понятия «сознание». Сейчас статьи цикла несколько о другом. Разговор о сознании будет позже. В любом случае спасибо за наводку.
Дело в том, что для любой информации каждая колонка имеет свою трактовку. Проверить трактовку относительно памяти должна каждая из колонок. Если чего-то нет, то дать запрос, подошло бы если бы такая проблема была у очень небольшого числа колонок. Но проверить надо каждой. Похоже, что кроме своей памяти надеятся не на что.
Оптимизация может быть за счет того, что каждая зона коры хранит только свою память. Соседние миниколонки (в радиусе 150 мкм) могут шарить память.
Отнесение чего-то из коры к неокортексу достаточно условно. Неявно полагается, что древние виды ели они не сильно поменялись внешне, значит и мозг сохранили тот же, что и миллионы лет назад. Но о внешенем виде можно судить, по остаткам скелетов. О мозге сложнее, только по форме черепа. Возможно, что мозг птиц сильно эволюционировал.
Первые птицы появились 130 миллионов лет назад.
Любая кора уже повод для сложного адаптивного поведения. Уже минимальная кора, например, как у птиц дает огромные результаты. Более сложная кора дает более глубокие возможности. Но, похоже, зависимость от размеров нелинейна. Каждый новый шаг дается за счет существенного усложнения всей системы.
Да, есть для распознавания изображений.
Цель — понять как работает мозг и создать сильный ИИ.
При пространственной организации обобщенные категории получаются автоматически как области близких по смыслу контекстов, далее я покажу интересные механизмы по работе с ними.
Это уже относится к обучению с подкреплением. Оно будет описано позже.
Все это решается через выделения набора смыслов.
Корреляции между контекстами считаются не по ассоциациям или «вербализациям». Они отражают совместность срабатывания контекстов. То есть тот факт, что часто одна и та же информация может быть неплохо истолокована в каждом из них.
В следующей части я покажу такой механизм на примере автоэнкодера. Его цель — сжатие описания с максимальным сохранением точности.
Оптимизация может быть за счет того, что каждая зона коры хранит только свою память. Соседние миниколонки (в радиусе 150 мкм) могут шарить память.
Первые птицы появились 130 миллионов лет назад.
Любая кора уже повод для сложного адаптивного поведения. Уже минимальная кора, например, как у птиц дает огромные результаты. Более сложная кора дает более глубокие возможности. Но, похоже, зависимость от размеров нелинейна. Каждый новый шаг дается за счет существенного усложнения всей системы.