но даже и на физическое перемещение на любое расстояние внутри галактики
И не только. Этого времени достаточно на посещение и закрепление в каждой звёздной системе в галактике. Если не пролетать галактику насквозь, а двигаться от звезды к звезде, то достаточно, чтобы экспедиция (автоматическая) могла в месте прибытия из местного материала произвести собственные копии и отправить их к ближайшим звёздным системам.
в случае если у нас не шифр, а неизвестный язык или неизвестная письменность, то у нас есть зацепки, по которым мы можем отличать правильные расшифровки от неправильных.
Не только для языка, для шифра это тоже работает. Так Энигму вскрывали. В расшифровках искали слова из словаря.
Кстати, есть ли смысл в расшифровке или нет, можно считать как — есть ли в ней уже известные последовательности из словаря. То есть, словарь определяет наличие смысла в расшифровке.
Особые точки за что-то «цепляются» (угол, например), а у вас они словно распределены случайно. Ощущение, что формируете из экстремумов что-то вроде хеша.
Подход и сами «живые» графы похожи на графы вычислительной Вселенной: habr.com/ru/post/518206. Скорее всего, они ими и являются, просто правила в другом формате записи.
«Странная фигура 1» демонстрирует распад физического пространства на несвязанные области, ака чёрные дыры или разбег галактик. А «Кокошник» в своей внутренней структуре действительно должен быть искривлён гравитацией из-за энергии, поддерживающей структуру этого 2D пространства.
Техники нет, я всегда на каком-то уровне знаю, что я во сне. Яркая мысль о том, что это сон, разрушает его. Поэтому задвигаю её подальше, чтобы не выпасть в этот самый отладочный режим. Ну, а если попал в него, то ничего не делаю. Через несколько секунд благополучно выбрасывает из сна. А в этом «отладочном режиме» нет условий для нормального завершения сна. Можно, так сказать, «застрять», пока прилично не запаникуете. Поэтому лучше просто спать, смотреть сны и нормально просыпаться.
Для меня осознанные сны с режимом бога были интересны давным давно первые несколько раз. В моём случае ранее живой и самостоятельный мир останавливается и ждёт моих указаний, это словно какой-то режим отладки. Поэтому я давно предпочитаю просто «участвовать в спектакле» без желания занять кресло режиссёра и сценариста, — не превращать отдых в работу.
Занятная история про гипер-реалистичные сны. Двадцать пять лет назад ещё бывали очень холодные зимы, чтоб пробирало аж до костей. Я как-то очень морозным утром как обычно ехал в институт в промёрзшем автобусе. Ради забавы дышал на холодное стекло, которое тут же затягивалось морозным рисунком. И вот все эти неповторимые фрактальные снежинки навели на мысль, что я бы при всём желании не смог сгенерировать во сне такую «сложность», так что подобное можно использовать как тест — во сне я или в реальности, ну и меня тут же выбросило из сна ). До сих пор периодически попадаю в такие ситуации.
Кстати, Черниговская рассказывала, что белочка, которая приходит к людям, настолько реальна, что отличить от настоящей невозможно. Галлюцинации гипер-реалистичны, соответственно, ничего не запрещает такими же быть и снам, чем они по сути и являются.
Вы всё время говорите про совершенно другой временной диапазон — секунды и про сознательный счёт.
Когда человек бросает взгляд, он сразу ощущает количество неких объектов, это занимает у него десяток-другой миллисекунд. Сам факт того, что он что-то увидел осознается/ощутится им спустя 100-200 мс. А переносить взгляд сможет ещё позже.
Выделение кубиков разных цветов не есть их подсчёт. Это как раз тот самый предварительный процесс распознавания, про который я и вы говорили. Да, там тоже задействован механизм внимания, именно он отфильтровывает все синие кубики. Это именно фильтр. Но фокус внимания не сдвигается.
Всё, что попадает в фокус внимания, мгновенно подсчитывается. Вы бросили взгляд на, допустим, корзину яблок. В корзине и в фокусе внимания оказалось три яблока, вы сразу ощутили, что их именно три, а не четыре или пять или двадцать. Вам не надо прилагать никаких усилий для этого. Вы ощущаете их количество как только зафиксировались глаза.
Далее вы можете поочерёдно переводить взгляд на одно, потом на второе, потом на третье, мысленно считая их. Каждый раз в фокусе внимания оказывается по одному объекту. А высшая психическая функция ведёт подсчёт и получает число три.
Наверняка есть люди с заболеванием, которые неспособны ощущать количества, пока не подсчитают их сознательно, «загибая пальцы: 1, 2, 3...», даже если там 2-3 яблока перед ними.
И когда вы сравниваете две корзины яблок, вы тоже сразу ощущаете где их больше, вы не считаете их по одному, прыгая по ним взглядом.
Если бы для подсчёта необходимо было двигать глазами, нас бы всех съели волки, пока мы соображаем — два перед нами волка или десять.
Нам не надо искать паттерны для количества во входных данных. Их надо искать в сигнале с предыдущего слоя, который уже произвел необходимые обобщения для выделения объектов. При этом он выделяет объекты, но не подчитывает их количество.
Входные данные, про которые я писал — это данные, которые поступают на вход «численной» сети от "предыдущего слоя, который уже произвел необходимые обобщения для выделения объектов". "Он выделяет объекты, но не подсчитывает их количество".
Всё верно. Предыдущий слой выделил объекты, теперь их надо подсчитать.
Для подсчета объектов не надо вычислять их пространственные позиции. Надо подсчитать количество сигналов «обнаружен объект». Это одномерный сигнал, который поступает на вход подсчитывающего нейрона.
Вы предлагаете использовать механизм внимания, который «выхватывает лучом» объекты и формирует последовательность кодов «обнаружен объект». Это медленный высокоуровневый механизм. Да, он в том или ином виде есть. Но:
У нас разговор о механизме мгновенного точного подсчета, который работает до 3-4 предметов.
А мгновенная оценка не задействует механизм внимания. Соответственно, нечем сформировать последовательность кодов «обнаружен объект».
Я не считаю паттерны в сенсорном слое. Полагаем, что некая сеть ранее уже распознала объекты и каждому объекту сопоставила/промаркировала его пространственную позицию (от 1 до 100). Нужно подсчитать количество заполненных клеток.
Алгебраически это примитивнейшая задача, но на НС вы её никак не решите. Датасет из всех возможных вариантов выбора пары клеток — это громадный список, можно сказать, случайных несвязных входных векторов. Проще говоря, во входных данных нет паттернов. Сеть не способна аппроксимировать шум. Единственное что она может — это выучить весь датасет, но с учётом его размера, размер самой сети побежит в бесконечность.
То есть на слой определения численности идут сигналы «обнаружен объект», «обнаружен объект», «обнаружен объект».
Такой последовательный механизм (аля, подсчёт с загибанием пальцев) не способен оценить десятки объектов за мгновение. Для подсчёта трёх орехов на столе достаточно бросить взгляд. Для немногим менее точной оценки количества огурцов в банке тоже хватает менее 100 мс.
А нейроны на следующем слое выделяют паттерны в последовательности этих сигналов.
Ну вспыхивает периодически некий кластер нейронов (условно 10 штук из 10 тысяч). Начнём считать другие объекты будут вспыхивать совершенно другие нейроны. Третий, десятый, тысячный… Каждый раз это будут вспышки кластеров, практически никак не пересекающихся друг с другом.
Случайность, которая играет большую роль, на этом уровне маловероятна.
Вариативность параметров не то что маловероятна, от неё трудно избавиться. Это же живые клетки, у всех параметров диапазон.
Для последовательности достаточно просто поддерживать активность в течении некоторого окна. Например, секунду, если хотим отличать один щелчок пальцев от двойного. В мозге полно таких временных окон.
Вот только вопрос как этого добиться. Слово «спускает» не добавляет ясности
Она должна получать на вход не последовательность слов, а граф ( habr.com/ru/post/520748/#comment_22124724 ) той мысли, которую она должна перевести в слова. Ограничить её «поток сознания» рамками графа. Её цель должна быть — озвучить мысль, а не нести непроизвольный бесконтрольный бред.
В том то и дело, что в случае подсчёта произвольных объектов отсутствуют паттерны, которые можно выделить/обобщить.
К примеру, для игрушечного поля размером всего 10 на 10 клеток количество возможных паттернов для количества 2 равно числу сочетаний из 100 по 2. Это астрономическое число. Пересечение паттернов (возможность обобщения) ноль.
точный подсчет количества работает для ощущений любой природы — зрительных, слуховых и т.д.
Да, я так и написал. Для моей модели не имеет значение происхождение входной «информации». И она не требует обучения. И есть объяснение почему точность 100% для чисел от 1 до 4 и почему она уменьшается с увеличением количества объектов.
Не читал ещё работы по вашим ссылкам, но проверил свою идею, которая родилась после вашего комментария, что активность «численных» нейронов аппроксимируется гауссами.
В итоге, модель демонстрирует 100%-ное распознавание на подсчёте количеств до 4 объектов. Для больших количеств начинается смешение с умеренной или слабой активностями от нейронов соседних чисел. Подсчёт может вестись как для одновременно наблюдаемых объектов так и для их последовательности.
Думаю численные нейроны, если и отличаются от нейронов соседних участков коры, то, скорее всего, незначительно. Свойство подсчёта — эмерджентное и должно быть присуще всей коре.
Идея состоит в том, что численные нейроны выполняют квантование величины разряженности входной активности.
Каждый подсчитываемый объект должен проецироваться в одинаковую по величине случайную активность. Тогда независимо от расположения, формы, размера и происхождения объектов на входе слоя нейронов будет суммарная случайная активность одинаковой разряженности. Перевод входной активности в выход нейрона обеспечивает колокол гауссианы. Сам же нейрон в итоге работает как полосовой фильтр. Каждому уровню разряженности соответствует своя группа нейронов, в слое всех нейронов это проявляется в виде устойчивых паттернов активности.
И важное, такому нейрону не требуется обучение. Достаточно просто случайной вариативности в параметрах при его «создании». Возможно по подобной схеме работает распознавание численности у насекомых, например, пчёл и муравьёв.
Каждый нейрон в карте избирательно реагирует на определенное число. Максимум активности, если число объектов совпадает с целевым, чем больше разность, тем активность меньше.
Такое же поведение демонстрирует нейрон, который я разработал. Собственно, этого от него и добивался.
Нейрон, который избирательно реагирует на определённое число, не имеет ли он привязки к некой области во входе, или к паттерну расположения объектов определённым образом?
Например, нейрон реагирует на число три и его максимальный ответ, когда объекты расположены в углах треугольника определённого размера в левом верхнем углу.
Гугл переводит «Девушка с косой косила траву косой» для обеих кос — scythe. Ему не в домек, что это разные косы. Как его поместить в нужный контекст, чтобы он выдавал нужные переводы кос?
В той теменной зоне коры разным количествам наблюдаемых объектов соответствовала разная активность зоны, например, для одного объекта — минимальная активность, для 5 — максимальная? Или каждому числу соответствовал свой паттерн активности?
И ещё важной момент. Что определяет что именно считать?
Интересная мысль, а есть где прочитать про эти 20 шаблонов?
У других встречал нечто близкое пару раз, но ссылок не сохранил. Сам же нигде не публиковал, так как в виде законченного решения идея ещё не воплощена.
Для себя эти шаблоны рисую в виде пиктограмм, так что тут сложно их изобразить. На примере разбора строки: «В лесу родилась ёлочка».
Всё начинается с двух базовых состояний у любого объекта: он либо есть, либо его нет. Шаблоны EXIST и NULL.
— лес, ёлочка (EXIST)
Раз есть два состояния, то есть и два перехода из одного в другой. NULL->EXIST, EXIST->NULL.
— родилась (NULL->EXIST)
Свойство объектов этого мира содержать/состоять_из в себе другие объекты — вложенность. CONTAINS
— в лесу (CONTAINS)
Итого получаем граф, где CONTAINS связан с двумя EXIST, один из которых связан с NULL->EXIST.
Точно такой же граф будет у «В лесу выросли грибы».
Далее я ввожу пространство, время, и всё вытекающее из их комбинаций: расстояний (близко, далеко, здесь, там), соотношений размеров и переходов (пришёл, пропал, пересёк).
Кстати, заметьте, что и абстрактные вещи мы описываем как реальные объекты, например, «уйти от проблем», «в город пришла весна», «наступила ночь». Вот ночь, к слову, часто именно «наступает», раз и темно, как ногой наступили.
На этой базе я пытаюсь построить машинное мышление, так как эти графы-шаблоны как молекулы или белкИ — их возможные соединения друг с другом не случайны. И в таком случае смысл возникает, когда получается в словах отыскать известные шаблоны и затем сцепить их друг с другом.
Выше я, собственно, и высказал, что из обособленного текста граф можно построить возможно только на статистике встречаемости в нём паттернов. На GPT я не нападаю. Я вообще не про сетку речь веду, а про смысл. Что смысл появляется, когда структура одного графа отыскивается в другом графе. Смысл — это ребро в гиперграфе между двух его вершин, когда эти вершины созданы из множеств вершин графа, находящихся в неком «подобии».
По этой причине без таблицы перекодировки/связи одних паттернов в графе из манускрипта Войнича в паттерны переводчика смысла в этих текстах нет (для переводчика). Хотя, внутри текста смысл есть (как структура гиперграфа), но для «внешнего наблюдателя» его нет.
А для того, чтобы та же GPT начала лучше разбираться в текстах, нужно ей вручную подогнать те паттерны, что мы уже знаем о мире, а она в отсутствие тела неспособна самостоятельно сформировать.
И я не понимаю, почему эта задача у других «хреново получается». Не нужно пытаться весь мир загнать в граф (про такой тупиковый проект я знаю). Нужно сформировать сильно ограниченный набор простых шаблонов для квантования этого мира. Я как-то насчитал менее двух десятков таких паттернов, которыми можно описать/структурировать большинство текста. И подозреваю, что эти структуры у нас уже зашиты генетически в коннектом, как понятие численности, а не формируются в процессе обучения.
Я понадеялся, что вы мне сейчас и расскажите. :) Меня интересует постройка детектора численности, и я помню вы про неё много комментировали, но всё не хватает времени прочесть.
Кстати, есть ли смысл в расшифровке или нет, можно считать как — есть ли в ней уже известные последовательности из словаря. То есть, словарь определяет наличие смысла в расшифровке.
«Странная фигура 1» демонстрирует распад физического пространства на несвязанные области, ака чёрные дыры или разбег галактик. А «Кокошник» в своей внутренней структуре действительно должен быть искривлён гравитацией из-за энергии, поддерживающей структуру этого 2D пространства.
Кстати, Черниговская рассказывала, что белочка, которая приходит к людям, настолько реальна, что отличить от настоящей невозможно. Галлюцинации гипер-реалистичны, соответственно, ничего не запрещает такими же быть и снам, чем они по сути и являются.
Когда человек бросает взгляд, он сразу ощущает количество неких объектов, это занимает у него десяток-другой миллисекунд. Сам факт того, что он что-то увидел осознается/ощутится им спустя 100-200 мс. А переносить взгляд сможет ещё позже.
Выделение кубиков разных цветов не есть их подсчёт. Это как раз тот самый предварительный процесс распознавания, про который я и вы говорили. Да, там тоже задействован механизм внимания, именно он отфильтровывает все синие кубики. Это именно фильтр. Но фокус внимания не сдвигается.
Всё, что попадает в фокус внимания, мгновенно подсчитывается. Вы бросили взгляд на, допустим, корзину яблок. В корзине и в фокусе внимания оказалось три яблока, вы сразу ощутили, что их именно три, а не четыре или пять или двадцать. Вам не надо прилагать никаких усилий для этого. Вы ощущаете их количество как только зафиксировались глаза.
Далее вы можете поочерёдно переводить взгляд на одно, потом на второе, потом на третье, мысленно считая их. Каждый раз в фокусе внимания оказывается по одному объекту. А высшая психическая функция ведёт подсчёт и получает число три.
Наверняка есть люди с заболеванием, которые неспособны ощущать количества, пока не подсчитают их сознательно, «загибая пальцы: 1, 2, 3...», даже если там 2-3 яблока перед ними.
И когда вы сравниваете две корзины яблок, вы тоже сразу ощущаете где их больше, вы не считаете их по одному, прыгая по ним взглядом.
Если бы для подсчёта необходимо было двигать глазами, нас бы всех съели волки, пока мы соображаем — два перед нами волка или десять.
Всё верно. Предыдущий слой выделил объекты, теперь их надо подсчитать.
Вы предлагаете использовать механизм внимания, который «выхватывает лучом» объекты и формирует последовательность кодов «обнаружен объект». Это медленный высокоуровневый механизм. Да, он в том или ином виде есть. Но:
А мгновенная оценка не задействует механизм внимания. Соответственно, нечем сформировать последовательность кодов «обнаружен объект».
Алгебраически это примитивнейшая задача, но на НС вы её никак не решите. Датасет из всех возможных вариантов выбора пары клеток — это громадный список, можно сказать, случайных несвязных входных векторов. Проще говоря, во входных данных нет паттернов. Сеть не способна аппроксимировать шум. Единственное что она может — это выучить весь датасет, но с учётом его размера, размер самой сети побежит в бесконечность.
Такой последовательный механизм (аля, подсчёт с загибанием пальцев) не способен оценить десятки объектов за мгновение. Для подсчёта трёх орехов на столе достаточно бросить взгляд. Для немногим менее точной оценки количества огурцов в банке тоже хватает менее 100 мс.
Ну вспыхивает периодически некий кластер нейронов (условно 10 штук из 10 тысяч). Начнём считать другие объекты будут вспыхивать совершенно другие нейроны. Третий, десятый, тысячный… Каждый раз это будут вспышки кластеров, практически никак не пересекающихся друг с другом.
Вариативность параметров не то что маловероятна, от неё трудно избавиться. Это же живые клетки, у всех параметров диапазон.
К примеру, для игрушечного поля размером всего 10 на 10 клеток количество возможных паттернов для количества 2 равно числу сочетаний из 100 по 2. Это астрономическое число. Пересечение паттернов (возможность обобщения) ноль.
Да, я так и написал. Для моей модели не имеет значение происхождение входной «информации». И она не требует обучения. И есть объяснение почему точность 100% для чисел от 1 до 4 и почему она уменьшается с увеличением количества объектов.
В итоге, модель демонстрирует 100%-ное распознавание на подсчёте количеств до 4 объектов. Для больших количеств начинается смешение с умеренной или слабой активностями от нейронов соседних чисел. Подсчёт может вестись как для одновременно наблюдаемых объектов так и для их последовательности.
Думаю численные нейроны, если и отличаются от нейронов соседних участков коры, то, скорее всего, незначительно. Свойство подсчёта — эмерджентное и должно быть присуще всей коре.
Идея состоит в том, что численные нейроны выполняют квантование величины разряженности входной активности.
Каждый подсчитываемый объект должен проецироваться в одинаковую по величине случайную активность. Тогда независимо от расположения, формы, размера и происхождения объектов на входе слоя нейронов будет суммарная случайная активность одинаковой разряженности. Перевод входной активности в выход нейрона обеспечивает колокол гауссианы. Сам же нейрон в итоге работает как полосовой фильтр. Каждому уровню разряженности соответствует своя группа нейронов, в слое всех нейронов это проявляется в виде устойчивых паттернов активности.
И важное, такому нейрону не требуется обучение. Достаточно просто случайной вариативности в параметрах при его «создании». Возможно по подобной схеме работает распознавание численности у насекомых, например, пчёл и муравьёв.
Нейрон, который избирательно реагирует на определённое число, не имеет ли он привязки к некой области во входе, или к паттерну расположения объектов определённым образом?
Например, нейрон реагирует на число три и его максимальный ответ, когда объекты расположены в углах треугольника определённого размера в левом верхнем углу.
Я пытаюсь эту задачу решить вот таким способом: habr.com/ru/post/520748/#comment_22124724
И ещё важной момент. Что определяет что именно считать?
Для себя эти шаблоны рисую в виде пиктограмм, так что тут сложно их изобразить. На примере разбора строки: «В лесу родилась ёлочка».
Всё начинается с двух базовых состояний у любого объекта: он либо есть, либо его нет. Шаблоны EXIST и NULL.
— лес, ёлочка (EXIST)
Раз есть два состояния, то есть и два перехода из одного в другой. NULL->EXIST, EXIST->NULL.
— родилась (NULL->EXIST)
Свойство объектов этого мира содержать/состоять_из в себе другие объекты — вложенность. CONTAINS
— в лесу (CONTAINS)
Итого получаем граф, где CONTAINS связан с двумя EXIST, один из которых связан с NULL->EXIST.
Точно такой же граф будет у «В лесу выросли грибы».
Далее я ввожу пространство, время, и всё вытекающее из их комбинаций: расстояний (близко, далеко, здесь, там), соотношений размеров и переходов (пришёл, пропал, пересёк).
Кстати, заметьте, что и абстрактные вещи мы описываем как реальные объекты, например, «уйти от проблем», «в город пришла весна», «наступила ночь». Вот ночь, к слову, часто именно «наступает», раз и темно, как ногой наступили.
На этой базе я пытаюсь построить машинное мышление, так как эти графы-шаблоны как молекулы или белкИ — их возможные соединения друг с другом не случайны. И в таком случае смысл возникает, когда получается в словах отыскать известные шаблоны и затем сцепить их друг с другом.
* вся вселенная — это граф: habr.com/ru/post/518206
Выше я, собственно, и высказал, что из обособленного текста граф можно построить возможно только на статистике встречаемости в нём паттернов. На GPT я не нападаю. Я вообще не про сетку речь веду, а про смысл. Что смысл появляется, когда структура одного графа отыскивается в другом графе. Смысл — это ребро в гиперграфе между двух его вершин, когда эти вершины созданы из множеств вершин графа, находящихся в неком «подобии».
По этой причине без таблицы перекодировки/связи одних паттернов в графе из манускрипта Войнича в паттерны переводчика смысла в этих текстах нет (для переводчика). Хотя, внутри текста смысл есть (как структура гиперграфа), но для «внешнего наблюдателя» его нет.
А для того, чтобы та же GPT начала лучше разбираться в текстах, нужно ей вручную подогнать те паттерны, что мы уже знаем о мире, а она в отсутствие тела неспособна самостоятельно сформировать.
И я не понимаю, почему эта задача у других «хреново получается». Не нужно пытаться весь мир загнать в граф (про такой тупиковый проект я знаю). Нужно сформировать сильно ограниченный набор простых шаблонов для квантования этого мира. Я как-то насчитал менее двух десятков таких паттернов, которыми можно описать/структурировать большинство текста. И подозреваю, что эти структуры у нас уже зашиты генетически в коннектом, как понятие численности, а не формируются в процессе обучения.