Comments 6
Вообще, процесс можно представить как выращивание гетерархии. Вниз растут корни фич с высоким разрешением, вверх растут ветви обобщений, и каждая новая точка становится седловой. Рост фич и обобщений происходит связно — чем больше фич активировано по уже известным деталям, тем выше ветви и глубже корни. Сеть это техническое решение, семантика же имеет вид постоянно растущей гетерархии. Чтобы появился новый шаг в глубину, необходимо, чтобы образовался новый шаг в высоту. Глубина — повышает разрешение восприятия. Высота связана с этим разрешением. Каждый новый бит различает какие-либо категории, а не является сам-по-себе. Если принять, что глубина разрешения растет точно в соответствии с числом различаемых категорий и их ветвистостью, то структура семантической сети становится понятна в развитии, от шага к шагу.
Я прочитал определение гетерархии в википедии и оно ничем мне не помогло понять ваш комментарий :)
Да уж, рисовать надо. Не доходят руки статью закончить, но — обязательно.
Если грубо — из каждой точки растут два дерева. Вверх — ветви обобщений, вниз — корни фич. Вниз — увеличивается разрешение, вверх — увеличивается абстракция. И точное соответствие — каждый новый бит различает новый путь в группах абстракций.
В результате каждый узел объединяет некоторые фичи в некоторое совместное обобщение. Получается семантическая сеть. Любые несколько точек семантической сети если распознаются совместно, в рамках одного контекста — соединяются в обобщение. А если уже соединены — увеличивается разрешающая способность в глубину на 1 бит (т.е. возникает новая фича или увеличивается разрешение уже имеющейся фичи) и получается одновременная операция «обобщение+различение».
Но мой метод не связан с нейронными сетями, алгоритм работы с семантической сетью последовательный (идея управления движением точки фокуса внимания).
Поэтому может быть не очень понятно в таком сжатом виде.
Если грубо — из каждой точки растут два дерева. Вверх — ветви обобщений, вниз — корни фич. Вниз — увеличивается разрешение, вверх — увеличивается абстракция. И точное соответствие — каждый новый бит различает новый путь в группах абстракций.
В результате каждый узел объединяет некоторые фичи в некоторое совместное обобщение. Получается семантическая сеть. Любые несколько точек семантической сети если распознаются совместно, в рамках одного контекста — соединяются в обобщение. А если уже соединены — увеличивается разрешающая способность в глубину на 1 бит (т.е. возникает новая фича или увеличивается разрешение уже имеющейся фичи) и получается одновременная операция «обобщение+различение».
Но мой метод не связан с нейронными сетями, алгоритм работы с семантической сетью последовательный (идея управления движением точки фокуса внимания).
Поэтому может быть не очень понятно в таком сжатом виде.
Интересно, а этот алгоритм сумеет понять, есть ли у нас множественные локальные плато, т.е. на самом деле внутри групп есть подгруппы?
Понять — это про человека :)
Архитектура сети, распознающей группы для подрупп будет более-менее унифицированной в случае deep learning.
Алгоритм мог бы понять, если бы на вход одной сети подавать архитектуры других сетей и результаты обучения, и тогда он бы классифицировал (т.е. понимал), какие архитектуры обеспечивают классификацию на группы и подгруппы, а какие нет.
Но вот множественные плато — это действительно «т.е. на самом деле внутри групп есть подруппы»?
Архитектура сети, распознающей группы для подрупп будет более-менее унифицированной в случае deep learning.
Алгоритм мог бы понять, если бы на вход одной сети подавать архитектуры других сетей и результаты обучения, и тогда он бы классифицировал (т.е. понимал), какие архитектуры обеспечивают классификацию на группы и подгруппы, а какие нет.
Но вот множественные плато — это действительно «т.е. на самом деле внутри групп есть подруппы»?
Это и есть иерархическое обучение разделениям фич. Они пробовали выделять и иерархические категории тоже, со сходным результатом
Sign up to leave a comment.
Заметки с MBC Symposium: попытки разобраться, почему работает deep learning