Comments 4
Здравствуйте, статья интересная и предыдущая тоже. Скажу сразу, что практически нет практики программирования, обучения нейросетей. Заметил, что не используют в обучении дуальность человеческого сознания - сознание и подсознание. Штрафы, ошибки, поиски дна, внимание это скорее способы получше разложить, упаковать готовые знания, библиотеку. Но если сознание, размышление брать с образа человека, то нужно помнить про внутреннюю борьбу между чем-то животным, сиюминутным и идеями, возникшими не сразу и не находившимися в человеке с рождения. И как Вы заметили, если изначально не вложить в архитектуру, то потом тяжело переделывать, возможно мои слова как то помогут в исследованиях. Сложно сказать, эта борьба или тормозит, или переключает ветки решений, или начинает их заново с других вводных, или запускает обучение. И второе, а что, если изначально из модели вырезали "неправильные" связи, то оставшаяся истина начинает делиться на истину и ложь, это в итоге порождает создание галлюцинаций-лжи, которую убрали из аппарата, а она оказывается нужна. Да и явно в этом шуме хаоса остаются неоткрытые знания, ответы из которых человек при усилии делает открытия. И третье, эта вторая сторона должна присутствовать в модели в каком-то виде, что имитировать работу человеческого сознания, без нее смысла о сознании говорить наверное нет. В каком виде оставлять действительно нужный шум, чтобы с ним работать, не знаю, это получается не подсознание, а что-то третье.
Спасибо за интерес к статье!
Единственное замечание: старайтесь держать структуру, чтобы каждая мысль/пункт были оформлены в отдельный абзац. Так мне будет легче вас понять и дать качественный ответ.
По поводу смысла статьи:
В ней я вообще не затрагивал тему сознания как таковую, хоть это и модно в наше время. Она носит исключительно прикладной характер. Цель: перенос представления о глобальной задаче в локальные области модели. Потому что даже частичная осведомленность о задаче целого в теории должна улучшать работу его частей.
Простой пример:
Представим два коллектива.
Первый проводит общие планерки, имеет внутреннюю корреспонденцию и просвещает работников о целях компании. Они, пусть и не глубоко, понимают, что создают.
Второй является закрытым предприятием, имеющим ряд изолированных отделов, где команды получают минимум информации. Они не знают над чем трудятся.
Очевидно, что первый коллектив будет работать, как минимум, не хуже, чем второй. Это подтверждают многочисленные примеры: прозрачные организации всегда эффективнее и лучше поддаются контролю.
Из этого предположения и родилась идея технологии гиперсвязности.
Теперь по поводу ваших рассуждений:
1. Идею дуальности считаю устаревшей и примитивной, отсылающей нас к схоластике. По моему мнению, в человеке нет ничего "животного" и лишнего. Вопрос лишь в адекватности реакции субъекта и его развитии, которое должно соответствовать внешним условиям среды.
Поэтому разум — это скорее передовой контур, этакий новый мета-слой, регулирующий то, что было до него, и вбирающий его внутрь, как часть своей системы.
Пример: "мозг млекопитающего" регулирует "рептильный мозг". КГМ сдерживает эмоциональные порывы.
2. По поводу лишних связей. В этом все и дело, но никто не знает, что лишнее, а что нужное. Неросети являются тем, что едят. Если мы хотим добиться 100% точности, то должны предоставить им исключительно достоверную информацию. А это принципиально невозможно.
И речь даже не о том, что никаких ресурсов не хватит, чтобы отфильтровать большие данные руками профильных специалистов в своих областях. А о том, что даже научный ярлык не дает 100% гарантий.
Могу ошибаться, но около 67% исследований являются неповторяемыми.
3. А что такое сознание, чтобы его имитировать?
С философской точки зрения, сознание — это оболочка между внешним хаосом и внутренним кристаллизованным интеллектом. То есть, с точки зрения внешнего наблюдателя, его не существует.
Вопрос на засыпку, где гарантия, что окружающие вас люди имеют сознание?
Например, вы точно уверены, что я — разумный субъект, а не машина или сон?
Конечно отвечать определениями сознания, существования - задача не по зубам для текста, языка (формальной логики), тут скорее дело культуры мышления и неких смыслов, идей или лучше сказать, произвольные популярные классификации для людей по вкусам, удобности, полезности.
Идея механики взаимодействия между "животным" и новым случайным эволюционным слоем - разумом, может и дать нам подобие работающего "мозга" на нейронах, а не просто точной базы данных.
Термин "дуальность" действительно отсылает мысль куда-то в историю, но у меня нет попытки подружить историю с тем, что я пишу или сделать текст с неким окрасом.
Что касается гиперсвязности. Мне показалось, что она может не только менять веса при обучении, что-то более радикальное и тупое делать. Вот сейчас сеть слой за слоем передает, очень похоже на мозг рептилии - мозг млекопитающего и все там есть и нужное и не нужное, выключить навсегда ничего нельзя, как оно работает непонятно, но обрабатывает и дает результаты. Допустим, что какой-то этап обучения эти слои уже прошли и что-то умеют, как бы от рождения уже умеют. Гиперсвязность же выглядит как мета-слой, который может запомнить результаты работы, обучиться тому как эти слои мозгов работают в целом и потом, на каком-то этапе, обучаться делать какие-то трюки - выключить часть блоков, подменить начальные веса где-то, делать это слепо в начале, но потом получше, подобрать рычаги влияния. Эти грубые вмешательства возможно могут налагать свои глобальные гиперслои и не уничтожать уже существующую работу.
Это будет выглядеть как замашка на идею сознания, на то как человек действует в жизни. Человек как огромная организация, ведь нейроны человека находятся не только в голове. А сознание все-таки более простая и отвлеченная структура. Гиперсвязность может действовать не внутри всех нейросетей, а видеть глобально. Если ее погрузить слишком глубоко она превратится в еще один обычный, вспомогательный слой.
Гиперсвязные нейронные сети. Имитация биологических нейронов: ОС, прунинг, ингибирование и межбатчевая связь