Есть лекция, в которой Савельев рассказывает про работу нейронов и мозга: https://youtu.be/gfLG-3wwTec?si=-vxgvDLYhLN6fjTF. Возможно будет интересно. Лично я заметил в тексте некоторые корреляции.
Вообще это очень обширная область, в которой необходимо объединить много всяких идей и сделать теорию, на основе которой можно будет мыслить и формализовать мысли о создании интеллекта. У вас в статье много всяких понятий, которые нужно формализовать, иначе получается каша и определение одного через другое, у которого нет определения или оно определяется через первое. Либо вы подразумеваете очень сложные понятия, которые не определены в техническом смысле. В общем, я считаю, что прежде чем говорить о сознании, "я" или интеллекте, их нужно формализовать или хотя бы дать определение.
У понятия "интеллект" есть определение что-то типа: "высшая психическая деятельность человека". А что такое психика, а что такое высшая и тд. Получается одпередение одного через другого - замкнутый цикл. Т. е. психика без интеллекта невозможна, а интеллект - без психики. Значит нужно определять как-то более фундаментально, чтобы не было таких замыканий. Это просто мнение относительно использования различных терминов.
А насчёт создания ОИИ - нужно создавать теорию, просто взять и кодить - не вариант. Само собой в мире ничего не происходит. Обладая всеми публичными знаниями человечества в БЯМ "интеллект" так и не появился... значит дело в самом подходе к созданию ИИ и пониманию людьми фундаментальных вещей о программировании (и о том, как работает нервная система).
Это интересная тема. Думаю траты стоят того, чтобы люди работали в этом направлении. Исследовать и создавать технологии, которые продлевают жизнь - это будущее науки и всего человечества в целом.
У человека с возрастом мозг начинает работать по-другому, становится не интересно исследовать новое. А у детей и молодых механизм исследования активен, с возростом он блокируется или исчезает, поэтому жизнь становится менее яркой.
Ещё интерес к жизни зависит от самого человека. Если ему не интересно заниматься чем-то сложным, интересным или масштабным, то обычная жизнь очень быстро становится скучной.
Тоже думал о постепенной замене клеток на некие искусственные микро или нано машины, которые будут выступать в качестве клеток. Но для людей в разумных временных рамках создание чего-то такого - невозможно, т. к. это само по себе сложно, ещё и всякие эксперименты и проверки, отладка, улучшение и т. д. Ещё и неизвестно, получится ли это в принципе, т. е. размеры клеток очень малы (а дендриты, аксоны, синапсы, медиаторы ещё меньше), нужно будет сначала сделать подходящие материалы, если это возможно. А потом это ещё и как-то интегрировать, внедрять. Возможно, проще будет работать с жизнедеятельностью клеток, а не их заменой.
Хорошая идея, благодарю. Уже накидал удобный для себя заметчик, предварительно получив шаблон у Грока. Десктопная версия, сойдёт. Правда только для тех, у кого есть базовые знания по html, css и js, и понимание программирования.
Хорошая статья. Здесь рассказывается идея о том, что нейрон работает намного сложнее, чем просто суммация сигналов, которую можно описать парой уравнений.
Я слышал, что в мембране клеток (по крайней мере у нейрона) есть некие молекулы, которые могут принимать 2 состояния. Эти молекулы располагаются по всей мембране, включая дендриты (ведь они тоже являются мембраной). Таким образом, возможно, эти молекулы в совокупности образуют некий клеточный автомат, то есть это по сути целое вычислительное устройство нейрона. Такая идея как раз дополняет или даже объясняет "агентное" поведение нейрона.
Видели ли вы где-нибудь подобные идеи о таком вычислительном устройстве или идею о том, что нейрон является небольшой вычислительной машиной?
Для новичков статья будет интересной. Хоть я и не новичок в машинном обучении, но мне нравится такой формат: с нуля, анализ программы, разбор нюансов и тп.
Только есть нюанс. Новички и им подобные не читают Хабр (по крайней мере я так не делал).
Идея представления нейрона как отдельного объекта тоже интересная. Обычно всё рассматривается с точки зрения математики, все преобразования происходят исключительно матричными операциями (тензорными) и никаких нейронов, только матрицы и векторы. А с точки зрения алгоритмов я вроде ни разу не видел разбора.
Если говорить о создании цифрового интеллекта, то возможно стоит также рассматривать всё с точки зрения алгоритмов, а не только с точки зрения оптимизации функции.
Слово "перцептрон" вроде как не русское. Оно скорее образовано в английском языке на основе слова perception (восприятие) или других подобных слов. А потом представлено в русском языке просто русскими буквами.
А что насчет того, что обычно летающие тарелки представляются как некие внеземные технологии инопланетян, которые способны двигаться не только в атмосфере планеты, но и в открытом космосе в вакууме?
Не, это для проекта "Теория цифрового интеллекта". Это открытый проект, цель - развитие мышления в направлении создания СИИ и создание общей теории. Есть небольшой набросок теории, можете посмотреть.
Почему это важная тема? - Потому, что организм строится на основе выраженности определенных участков ДНК в каждой клетке, выраженность генов — это результат эволюционных изменений.
Каждая клетка нервной системы имеет свои определенные функции на врожденном уровне. Поля мозга - это результат выраженности генов. Нейроны пластичны, но это не имеет смысла, если они будут работать хаотично. Они не работают хаотично, так как у них задаются определенные функции от рождения (после деления).
Например, биение сердца - это результат работы определенных нейронов (в стволовой части мозга), функции которых заданы генетически (эта информация закодирована в ДНК). Этот механизм биения сердца сформировался эволюционно. Цель статьи - рассказать про идею эволюции, про то, что все участки ДНК - это результат эволюции.
Эту статью я сделал для своего проекта. Эта статья необходима для развития понимания того, как работает ЕИ. Откуда в мозге появились механизмы, которые в совокупности обеспечивают появление интеллекта.
А есть какая-нибудь информация о таких нейросетях, которые обучаются в прямом распространении (если я правильно понял)?
Я периодически думаю о том, как это может быть возможно или как может выглядеть эта идея на практике. У меня эта идея исходит из того, что в биологической нейросети нет обратного распространения, следовательно, она может обучаться только на основе входных данных.
А как это может выглядеть - не понятно, но только с точки зрения обычных взглядов на машинное обучение. МО решает задачу аппроксимации, то есть нужно построить отображение на основе набора данных. Но биологическая нейросеть формирует соответствие (не математическое) в режиме реального времени (и динамически) без набора данных, только на основе входных данных.
У меня есть догадки, которые исходят из моих знаний о нервной системе (которые далеко неполны). Возможно это описано в общей теории по нейрофизиологии или нейробиологии. Или не описано, но скорее всего эта идея присутствует там в неявном виде. Я же просто додумываю с точки зрения алгоритмов и структур данных.
Каким образом это все может происходить я как раз хочу попробовать описать и возможно это будет основа некой общей теории по созданию цифрового интеллекта - это очень сложная задача, пока у меня есть только какие-то базовые представления, возможно, когда я это опишу, у меня появится представление о том, что делать дальше.
Сигмоида - это нелинейное преобразование, и вообще это отдельная операция. Линейное преобразование - это понятие из линейной алгебры.
Нелинейность нужна, чтобы строить сложные представления данных. Без нелинейности многослойность не имеет смысла, так как несколько линейных преобразований можно представить в виде одного - в итоге представление данных особо ничего не даст и их не получится разделять.
В слое RNN есть нелинейность (sigmoid или tanh), но это свойство самого слоя RNN, так как она обеспечивает нелинейность для своего состояния, которое RNN использует на следующем шаге обработки. Далее это состояние можно програть через линейный слой и через нелинейность - получится ответ нейросети.
Здесь имеется в виду слой нейросети, архитектурный слой нейросети с точки зрения программирования. Также может быть рекуррентный слой или слой-трансформер.
Каждое преобразование можно обернуть в класс, у которого есть метод forward. Каждое преобразование рассматривается как отдельный слой (или объект, в глубоком обучении обычно это называют слоем). Линейное преобразование или сигмоида - это не имеет значение.
Затем эти слои можно создать и добавить в список, и обрабатывать последовательно, вызывая у каждого объекта метод forward, чтобы не вызывать отдельно сигмоиду или другие функции, если они будут в архитектуре нейросети.
Вы рассматриваете понятие интеллекта на уровне человеческого или около того. А я рассматриваю общее понятие интеллекта, то есть способность системы к адаптации. Можете прочитать мои последние комментарии, там как раз про это рассказываю.
Такое упрощение этого понятия необходимо для того, чтобы можно было детерминировать различные идеи о том, как создавать цифровой интеллект. Постепенно все описывать и начинать все усложнять с низов, так как сразу сделать сложный интеллект очень сложно или невозможно.
Вообще на мои вопросы БЯМ тоже не может давать ответов, просто генерирует похожий текст как в ее обучающих данных, никакого понимания вопроса, даже если дать ей контекст и показать как это работает.
Понимаю. Я сделал эту статью как раз для того, чтобы показать свою идею о том, что означает понятие "интеллект". Судя по вашему комментарию, могу сказать, что вы понимаете понятие интеллекта очень узко, то есть только интеллект человеческого уровня. А я же понимаю это понятие в общем случае, то есть интеллект - способность системы самостоятельно адаптироваться. То, что БЯМ может адаптироваться на основе контекста, показывает, что она обладает интеллектом, хоть и очень слабым, к тому же + chain of thoughts.
Я специально привел свое определение понятия интеллекта, чтобы показать, что интеллект может быть не только человеческого уровня. Можете прочитать мои последние комментарии, там как раз про это рассказываю
Есть лекция, в которой Савельев рассказывает про работу нейронов и мозга: https://youtu.be/gfLG-3wwTec?si=-vxgvDLYhLN6fjTF. Возможно будет интересно. Лично я заметил в тексте некоторые корреляции.
Вообще это очень обширная область, в которой необходимо объединить много всяких идей и сделать теорию, на основе которой можно будет мыслить и формализовать мысли о создании интеллекта. У вас в статье много всяких понятий, которые нужно формализовать, иначе получается каша и определение одного через другое, у которого нет определения или оно определяется через первое. Либо вы подразумеваете очень сложные понятия, которые не определены в техническом смысле. В общем, я считаю, что прежде чем говорить о сознании, "я" или интеллекте, их нужно формализовать или хотя бы дать определение.
У понятия "интеллект" есть определение что-то типа: "высшая психическая деятельность человека". А что такое психика, а что такое высшая и тд. Получается одпередение одного через другого - замкнутый цикл. Т. е. психика без интеллекта невозможна, а интеллект - без психики. Значит нужно определять как-то более фундаментально, чтобы не было таких замыканий. Это просто мнение относительно использования различных терминов.
А насчёт создания ОИИ - нужно создавать теорию, просто взять и кодить - не вариант. Само собой в мире ничего не происходит. Обладая всеми публичными знаниями человечества в БЯМ "интеллект" так и не появился... значит дело в самом подходе к созданию ИИ и пониманию людьми фундаментальных вещей о программировании (и о том, как работает нервная система).
Это интересная тема. Думаю траты стоят того, чтобы люди работали в этом направлении. Исследовать и создавать технологии, которые продлевают жизнь - это будущее науки и всего человечества в целом.
У человека с возрастом мозг начинает работать по-другому, становится не интересно исследовать новое. А у детей и молодых механизм исследования активен, с возростом он блокируется или исчезает, поэтому жизнь становится менее яркой.
Ещё интерес к жизни зависит от самого человека. Если ему не интересно заниматься чем-то сложным, интересным или масштабным, то обычная жизнь очень быстро становится скучной.
Тоже думал о постепенной замене клеток на некие искусственные микро или нано машины, которые будут выступать в качестве клеток. Но для людей в разумных временных рамках создание чего-то такого - невозможно, т. к. это само по себе сложно, ещё и всякие эксперименты и проверки, отладка, улучшение и т. д. Ещё и неизвестно, получится ли это в принципе, т. е. размеры клеток очень малы (а дендриты, аксоны, синапсы, медиаторы ещё меньше), нужно будет сначала сделать подходящие материалы, если это возможно. А потом это ещё и как-то интегрировать, внедрять. Возможно, проще будет работать с жизнедеятельностью клеток, а не их заменой.
Я случайно удалил комментарий. Напишите, пожалуйста, снова.
Хорошая идея, благодарю. Уже накидал удобный для себя заметчик, предварительно получив шаблон у Грока. Десктопная версия, сойдёт. Правда только для тех, у кого есть базовые знания по html, css и js, и понимание программирования.
Хорошая статья. Здесь рассказывается идея о том, что нейрон работает намного сложнее, чем просто суммация сигналов, которую можно описать парой уравнений.
Я слышал, что в мембране клеток (по крайней мере у нейрона) есть некие молекулы, которые могут принимать 2 состояния. Эти молекулы располагаются по всей мембране, включая дендриты (ведь они тоже являются мембраной). Таким образом, возможно, эти молекулы в совокупности образуют некий клеточный автомат, то есть это по сути целое вычислительное устройство нейрона. Такая идея как раз дополняет или даже объясняет "агентное" поведение нейрона.
Видели ли вы где-нибудь подобные идеи о таком вычислительном устройстве или идею о том, что нейрон является небольшой вычислительной машиной?
Для новичков статья будет интересной. Хоть я и не новичок в машинном обучении, но мне нравится такой формат: с нуля, анализ программы, разбор нюансов и тп.
Только есть нюанс. Новички и им подобные не читают Хабр (по крайней мере я так не делал).
Идея представления нейрона как отдельного объекта тоже интересная. Обычно всё рассматривается с точки зрения математики, все преобразования происходят исключительно матричными операциями (тензорными) и никаких нейронов, только матрицы и векторы. А с точки зрения алгоритмов я вроде ни разу не видел разбора.
Если говорить о создании цифрового интеллекта, то возможно стоит также рассматривать всё с точки зрения алгоритмов, а не только с точки зрения оптимизации функции.
А как в обсидиане можно сделать систему zetelkasten? Или может быть есть сразу готовые приложения с такой системой?
Слово "перцептрон" вроде как не русское. Оно скорее образовано в английском языке на основе слова perception (восприятие) или других подобных слов. А потом представлено в русском языке просто русскими буквами.
А что насчет того, что обычно летающие тарелки представляются как некие внеземные технологии инопланетян, которые способны двигаться не только в атмосфере планеты, но и в открытом космосе в вакууме?
Не, это для проекта "Теория цифрового интеллекта". Это открытый проект, цель - развитие мышления в направлении создания СИИ и создание общей теории. Есть небольшой набросок теории, можете посмотреть.
Каждая клетка нервной системы имеет свои определенные функции на врожденном уровне. Поля мозга - это результат выраженности генов. Нейроны пластичны, но это не имеет смысла, если они будут работать хаотично. Они не работают хаотично, так как у них задаются определенные функции от рождения (после деления).
Например, биение сердца - это результат работы определенных нейронов (в стволовой части мозга), функции которых заданы генетически (эта информация закодирована в ДНК). Этот механизм биения сердца сформировался эволюционно. Цель статьи - рассказать про идею эволюции, про то, что все участки ДНК - это результат эволюции.
Эту статью я сделал для своего проекта. Эта статья необходима для развития понимания того, как работает ЕИ. Откуда в мозге появились механизмы, которые в совокупности обеспечивают появление интеллекта.
А есть какая-нибудь информация о таких нейросетях, которые обучаются в прямом распространении (если я правильно понял)?
Я периодически думаю о том, как это может быть возможно или как может выглядеть эта идея на практике. У меня эта идея исходит из того, что в биологической нейросети нет обратного распространения, следовательно, она может обучаться только на основе входных данных.
А как это может выглядеть - не понятно, но только с точки зрения обычных взглядов на машинное обучение. МО решает задачу аппроксимации, то есть нужно построить отображение на основе набора данных. Но биологическая нейросеть формирует соответствие (не математическое) в режиме реального времени (и динамически) без набора данных, только на основе входных данных.
У меня есть догадки, которые исходят из моих знаний о нервной системе (которые далеко неполны). Возможно это описано в общей теории по нейрофизиологии или нейробиологии. Или не описано, но скорее всего эта идея присутствует там в неявном виде. Я же просто додумываю с точки зрения алгоритмов и структур данных.
Каким образом это все может происходить я как раз хочу попробовать описать и возможно это будет основа некой общей теории по созданию цифрового интеллекта - это очень сложная задача, пока у меня есть только какие-то базовые представления, возможно, когда я это опишу, у меня появится представление о том, что делать дальше.
Сигмоида - это нелинейное преобразование, и вообще это отдельная операция. Линейное преобразование - это понятие из линейной алгебры.
Нелинейность нужна, чтобы строить сложные представления данных. Без нелинейности многослойность не имеет смысла, так как несколько линейных преобразований можно представить в виде одного - в итоге представление данных особо ничего не даст и их не получится разделять.
В слое RNN есть нелинейность (sigmoid или tanh), но это свойство самого слоя RNN, так как она обеспечивает нелинейность для своего состояния, которое RNN использует на следующем шаге обработки. Далее это состояние можно програть через линейный слой и через нелинейность - получится ответ нейросети.
Благодарю.
Это будет информация "со звездочкой", для тех, кто прочитает этот комментарий.
Здесь имеется в виду слой нейросети, архитектурный слой нейросети с точки зрения программирования. Также может быть рекуррентный слой или слой-трансформер.
Каждое преобразование можно обернуть в класс, у которого есть метод forward. Каждое преобразование рассматривается как отдельный слой (или объект, в глубоком обучении обычно это называют слоем). Линейное преобразование или сигмоида - это не имеет значение.
Затем эти слои можно создать и добавить в список, и обрабатывать последовательно, вызывая у каждого объекта метод forward, чтобы не вызывать отдельно сигмоиду или другие функции, если они будут в архитектуре нейросети.
Вы рассматриваете понятие интеллекта на уровне человеческого или около того. А я рассматриваю общее понятие интеллекта, то есть способность системы к адаптации. Можете прочитать мои последние комментарии, там как раз про это рассказываю.
Такое упрощение этого понятия необходимо для того, чтобы можно было детерминировать различные идеи о том, как создавать цифровой интеллект. Постепенно все описывать и начинать все усложнять с низов, так как сразу сделать сложный интеллект очень сложно или невозможно.
Вообще на мои вопросы БЯМ тоже не может давать ответов, просто генерирует похожий текст как в ее обучающих данных, никакого понимания вопроса, даже если дать ей контекст и показать как это работает.
Понимаю. Я сделал эту статью как раз для того, чтобы показать свою идею о том, что означает понятие "интеллект". Судя по вашему комментарию, могу сказать, что вы понимаете понятие интеллекта очень узко, то есть только интеллект человеческого уровня. А я же понимаю это понятие в общем случае, то есть интеллект - способность системы самостоятельно адаптироваться. То, что БЯМ может адаптироваться на основе контекста, показывает, что она обладает интеллектом, хоть и очень слабым, к тому же + chain of thoughts.
Я специально привел свое определение понятия интеллекта, чтобы показать, что интеллект может быть не только человеческого уровня. Можете прочитать мои последние комментарии, там как раз про это рассказываю
Я имею в виду, что нужно представлять токены таким образом для того, чтобы работать с ними в глубоком обучении, чтобы нейросеть могла их обрабатывать