Ну так-то да, если говорить про нормированный вектор состояния как про точку на поверхности единичной сферы в многомерном Гилбертовом пространстве, то обозначение вектора и есть метка этой точки:)) Только вот ведь это не точка на сфере Блоха, заданной а трёхмерном евклидовом пространстве, поэтому это не обозначение точки на этой сфере. Как-то так. ПС: в любом случае, я придрался не к тому, что вы пишите про то, что |ψ> - это обозначение точки, а про то, что это не обозначение вектора, хотя как раз это именно оно.
Это понятно. Я перечитал ветку. Основной предмет обсуждения/спора - предположение, что мозг может не являться носителем сознания, так?
Кмк, безусловно, именно мозг является носителем сознания (не почка, не левая пятка - хотя не уверен), и тут новая сущность нам действительно ни к чему. С другой стороны, какова природа сознания? - этот вопрос отсается за рамками текущего обсуждения. В общем, я не в ту сторону думать начал)))
PS: не лишним было бы уточнить теримны: что, например, понимается под понятием носитель?
Не даст в каком плане? Практическом? В любом случае наличие "второй чаши" связано с большой проблемой сознания, которая не решена, поэтому списывать со счетов ее рано.
а на другой -- мистическая сила, про которую можно сказать лишь то, что мы ничего о ней не знаем, и зачем её вводить в теорию, тоже неясно.
Не совсем так. "Сознание" - не мистическая сила, а, пожалуй, единственный на сегодняшний день пример "явления", которое напрямую наблюдаемо только субъективно (вы можете наблюдать свое сознание, свои квалиа, но не можете наблюдать чужие - только по косвенным признакам делать вероятностный вывод об их существовании). Поэтому не так-то просто выбрать первую чашу весов.
Давно делал похожую модель, только без щупалец — условные кружочки микробы плавали в условной среде и так же ели еду. Смысл эволюции был в том, что они чувствовали "запах" пищи — скалярную функцию координат, похожую на электростатический потенциал — и обучались более эффективно двигаться и потреблять пишу. Вообще, весьма занятно, очень интересно продолжение)
Нет взаимодействия агента со средой и exploration-а
Без взаимодействия агента со средеой RL - не RL. Тут его (как я понял) нет, т.е. следующее состояние не зависит от действия агента (от предикта модели), т.к. датасет подготовлен заранее. В RL, помимо награды, важным является зависимость следующего состояния не только от предыдущего, но и от действия агента.
Я не работал с трансформерами, но на сколько я себе представляю принцип их работы, то это, по сути, большие "умные" (вероятностные) хэшмапы - откуда в них взяться "пониманию" не вполне понятно. С другой стороны, что вообще такое "понимание" в данном контексте? На мой взгляд, сам по себе вопрос про "понимание мира" в моделях недостаточно формализован, чтобы давать на него чёткий ответ. Но это ни в коем случае не умаляет достоинств данной работы.
Так ведь цель исследования была не столько научить модель хорошо играть в шахматы, сколько понять, насколько хорошо обучится языковая модель общего назначения это делать. Так-то много чего можно прикрутить, чтобы улучшить метрики)
Вы, почему-то, не в состоянии понять одну простую мысль, которую я все время пытаюсь донести, и напрасно обвиняете меня в перемене темы: изначально вы утверждаете, что мой тезис о некорректности ответа про затухание градиента как проблемы, которую авторы архитектуры ReNet решали путем добавления skip connections, ложен, в то время, как авторы черным по белому именно об этом и пишут - вот вам вполне существующее противостояние.
Я проигнорирую ваши необоснованные обвинения и попытки перевести дискуссию в плоскость оценки личности, что, как правило, свидетельствует о неспособности оппонента к конструктивному диалогу, и, в конечном счете, на этом закончу бесполезню дискуссию.
Как уже писал выше - возможно. И, как отмечено в посте, skip connections обладает тем свойством, что помогает градиенту протекать без затухания (хотя взрываться он и в сетках со skip connections может). Но, не в первый раз повторяю, введены skip connections были для решения проблемы деградации точности, которая обусловлена НЕ затуханием градиента.
то что в вашем случае он "течет" не означает что он течет всегда при наличии нормализации
Да, не означает.
ПС: Околонулевой градиент по каким-то дименшенам вовсе не обязательно означает, что градиент затух - может мы достигли оптимума?
ПС2: еще раз отмечу следующее. Существуют глубокие нейронные сети (и не важно, на каком домене данных работающие), не страдающие от проблемы затухания или взрыва градиентов (хотя последнее сильно зависит от инициализации), но страдающие от проблемы деградации точности. Добавление скип коннекшенов помогает эту проблему решить. О чем спорим? О том, что неправильный ответ - не точный? Он не не точный, он не правильный. Другое дело, что он не является поводом "рубить хороших кандидатов", как почему-то вы ошибочно предположили, но является поводом подискутировать на эту тему.
Ну так-то да, если говорить про нормированный вектор состояния как про точку на поверхности единичной сферы в многомерном Гилбертовом пространстве, то обозначение вектора и есть метка этой точки:)) Только вот ведь это не точка на сфере Блоха, заданной а трёхмерном евклидовом пространстве, поэтому это не обозначение точки на этой сфере. Как-то так.
ПС: в любом случае, я придрался не к тому, что вы пишите про то, что |ψ> - это обозначение точки, а про то, что это не обозначение вектора, хотя как раз это именно оно.
Токая нотация используется для обозначения именно векторов состояния.
Со всем согласен, кроме, быть может, одного момента:
все же на вопрос, как же все-таки мозг ""производит" все эти эффекты" скучная медицина вопрос не дает.
В данном контексте "наши == отечественные". Я в проекте не участвую, просто рядом постоял в свое время)
Это понятно. Я перечитал ветку. Основной предмет обсуждения/спора - предположение, что мозг может не являться носителем сознания, так?
Кмк, безусловно, именно мозг является носителем сознания (не почка, не левая пятка - хотя не уверен), и тут новая сущность нам действительно ни к чему. С другой стороны, какова природа сознания? - этот вопрос отсается за рамками текущего обсуждения. В общем, я не в ту сторону думать начал)))
PS: не лишним было бы уточнить теримны: что, например, понимается под понятием носитель?
Не даст в каком плане? Практическом?
В любом случае наличие "второй чаши" связано с большой проблемой сознания, которая не решена, поэтому списывать со счетов ее рано.
По диагонали просмотрел, но ссылок вроде не увидел на наши разработки: https://fpi.gov.ru/projects/khimiko-biologicheskie-i-meditsinskie-issledovaniya/narva/
Не совсем так. "Сознание" - не мистическая сила, а, пожалуй, единственный на сегодняшний день пример "явления", которое напрямую наблюдаемо только субъективно (вы можете наблюдать свое сознание, свои квалиа, но не можете наблюдать чужие - только по косвенным признакам делать вероятностный вывод об их существовании). Поэтому не так-то просто выбрать первую чашу весов.
По моему чересчур сухо. Непосвящённый в используемый мат аппарат вряд ли разберётся.
Давно делал похожую модель, только без щупалец — условные кружочки микробы плавали в условной среде и так же ели еду. Смысл эволюции был в том, что они чувствовали "запах" пищи — скалярную функцию координат, похожую на электростатический потенциал — и обучались более эффективно двигаться и потреблять пишу. Вообще, весьма занятно, очень интересно продолжение)
Без взаимодействия агента со средеой RL - не RL. Тут его (как я понял) нет, т.е. следующее состояние не зависит от действия агента (от предикта модели), т.к. датасет подготовлен заранее. В RL, помимо награды, важным является зависимость следующего состояния не только от предыдущего, но и от действия агента.
Нет взаимодействия агента со средой и exploration-а
Так тут supervised самый обычный.
А при чем тут RL? В данном случае подход совершенно другой. Как и задача.
Я не работал с трансформерами, но на сколько я себе представляю принцип их работы, то это, по сути, большие "умные" (вероятностные) хэшмапы - откуда в них взяться "пониманию" не вполне понятно. С другой стороны, что вообще такое "понимание" в данном контексте? На мой взгляд, сам по себе вопрос про "понимание мира" в моделях недостаточно формализован, чтобы давать на него чёткий ответ. Но это ни в коем случае не умаляет достоинств данной работы.
Так ведь цель исследования была не столько научить модель хорошо играть в шахматы, сколько понять, насколько хорошо обучится языковая модель общего назначения это делать. Так-то много чего можно прикрутить, чтобы улучшить метрики)
Вы, почему-то, не в состоянии понять одну простую мысль, которую я все время пытаюсь донести, и напрасно обвиняете меня в перемене темы: изначально вы утверждаете, что мой тезис о некорректности ответа про затухание градиента как проблемы, которую авторы архитектуры ReNet решали путем добавления skip connections, ложен, в то время, как авторы черным по белому именно об этом и пишут - вот вам вполне существующее противостояние.
Я проигнорирую ваши необоснованные обвинения и попытки перевести дискуссию в плоскость оценки личности, что, как правило, свидетельствует о неспособности оппонента к конструктивному диалогу, и, в конечном счете, на этом закончу бесполезню дискуссию.
Это совершенно переходит все границы. Контр-примеры чему вы привели? Тому, что в оригинальной работе сделано?
Модерации действительно не хватает.
Нет. Читайте оригинальную статью.
Как уже писал выше - возможно. И, как отмечено в посте, skip connections обладает тем свойством, что помогает градиенту протекать без затухания (хотя взрываться он и в сетках со skip connections может). Но, не в первый раз повторяю, введены skip connections были для решения проблемы деградации точности, которая обусловлена НЕ затуханием градиента.
Да, не означает.
ПС:
Околонулевой градиент по каким-то дименшенам вовсе не обязательно означает, что градиент затух - может мы достигли оптимума?
ПС2: еще раз отмечу следующее. Существуют глубокие нейронные сети (и не важно, на каком домене данных работающие), не страдающие от проблемы затухания или взрыва градиентов (хотя последнее сильно зависит от инициализации), но страдающие от проблемы деградации точности. Добавление скип коннекшенов помогает эту проблему решить. О чем спорим? О том, что неправильный ответ - не точный? Он не не точный, он не правильный. Другое дело, что он не является поводом "рубить хороших кандидатов", как почему-то вы ошибочно предположили, но является поводом подискутировать на эту тему.