Хорошо. Излучение состоит из двух компонент. Допустим мы здесь тянем к нулю электрическую составляющую поля, и, считаем, что магнитная в данной точке пространства описывается производной. Вопрос в том: будет ли и дальше этот "хвост" оставаться пологим по ходу движения? Могут ли две компоненты сохранить такую же конфигурацию дальше? У нас каждая точка пространства переизлучает (не знаю как правильно это называется) в соответствии с уравнением. Будет ли фронт устойчивым или распадется на гармоники на некотором расстоянии от передатчика? Было бы интересно построить соответствующий детектор и проверить. Наверняка кто-то уже пытался выяснить вызван ли "звон" линейностью приемника, который резонирует от воздействия импульса или вызван объективными широкополосными помехами.
Позволю себе поделиться своими наработками в данном направлении - может кто покритикует меня здесь конструктивно. Получется, что числа несут два разных вида информации: количественную (сколько), и порядковую (после чего), что не соответствует информационному наполнению слов. Вопрос который на первый взгляд не имееет отношения к рассматриваемой автором теме: можно ли каким-то образом выделить из чисел эти две ипостаси и использовать их по-отдельности? Например, мы хотим обрабатывать только информацию о количестве игнорируя порядок. Или порядок без знания о количестве. Я спрашиваю потому что здесь задача кодирования сводится с задаче сжатия данных. А сжатие опирается на особенности последовательностей (т.е. на свойства порядка). Представим себе некоторый канал связи или хранилище информации, скажем файл на диске. Байты, составляющие этот файл хранятся в определенном порядке, и когда мы запрашиваем данный файл, эти байты приходят к нам с сохранением порядка. Даже если отдельные части файла приходят к нам асинхронно по сети, мы все равно после приема упорядочиваем их в исходную последовательность. Теперь мы уберем требование того, чтобы передаваемые данные (неважно синхронно или асинхронно) требовали порядка, но при этом после получения сохраняли свой смысл. Это можно сделать, передавая некоторые базисные количества, например степени двойки. Тогда после получения набора базисных чисел мы можем восстановить передаваемое исходное число (или файл) независимо от порядка получения компонентов. Например, я что-то там закодировал числом 14 и хочу оперировать этим кодом без знания того что это число больше 13 и меньше 15. Тогда я разложу его в сумму 14 = 8 + 4 + 2. Восемь, четыре и два - это базисные количества и я могу их передавать в любом порядке (параллельно, последовательно или еще как-то), но после получения данных компонент их сумма всегда даст исходное число 14. Кодировка one-hot близка к данному принципу, но в ней все еще заложен порядок нулевых байт. Кстати, биологические нейроны игнорируют порядок поступающих данных, суммируя входящие заряды со всех дендридов без разбора как бы намекая, что мы на правильном пути. Теперь мы уберем информацию о количестве и попробуем описать только порядок. Перестановки возникают тут сами собой: из N объектов можно составить N! перестановок и присвоить каждой из них свой уникальный номер. Например, числа 9, 10 и 11 можно переставить 6 различными способами. Если у получателя сообщения уже есть эти числа, то передав 1 мы сообщим ему что правильный порядок для них 9, 10, 11. А для 6 правильный порядок обратный 11, 10, 9. Удивительно здесь то, что выделив две составляющие из числовой информаци объем передаваемых данных увеличился. Т.е. числа в том виде, к которому мы привыкли, уже сильно сжимают информацию и попытки №1 было бы достаточно на данном этапе пока мы не уйдем от чисел к чему-то более адекватному.
если побочные гармоники излучаются в эфир, то начало их излучения не может быть раньше начала переходного процесса, в противном случае мы бы получили возможность отправлять сообщения в прошлое по радио. С другой стороны после переходного процесса для излучения больше нет энергетических ресурсов. Таким образом, источник такого излучения должен существовать только в течение перехода. Переход нельзя сделать мгновенным, но его можно сделать сколь угодно малым. Мне кажется, что стоит сосредоточится на том что происходит в этот краткий миг, не отвлекаясь на то что было до этого или будет после. И попытаться составить уравнение или набор уравнений, которые бы могли объяснить генерацию всей побочки.
В статье приведены графики (те что во временной области), которые можно трактовать двойственно: либо это запись сигнала в фиксированной точке пространства с разверткой по времени, либо это мгновенный снимок процесса развернутый в пространстве. И та и другая интерпретация являются умозрительными и не существуют в виде некоторой реальной целостной сущности. Попробую разъяснить свою позицию: рассматриваемый процесс в определенном месте и в определенное время описывается некоторым уравнением (допустим дифференциальным). В одном месте в одно время решение может отличаться от того, что удовлетворяет уравнению в другом месте и времени. Иными словами, разные дифференцируемые функции могут служить решением одного и того же уравнения в разных местах. То есть уравнение рассматривает физическое явление локально (при разных значениях координат независимо). Тогда как интегральные преобразования оперируют решениями глобально - для всех значений аргумента, т.е. в виде функции, отталкиваясь от некоторых дополнительных предположений, например непрерывности, периодичности, начальных условий и пр. чего мы не требуем от уравнений. Зайдем с другой стороны. Сначала у нас передатчик включен и генерирует некоторую несущую, потом он внезапно выключен. Оба состояния описываются одним и тем же уравнением для любых значений аргументов, хотя на графике описываются разными функциями в разных местах. Теперь задействуем свойство казуальности времени - мы не можем двигаться назад по нему (хотя фактически в дифференциальных уравнениях мы это делаем, но не далее чем на величину дельта). В состоянии "выключено" мы никаким образом не можем узнать что было до этого, так как уравнение никак явно не включает в себя отсылки на какое-либо "прошлое" кроме как локальной дельты по времени. Равно как, находясь в режиме "включено" нельзя сказать что где-то у нас в будущем будет "выключено". Применяя же преобразование Фурье, мы получаем неограниченный доступ к прошлому (к будущему тоже), нарушая принцип казуальности. Из-за чего вылазят артефакты на спектре. Единственного спектра нет из-за отсутствия доступа ко всему прошлому и будущему. Производя запись, мы волюнтаристски привязываем результат интегрального преобразования к одному из множества гипотетических сценариев развития событий. Конечно, уравнения, особенно дифференциальные, могут обладать единственными решениями, которые являются глобальными в нашей терминологии. Но, это касается уравнений с постоянными параметрами. Поскольку у нас проиводится "выключение", то следует говорить об управляемом процессе, который уже описывается уравнением с переменными параметрами и для него нет понятия единственности решения, поскольку управление становится известным уже после его осуществления т.е. казуально. Решение определяется можно сказать поточечно, и оно может стать глобальным только по факту своего протекания и регистрации. О переходном процессе во время управления. Проще всего представить процесс выключения как протекание естественного продолжения текущей фазы процесса но в ускоренном темпе. То есть раньше было время t, а стало время kt, где k стремится в бесконечность. Решением был cos(t), стал cos(kt), где для каждого старого времени t, текущего вперед, мы локально получаем "ускоренный" косинус. Но при таком подходе мы вносим в модель разрыв времени и, было бы более уместным, наверное, смоделировать управление как непрерывную зависимость частоты от времени cos(w(t)*t), где - частота несущей и w(t) убегает в бесконечность к моменту достижения сигналом нуля. Тогда у нас, действительно, появляется множество точек неотличимых (для решений в локальном смысле) от широкополосных помех.
Если мне не изменяет память, любая резкая попытка «сказать полю, что теперь тут ноль» не проходит бесследно.
Энергия, которая была закачана в поле, не может исчезнуть мгновенно и уходит в виде излучения с широким набором частот (если угодно «разных цветов»).
Приёмники вокруг это прекрасно замечают, а те, кто потом посмотрит запись в Matlab, легко увидят знакомую картину: наложение прямоугольного окна во времени превращает чистую синусоиду в sinc-спектр.
Меня смущает один момент: методы вроде преобразования Фурье или вейвлет-преобразования — это по сути шаблонные подходы, где сигнал сравнивается с эталонными формами. Чтобы их применить, нужно:
Сначала сохранить фрагмент сигнала;
Затем иметь эталон для сравнения и наложить его на этот фрагмент;
И главное, учесть казуальность: результат обработки получается только после того, как сигнал уже прошёл. То есть мы анализируем уже прошедшее, а не текущее.
Получается, что восприятие через такие методы всегда немного запаздывает — органы чувств как будто живут в прошлом. Есть ли какие-то теории, которые объясняют этот сдвиг восприятия и как мозг компенсирует его, чтобы мы ощущали реальность "в настоящем"?
В контексте диффузионных моделей, почему в качестве исходного распределения для латентного пространства традиционно используется именно нормальное распределение? Существуют универсальные методы, такие как обратная функция, позволяющие трансформировать равномерное распределение в любое другое, включая нормальное. Однако в большинстве работ нормальное распределение принимается как данность. Каковы теоретические или практические основания этого выбора?
Глубоко соболезную родным, коллегам и ученикам Александра Николаевича. Светлая память выдающемуся учёному, человеку редкой эрудиции и вдохновляющей энергии. Наши пути пересекались в начале 2000-х, и я всерьёз собирался поступать к нему в аспирантуру. К сожалению, тогда не сложилось, но даже краткое общение с ним оставило глубокий след как научный, так и человеческий. Его труды и подход к науке продолжают вдохновлять. Покойтесь с миром, профессор.
Все параметры так называемой вариабельности сердечного ритма (ВСР) математически сводятся к одной характеристике - интервалу RR (или частоте сердечных сокращений HR) и несут очень мало дополнительной информации. Это от того, что при их расчёте вы вынуждены фиксировать либо длительность наблюдения (T), либо количество интервалов (N), что автоматически накладывает ограничения на статистики связывая их с HR = N/T. А попытаетесь устремить T к бесконечности, получите ВСР = 0.
Использовать амплитуду и фазу в качестве носителя для операндов очень удобно - линейные операции реализуются довольно просто, но практика показывает что энергетические затраты в такой системе неоправданно высоки. Схема, где в качестве носителя используется частота получается громоздкой из-за того что волны складываются в суперпозицию, т.е. по сути не складываются и продолжают свое независимое существование. Носители в виде цепочки импульсов энергетически очень эффективны, но их также тяжело реализовать: нужен либо источник синхронизации, либо нужен подсчет импульсов. Остается еще неосвоенной тема с солитонами, когда на волну навешивается заряд или масса, т.е. когда волна становится аддитивной.
в этой форме два скаляра (один псевдо), описывающих двумерный вектор, а хочется скаляр + вектор, т.е. тройку. При добавлении частоты вращения в конструкцию получаем псевдоскаляр, который меняет знак при преобразовании системы координат и почти работающую вычислительную схему. Меня эта тема интересует вот в каком аспекте: рассмотрим функцию классификации, которая по входным данным определяет к какому классу они принадлежат. В простейшем варианте - это может быть линейная функция и два класса. Основное неудобство функции классификации состоит в том, что она не является барьером: случайные флуктуации позволяют случаям перескакивать из класса в класс. Путем рассуждений я пришел к выводу, что данное свойство вызвано амплитудно-фазовым представлением данных, т.е. по-сути векторным. У частотного же представления есть свойство барьера: идеальный фильтр может выделять определенную гармонику, игнорируя остальные: поэтому в частотной области границу между классами невозможно пересечь. Еще в частотной области гармоники как носители числовой информации независимы друг от друга: сложив две гармоники, мы можем восстановить их обратно (построив частотный аналог комплексных чисел), и конечно такого свойства нет у обычных чисел: сложив два числа их уже не восстановить.
Если можно, я разовью свою мысль: комплексное число олицетворяет вектор, тогда как действительное число олицетворяет скаляр. Меня смущает, что при определенных поворотах комплексное число становится действительным. Возникает вопрос: можно ли как-то отделить скалярную величину от векторной, сохраняя при этом гибридную струтуру комплексного числа? Т.е. можно ли составить комплексное число из скаляра и вектора? Вот к чему я пришел в своих рассуждениях. Комплексное число, как вектор обладает величиной и направлением, которые можно варьировать. Допустим, мы возьмем некоторый вектор и начнем его равномерно вращать и получим функцию, описывающую вращение A*e^i{2*pi*f*t+fi}, где A - амплитуда, f частота и fi - начальная фаза вращения. t - это время. В таком представлении A и fi задают векторную величину, а f задает скаляр. Т.е. мы имеем комплексное число вида (f, A, fi). Теперь ведем операцию сложения (f1,A1,fi1) + (f2,A2,fi2) = A1*e^i{2*pi*f1*t+fi1} * A2*e^i{2*pi*f2*t+fi2} которая позволяет складывать скаляры со скалярами и векторы с векторами нигде не пересекаясь. Действительные числа в такой системе получаются путем установки fi в 0 для положительной полуоси или в pi для отрицательной. Умножить здесь можно только на целые числа путем повторения операции сложения. Можно ли построить калькулятор на таких постоянно вращающихся битах?
Раз уж здесь все обсуждают различные сомнительные применения мнимой единицы, вложу ка и я свою лепту. Современная вычислительная техника работает в парадигме кодирования информации с помощью бит - это минимальная единица информации, охватывающая лишь два состояния 0 (низкое состояние) или 1 (высокое состояние). Физически, это осуществляется либо за счет тока 0 - ток не течет, 1 - ток течет в TTL логике, либо за счет напряжения 0 - напряжение или заряд отсутствует, 1 - напряжение присутствует в CMOS логике. Энергетически такая система кодирования является наиболее выгодной, но если мы расширим диапазон в сторону негативных значений, то получим довольно интереные эффекты. Закодируем -1 (минус единицей) высокое состояние, когда ток течет в обратную сторону или напряжение отрицательное, а 1 (плюс единицей) низкое состояние, когда ток течет в прямом направлении или напряжение положительное. Тогда возможны два перехода: либо из низкого состояния в высокое, либо из высокого в низкое. Включим воображение и представим, что эти два состояния представлены двумя точками кружности (вы можете в воображении представить себе двоичный кассовый аппарат с дисками, на которых нанесены две цифры на противоположных концах 0 и 1). Получается, что переход из одного состояния в другое происходит по одной из двух половинок окружности. Пойдем дальше и нанесем на эту оружность еще две точки: средняя точка первой полуокружности будет 1i, a средняя точка второй -1i. Таким образом, при переходе от 1 к -1 в окошке апарата на мгновение мелькнет 1i, а при переходе от -1 к 1 мелькнет -1i. Чтобы избежать мельтешения мы можем добавить в наш "аппарат" второй мнимый диск (но это не обязательно), который будет вращаться синхронно с реальным диском, но будет предварительно повернут на 90 градусов. Т.е. он будет показвать состояние мнимого бита: 1i или -1i. Теперь посмотрим, как будут выглядеть классические бинарные операции в такой кодировке на примере, допустим, функции AND. Но, сначала свяжем битовые коды -1 и 1 с углом поворота точки (1,0) на единичной окружности. Углу поворота 0 градусов соответствует низкое состояние - код 1, тогда как углу поворота 180 градусов соответствует высокое состояние - код -1. Функция AND для старомодных битов 0 и 1 дает высокое состояние только тогда, когда оба ее входа находятся в высоком состоянии, что эквивалентно вычислению минимума, когда мы оперируем кодами битов как числами. Для наших "новых" кодов -1 и 1 взятие минимума не срабатывает, но только лишь потому что мы берем не тот минимум. В новой кодировке следует брать наименьший из углов поворота среди двух битов на входе, что собственно позволяет определить функцию AND в том числе и для мнимых битов 1i и -1i, как впрочем и для любых других точек на окружности и тем самым построить инновационную логику бит с бесконечным числом кодов. Таким способом - через повороты, мы можем определить и все остальные булевы функции XOR, OR, NAND и пр. Что думаете?
Что касается преобразования Лапласа — это, скорее, вопрос возможной аппаратной реализации. В моей статье, напротив, рассматривается концептуальный подход, где сигнал — это носитель информации, а не физический процесс. Возможно, однажды кто-то реализует подобную идею аппаратно, но сейчас для меня это, в первую очередь, исследование архитектурных принципов, а не приглашение к физическому моделированию.
Архитектура свёрточной сети, на мой взгляд, излишне ограничена: она вынужденно "смотрит" на сигнал через узкое окно, и это ограничение накладывается не столько вычислительными возможностями, сколько самой структурой входных данных. Свёрточная сеть опирается на текущую точку и её сдвинутые копии и лишь за счёт этой “окрестности” может ориентироваться в последовательности.
Моя цель — научиться извлекать позиционную информацию из одной точки, без обращения к соседним значениям. Именно этому будет посвящена следующая статья.
Хорошо. Излучение состоит из двух компонент. Допустим мы здесь тянем к нулю электрическую составляющую поля, и, считаем, что магнитная в данной точке пространства описывается производной. Вопрос в том: будет ли и дальше этот "хвост" оставаться пологим по ходу движения? Могут ли две компоненты сохранить такую же конфигурацию дальше? У нас каждая точка пространства переизлучает (не знаю как правильно это называется) в соответствии с уравнением. Будет ли фронт устойчивым или распадется на гармоники на некотором расстоянии от передатчика? Было бы интересно построить соответствующий детектор и проверить. Наверняка кто-то уже пытался выяснить вызван ли "звон" линейностью приемника, который резонирует от воздействия импульса или вызван объективными широкополосными помехами.
Позволю себе поделиться своими наработками в данном направлении - может кто покритикует меня здесь конструктивно. Получется, что числа несут два разных вида информации: количественную (сколько), и порядковую (после чего), что не соответствует информационному наполнению слов. Вопрос который на первый взгляд не имееет отношения к рассматриваемой автором теме: можно ли каким-то образом выделить из чисел эти две ипостаси и использовать их по-отдельности? Например, мы хотим обрабатывать только информацию о количестве игнорируя порядок. Или порядок без знания о количестве. Я спрашиваю потому что здесь задача кодирования сводится с задаче сжатия данных. А сжатие опирается на особенности последовательностей (т.е. на свойства порядка).
Представим себе некоторый канал связи или хранилище информации, скажем файл на диске. Байты, составляющие этот файл хранятся в определенном порядке, и когда мы запрашиваем данный файл, эти байты приходят к нам с сохранением порядка. Даже если отдельные части файла приходят к нам асинхронно по сети, мы все равно после приема упорядочиваем их в исходную последовательность.
Теперь мы уберем требование того, чтобы передаваемые данные (неважно синхронно или асинхронно) требовали порядка, но при этом после получения сохраняли свой смысл. Это можно сделать, передавая некоторые базисные количества, например степени двойки. Тогда после получения набора базисных чисел мы можем восстановить передаваемое исходное число (или файл) независимо от порядка получения компонентов. Например, я что-то там закодировал числом 14 и хочу оперировать этим кодом без знания того что это число больше 13 и меньше 15. Тогда я разложу его в сумму 14 = 8 + 4 + 2. Восемь, четыре и два - это базисные количества и я могу их передавать в любом порядке (параллельно, последовательно или еще как-то), но после получения данных компонент их сумма всегда даст исходное число 14. Кодировка one-hot близка к данному принципу, но в ней все еще заложен порядок нулевых байт. Кстати, биологические нейроны игнорируют порядок поступающих данных, суммируя входящие заряды со всех дендридов без разбора как бы намекая, что мы на правильном пути.
Теперь мы уберем информацию о количестве и попробуем описать только порядок. Перестановки возникают тут сами собой: из N объектов можно составить N! перестановок и присвоить каждой из них свой уникальный номер. Например, числа 9, 10 и 11 можно переставить 6 различными способами. Если у получателя сообщения уже есть эти числа, то передав 1 мы сообщим ему что правильный порядок для них 9, 10, 11. А для 6 правильный порядок обратный 11, 10, 9.
Удивительно здесь то, что выделив две составляющие из числовой информаци объем передаваемых данных увеличился. Т.е. числа в том виде, к которому мы привыкли, уже сильно сжимают информацию и попытки №1 было бы достаточно на данном этапе пока мы не уйдем от чисел к чему-то более адекватному.
если побочные гармоники излучаются в эфир, то начало их излучения не может быть раньше начала переходного процесса, в противном случае мы бы получили возможность отправлять сообщения в прошлое по радио. С другой стороны после переходного процесса для излучения больше нет энергетических ресурсов. Таким образом, источник такого излучения должен существовать только в течение перехода. Переход нельзя сделать мгновенным, но его можно сделать сколь угодно малым. Мне кажется, что стоит сосредоточится на том что происходит в этот краткий миг, не отвлекаясь на то что было до этого или будет после. И попытаться составить уравнение или набор уравнений, которые бы могли объяснить генерацию всей побочки.
В статье приведены графики (те что во временной области), которые можно трактовать двойственно: либо это запись сигнала в фиксированной точке пространства с разверткой по времени, либо это мгновенный снимок процесса развернутый в пространстве. И та и другая интерпретация являются умозрительными и не существуют в виде некоторой реальной целостной сущности. Попробую разъяснить свою позицию: рассматриваемый процесс в определенном месте и в определенное время описывается некоторым уравнением (допустим дифференциальным). В одном месте в одно время решение может отличаться от того, что удовлетворяет уравнению в другом месте и времени. Иными словами, разные дифференцируемые функции могут служить решением одного и того же уравнения в разных местах. То есть уравнение рассматривает физическое явление локально (при разных значениях координат независимо). Тогда как интегральные преобразования оперируют решениями глобально - для всех значений аргумента, т.е. в виде функции, отталкиваясь от некоторых дополнительных предположений, например непрерывности, периодичности, начальных условий и пр. чего мы не требуем от уравнений.
- частота несущей и w(t) убегает в бесконечность к моменту достижения сигналом нуля. Тогда у нас, действительно, появляется множество точек неотличимых (для решений в локальном смысле) от широкополосных помех.
Зайдем с другой стороны. Сначала у нас передатчик включен и генерирует некоторую несущую, потом он внезапно выключен. Оба состояния описываются одним и тем же уравнением для любых значений аргументов, хотя на графике описываются разными функциями в разных местах. Теперь задействуем свойство казуальности времени - мы не можем двигаться назад по нему (хотя фактически в дифференциальных уравнениях мы это делаем, но не далее чем на величину дельта). В состоянии "выключено" мы никаким образом не можем узнать что было до этого, так как уравнение никак явно не включает в себя отсылки на какое-либо "прошлое" кроме как локальной дельты по времени. Равно как, находясь в режиме "включено" нельзя сказать что где-то у нас в будущем будет "выключено". Применяя же преобразование Фурье, мы получаем неограниченный доступ к прошлому (к будущему тоже), нарушая принцип казуальности. Из-за чего вылазят артефакты на спектре. Единственного спектра нет из-за отсутствия доступа ко всему прошлому и будущему. Производя запись, мы волюнтаристски привязываем результат интегрального преобразования к одному из множества гипотетических сценариев развития событий.
Конечно, уравнения, особенно дифференциальные, могут обладать единственными решениями, которые являются глобальными в нашей терминологии. Но, это касается уравнений с постоянными параметрами. Поскольку у нас проиводится "выключение", то следует говорить об управляемом процессе, который уже описывается уравнением с переменными параметрами и для него нет понятия единственности решения, поскольку управление становится известным уже после его осуществления т.е. казуально. Решение определяется можно сказать поточечно, и оно может стать глобальным только по факту своего протекания и регистрации.
О переходном процессе во время управления. Проще всего представить процесс выключения как протекание естественного продолжения текущей фазы процесса но в ускоренном темпе. То есть раньше было время t, а стало время kt, где k стремится в бесконечность. Решением был cos(t), стал cos(kt), где для каждого старого времени t, текущего вперед, мы локально получаем "ускоренный" косинус. Но при таком подходе мы вносим в модель разрыв времени и, было бы более уместным, наверное, смоделировать управление как непрерывную зависимость частоты от времени cos(w(t)*t), где
Если мне не изменяет память, любая резкая попытка «сказать полю, что теперь тут ноль» не проходит бесследно.
Энергия, которая была закачана в поле, не может исчезнуть мгновенно и уходит в виде излучения с широким набором частот (если угодно «разных цветов»).
Приёмники вокруг это прекрасно замечают, а те, кто потом посмотрит запись в Matlab, легко увидят знакомую картину: наложение прямоугольного окна во времени превращает чистую синусоиду в sinc-спектр.
УЭК забыли включить в список
от нечего делать строил раньше такое для классификации 16M цветов в Rainbow.Net total classifier
Меня смущает один момент: методы вроде преобразования Фурье или вейвлет-преобразования — это по сути шаблонные подходы, где сигнал сравнивается с эталонными формами. Чтобы их применить, нужно:
Сначала сохранить фрагмент сигнала;
Затем иметь эталон для сравнения и наложить его на этот фрагмент;
И главное, учесть казуальность: результат обработки получается только после того, как сигнал уже прошёл. То есть мы анализируем уже прошедшее, а не текущее.
Получается, что восприятие через такие методы всегда немного запаздывает — органы чувств как будто живут в прошлом. Есть ли какие-то теории, которые объясняют этот сдвиг восприятия и как мозг компенсирует его, чтобы мы ощущали реальность "в настоящем"?
В контексте диффузионных моделей, почему в качестве исходного распределения для латентного пространства традиционно используется именно нормальное распределение? Существуют универсальные методы, такие как обратная функция, позволяющие трансформировать равномерное распределение в любое другое, включая нормальное. Однако в большинстве работ нормальное распределение принимается как данность. Каковы теоретические или практические основания этого выбора?
Глубоко соболезную родным, коллегам и ученикам Александра Николаевича. Светлая память выдающемуся учёному, человеку редкой эрудиции и вдохновляющей энергии. Наши пути пересекались в начале 2000-х, и я всерьёз собирался поступать к нему в аспирантуру. К сожалению, тогда не сложилось, но даже краткое общение с ним оставило глубокий след как научный, так и человеческий. Его труды и подход к науке продолжают вдохновлять. Покойтесь с миром, профессор.
Все параметры так называемой вариабельности сердечного ритма (ВСР) математически сводятся к одной характеристике - интервалу RR (или частоте сердечных сокращений HR) и несут очень мало дополнительной информации. Это от того, что при их расчёте вы вынуждены фиксировать либо длительность наблюдения (T), либо количество интервалов (N), что автоматически накладывает ограничения на статистики связывая их с HR = N/T. А попытаетесь устремить T к бесконечности, получите ВСР = 0.
Использовать амплитуду и фазу в качестве носителя для операндов очень удобно - линейные операции реализуются довольно просто, но практика показывает что энергетические затраты в такой системе неоправданно высоки. Схема, где в качестве носителя используется частота получается громоздкой из-за того что волны складываются в суперпозицию, т.е. по сути не складываются и продолжают свое независимое существование. Носители в виде цепочки импульсов энергетически очень эффективны, но их также тяжело реализовать: нужен либо источник синхронизации, либо нужен подсчет импульсов. Остается еще неосвоенной тема с солитонами, когда на волну навешивается заряд или масса, т.е. когда волна становится аддитивной.
в этой форме два скаляра (один псевдо), описывающих двумерный вектор, а хочется скаляр + вектор, т.е. тройку. При добавлении частоты вращения в конструкцию получаем псевдоскаляр, который меняет знак при преобразовании системы координат и почти работающую вычислительную схему.
Меня эта тема интересует вот в каком аспекте: рассмотрим функцию классификации, которая по входным данным определяет к какому классу они принадлежат. В простейшем варианте - это может быть линейная функция и два класса. Основное неудобство функции классификации состоит в том, что она не является барьером: случайные флуктуации позволяют случаям перескакивать из класса в класс. Путем рассуждений я пришел к выводу, что данное свойство вызвано амплитудно-фазовым представлением данных, т.е. по-сути векторным. У частотного же представления есть свойство барьера: идеальный фильтр может выделять определенную гармонику, игнорируя остальные: поэтому в частотной области границу между классами невозможно пересечь. Еще в частотной области гармоники как носители числовой информации независимы друг от друга: сложив две гармоники, мы можем восстановить их обратно (построив частотный аналог комплексных чисел), и конечно такого свойства нет у обычных чисел: сложив два числа их уже не восстановить.
Если можно, я разовью свою мысль: комплексное число олицетворяет вектор, тогда как действительное число олицетворяет скаляр. Меня смущает, что при определенных поворотах комплексное число становится действительным. Возникает вопрос: можно ли как-то отделить скалярную величину от векторной, сохраняя при этом гибридную струтуру комплексного числа? Т.е. можно ли составить комплексное число из скаляра и вектора? Вот к чему я пришел в своих рассуждениях.
Комплексное число, как вектор обладает величиной и направлением, которые можно варьировать. Допустим, мы возьмем некоторый вектор и начнем его равномерно вращать и получим функцию, описывающую вращение A*e^i{2*pi*f*t+fi}, где A - амплитуда, f частота и fi - начальная фаза вращения. t - это время. В таком представлении A и fi задают векторную величину, а f задает скаляр. Т.е. мы имеем комплексное число вида (f, A, fi). Теперь ведем операцию сложения (f1,A1,fi1) + (f2,A2,fi2) = A1*e^i{2*pi*f1*t+fi1} * A2*e^i{2*pi*f2*t+fi2} которая позволяет складывать скаляры со скалярами и векторы с векторами нигде не пересекаясь. Действительные числа в такой системе получаются путем установки fi в 0 для положительной полуоси или в pi для отрицательной. Умножить здесь можно только на целые числа путем повторения операции сложения. Можно ли построить калькулятор на таких постоянно вращающихся битах?
Раз уж здесь все обсуждают различные сомнительные применения мнимой единицы, вложу ка и я свою лепту. Современная вычислительная техника работает в парадигме кодирования информации с помощью бит - это минимальная единица информации, охватывающая лишь два состояния 0 (низкое состояние) или 1 (высокое состояние). Физически, это осуществляется либо за счет тока 0 - ток не течет, 1 - ток течет в TTL логике, либо за счет напряжения 0 - напряжение или заряд отсутствует, 1 - напряжение присутствует в CMOS логике. Энергетически такая система кодирования является наиболее выгодной, но если мы расширим диапазон в сторону негативных значений, то получим довольно интереные эффекты. Закодируем -1 (минус единицей) высокое состояние, когда ток течет в обратную сторону или напряжение отрицательное, а 1 (плюс единицей) низкое состояние, когда ток течет в прямом направлении или напряжение положительное. Тогда возможны два перехода: либо из низкого состояния в высокое, либо из высокого в низкое. Включим воображение и представим, что эти два состояния представлены двумя точками кружности (вы можете в воображении представить себе двоичный кассовый аппарат с дисками, на которых нанесены две цифры на противоположных концах 0 и 1). Получается, что переход из одного состояния в другое происходит по одной из двух половинок окружности. Пойдем дальше и нанесем на эту оружность еще две точки: средняя точка первой полуокружности будет 1i, a средняя точка второй -1i. Таким образом, при переходе от 1 к -1 в окошке апарата на мгновение мелькнет 1i, а при переходе от -1 к 1 мелькнет -1i. Чтобы избежать мельтешения мы можем добавить в наш "аппарат" второй мнимый диск (но это не обязательно), который будет вращаться синхронно с реальным диском, но будет предварительно повернут на 90 градусов. Т.е. он будет показвать состояние мнимого бита: 1i или -1i.
Теперь посмотрим, как будут выглядеть классические бинарные операции в такой кодировке на примере, допустим, функции AND. Но, сначала свяжем битовые коды -1 и 1 с углом поворота точки (1,0) на единичной окружности. Углу поворота 0 градусов соответствует низкое состояние - код 1, тогда как углу поворота 180 градусов соответствует высокое состояние - код -1. Функция AND для старомодных битов 0 и 1 дает высокое состояние только тогда, когда оба ее входа находятся в высоком состоянии, что эквивалентно вычислению минимума, когда мы оперируем кодами битов как числами. Для наших "новых" кодов -1 и 1 взятие минимума не срабатывает, но только лишь потому что мы берем не тот минимум. В новой кодировке следует брать наименьший из углов поворота среди двух битов на входе, что собственно позволяет определить функцию AND в том числе и для мнимых битов 1i и -1i, как впрочем и для любых других точек на окружности и тем самым построить инновационную логику бит с бесконечным числом кодов. Таким способом - через повороты, мы можем определить и все остальные булевы функции XOR, OR, NAND и пр. Что думаете?
Ох, да — мой косяк, спешил на обед 🙂
Спасибо за замечание, вы правы: я ошибся в переходе и не учёл масштабирование. Вот правильная формула и переход
Справедливое замечание — действительно, в приведённой формуле точное равенство не соблюдается в битовой кодировке
0и1.Но я хотел бы уточнить, что в статье используется альтернативная кодировка входов и выходов:
-1и1.Разумеется, для получения абсолютного равенства нужно было бы выписать результат в аналитическом виде и сделать поправку на смещения
Но основной акцент я делал на то, что нейросети всегда работают с приближёнными значениями.
Спасибо за внимательное прочтение!
Что касается преобразования Лапласа — это, скорее, вопрос возможной аппаратной реализации. В моей статье, напротив, рассматривается концептуальный подход, где сигнал — это носитель информации, а не физический процесс. Возможно, однажды кто-то реализует подобную идею аппаратно, но сейчас для меня это, в первую очередь, исследование архитектурных принципов, а не приглашение к физическому моделированию.
Архитектура свёрточной сети, на мой взгляд, излишне ограничена: она вынужденно "смотрит" на сигнал через узкое окно, и это ограничение накладывается не столько вычислительными возможностями, сколько самой структурой входных данных. Свёрточная сеть опирается на текущую точку и её сдвинутые копии и лишь за счёт этой “окрестности” может ориентироваться в последовательности.
Моя цель — научиться извлекать позиционную информацию из одной точки, без обращения к соседним значениям. Именно этому будет посвящена следующая статья.
Спасибо за содержательный комментарий!