Обновить
0
0
Konstantin Burlachenko@burzzo

huge scale optimization, hpc, ai, ml, dl, cv

Отправить сообщение
Предлагаю изменить название на «как платить меньше»,
это статья может использована для любой профессии. Не обязательно выполнять сужение до «программиста» :)
Я решил разобраться с этой штукой потому что было «вдохновение» Разобраться. В своём родном университете я учился на программиста и там не очень уделяли внимание функциональным преобразованиям (как преобразование Лапаса, и преобразование Фурье) для студентов по крайней мере моей кафедры (ИУ-7)

p.s. Я не знал, что на Хабре есть ограничение по времени на редактирование комментария. Хвост комментариев вышел.
Я работаю в NVIDIA программистом, и у нас есть такой бонус с курсами в Стенфорде. В Гугле есть тоже похожая штука.

http://scpd.stanford.edu/nvidia/index.php
http://scpd.stanford.edu/google/index.php
Спасибо большое за комментарии по улучшению, и спасибо за доп. пояснения. Если будут ещё — пишите)

Я учился в МГТУ Баумана, но знания по этой теме получили из курса в Стенфорде от проф. Бреда Осгуда (Вот этот «весельчак» https://www.facebook.com/permalink.php?story_fbid=141679662888108&id=100011382256381)

Про распределение у меня в небольшом очерке есть здесь — https://sites.google.com/site/burlachenkok/articles/ft_advanced p.7.

Я разделил на кусочки статью — для всех (part I). Я лишь изредка касался вопросов про классы функций как в (Q10). Про распределения есть в https://sites.google.com/site/burlachenkok/articles/ft_advanced p.7
Я у себя на домашней страничке написал про это преобразование Фурье, про ряды Фурье, про дискретное преобразование Фурье —
https://sites.google.com/site/burlachenkok/articles/faq_ft

https://sites.google.com/site/burlachenkok/articles/ft_advanced

https://sites.google.com/site/burlachenkok/articles/fourier-transform-and-dft-properties

Если это может быть интересно — читайте. Если есть конструктивные замечания — пишите.
Минорная ошибка в #10 — rvalue в С++98/03 — то от чего нельзя взять адрес. Хороший контрпример то что является rvalue, но имеет имя «this».
В качестве раздела библиография, который отсутсвует могу предложить.
«Фриц Оньон. Основы ASP. NET с примерами на С# 2003», глава 2 «Веб-формы», эта глава покрывает статью, о проценте покрытия не могу сказать (Он про ASP.NET 2.0)
Я делюсь с соотечественниками, тем что скорее всего интересно любому инженеру. Проставление минусов меня только уводит от того, что я не буду делиться знаниями со своими соотечественниками… Хватит взрывать свою же нацию изнутри. Пора переключиться от критики к поддержке...(Если вы ещё не поняли в чём секрет успеха США)
У вас есть раздел про «Независимые случайные величины»

Независимость в Теории Вероятности по мнению одного из зарубежных математиков в области Теории Вероятности и мат статистики — мутная тема
“independent random variables were to me (and others, including my teacher Steinhaus) shadowy and not really well-defined objects” — Mark Kac

Когда я учился в университете в МГТУ. В одной из книг математической серии
( «XVI Теория вероятностей» под редакцией Зарубина, Кришенко этот факт так же отмечался)

С теоретической точки зрения:
Дело в том, что причинно-следственная независимость вроде как бы влечёт, что P(AB)=P(A)P(B)
Если P — это статическая вероятность померенная по происхождения события A, B и AB, а не аксиоматическая мера то такой вещей кажется «разумным».

Но рассмотрение этого факта в другую сторону из того что они независимы причинно-следственные будет ли выполняться P(AB)=P(A)P(B) — не совсем понятно

С практической точки зрения:
Очень ловко подменяется понятие «введённой независимости в курсе тер.вера» и «реальной» в головах инженеров.

Будьте аккуратны!)

На счёт центральной предельной теоремы.

1) Кси ваши — независимые с одинаковой функцией распределения, и все имеют мат. ожидание и дисперсию. Пример когда эта Теорема не работает — у вас есть N случайных величин распределённых по Коши. И накачка N не поможет добиться Распределения по Гаусу.

2) Так же есть более продвинутая Теорема — Теорема нашего соотечественника — Ляпунова для Теории Вероятности. Которая более продвинутая нежелели чем Центральная Предельная Теорема.

Буду рад если этот комментарий может пригодиться для прокачки вашей замечательной статьи.
Практическая значимость статьи — думаю ok.)

Я лишь хотел высказать правду про математику под капотом.

Мне очень не нравится, что людям кто не очень в теме приподносится неправильные фундаментальные штуки:

1. Про преобразования
ДПФ, Ряды Фурье, Фурьеринье (интегро-дифференциальный оператор)-- три соверешенно разные операции, работающие с разными видами сигналов — кортеж, периодический сигнал, просто сигнал соотвественно. (Опуская вопрос о существовании таковых для последних двух)

«С его помощью можно преобразовать конечный набор образцов сигнала, взятых с равными промежутками времени, в список коэффициентов конечной комбинации комплексных синусоид, упорядоченных по частоте, принимая во внимание, что эти синусоиды были дисретизированы с одной и той же частотой. „

1. Комплексных синусоид — ни о каких sin-ах от комплексных величин речи не идёт (Если есть предложение как ввести эту операцию — скажите пожалуйста). Если вы имееты ввиду комплексные экспоненты — то выражайтесь правильно.

2. Дискретное преобразование Фурье — это просто операция на векторах длины N состоящих из скаляров.

3. Вы подумайте сами о чём говорите — семлы взяты на отрезке [0,L] лежащие друг от друга на расстоянии 1/2B для сигнала. Вы работаете с непериодическим сигналом — и вы говорите, что какие-то cos-сы (непрерывные функции) в линейной комбинации представляют кортеж. Чушь.

Про ДПФ:

Первая точка зрения происходящую ситуацию:
Это преобразование не соответствует обычному преобразованию Фурье. Это отображения из вектора конечной длины N с действительными числами в вектор такой же длинны N но с комплексными числами. Но оно часто обладает теми же важными свойствами, которыми обладает непрерывный аналог.

Вторая точка зрения на происходящую ситуацию:
Если очень постараться, и применить некоторые, строго говоря неверные, приближения, то всё таки можно “свести” дискретное преобразование к обычному.

2. Про Фурье
“В 19 веке Жан Батист Джозеф Фурье сделал выдающееся открытие. Заключается оно в том, что любой сигнал во временной области эквивалентен сумме некоторого количества (возможно, бесконечного) простых синусоидальных сигналов, при условии, что каждая синусоида имеет определённую частоту, амплитуду и фазу. „

первое замечание: Жан Батист Джозеф Фурье ошибался
второе замечание: Вы даже треугольный сигнал (sawtooth) не можете представить таким рядом.
Фурье заложил основы, но к этому преобразованию приложили свои руки: Риман, Лебега, Шварц, Хевисайд (в неявном виде)

p.s. Я из-за отрициательной кармы не могу писать полноценные статьи на этом ресурсе, где я как понимаю можно писать научно-популярные статьи, но я не парюсь по этому поводу, и залил себе на хоум пейдж:
https://sites.google.com/site/burlachenkok/articles/faq_ft
Пишите на burlachenkok@gmail.com — если что.
С support — ом вы правы, проверил в словаре
(http://www.multitran.ru/c/m.exe?a=110&t=1637986_1_2&sc=41)

(I) Если я буду плодить отрезки с длинами убывающими в геометрической прогрессии а между ними ставить пробелы, где функция ноль — то померенная длина области будет ограничена (просто из-за того что) геом. ряд сходится, но о никакой точке |x| после которого функция лежит в нуле речи не идёт. <<< Ведь это ваше определение конечного носителя «ограниченна длина области» определения или ограничена область определения как множество?

(II) С Compact support-ом я работал честно говоря работал на классе функций без точек разрыв второго рода.(которые разрыв «не шаг», а уводящие в бесконечность). Вообще про разрыв в определении ничего не сказано (http://mathworld.wolfram.com/CompactSupport.html)

Хвостики — умножьте функцию на (1-Rect(w)), с каким-то большим w и увидите хвостики,… Например w=10...) Я имею ввиду то что-то справа и слева лежат где-то там далеко..<< здесь не надо искать математической подоплёки...(я же не говорил, что это быстро убывающие функции)

Кстати, пример с Гаусином очень хорош — это быстроубывающая функция (Можно показать через Лапетале-Бернули), что убывает быстрее любого полинома....(Если интересно то такой класс функций называется в честь Француского математика Laurent Schwartz, которые его и предложил. Фурье Преобразование для функций из этого класса сущесвует и накатывая его вы снова остаётесь в этом классе)

На счёт оценки массы в хвостах спасибо.

Я на самом деле, что в док-во центральной предельной Теоремы КРАЕГОЛЬНОЙ кроме требования ограниченности мат. ожидания и дисперсии (которые на первый взгляд кажутся детскими), кроме всего прочего является факт того, что n->+inf сильно упрощает выкладки.

На счёт Ирвин-Холла спасибо, если есть ещё какое-то обощение, а не только класс U — буду рад узнать…
Численно это всего лишь свёртка плотностей распред. n раз, f*f*...f
Но если вам известна какая-та аналитическая модель которая приближает эту свёртку.

p.s. Только не обижайтесь — википедия не очень хороший источник знаний, лучше или wolfram или большая советская энциклопедия. Последнюю составляли академики, а википедию — делиданты.

Как программист, я правил что-то на русской вики, потом мне это просто надоело по алгоритмам фундаментальным. Как первое приближение конечно она остаётся норм.
Спасибо. Меня друзья называют ежом.
Как я понимаю конечный носитель — это условие, что длина(мера) области определения где функция плотности распределения не нуль — конечна. Т.е. скалярный ряд из длин этих «отсровков» в области определения сходится.

Если взять такую функция из это класса и свернуть с самой собой, то будет функция из этого класса?

От себя:
Есть такой класс функций Compact Support f(x)=0: |x|>a; (Русского термин не знаю)
Этот класс функций вложен в ваш класс «с конечным носителем», если я правильно понимаю ваш класс.

С классом Compact Support думаю можно аккуратно показать, что
свёртка конечное кол-во раз таких функциЙ, если каждая из них ограничена, будет в этом классе.

Дополнение про изначальный комментарий:
Равномерное распределение (rect или uniform distribution) относятся к классу Compact Support.
Фишечка в том, что даже если вы возьмёте функции «с хвостиками», будет больно просто анализировать это поведение, как я писал очень уж важно иметь n такое большое, нужны эти предположения в док-ве цпт, о которых упомяналось в 2.1, 2.2. выше.

«со мной нечего обсуждать» — не проблема, я найду с кем обсудить, если у вас затруднения, ничего страшного. Есть другие форумы.
Ну я как понял тут тредик — серия вопросо-ответов про сумму 12 независимых случайных величин.

Цель — разобраться с это штукой, мечтал всю жизнь.

Суть комментария — обсудить.

(1) я против такого приближения. (про 12 равн.распред. величин) с точки зрения функций распределения.
(2) поделился практикой про свёртку большого кол-ва функций.

«Ежу понятно, что сумма 12 стандартных равномерных случайных величин имеет конечный носитель и (в точности) нормальным быть не может.» — а что такое носитель и в точности"?

Я пишу когда угодно, почти что угодно. Для меня 2 года, и 20 лет — не стопер чтобы разобраться.
Что следует из Ирвина-Холла я не знаю.

Плотность распределения суммы из 12 равномерное распределенных нез. величин относится к классу нормального распределения? Не верю.

1. Я видел приложение(программу) где выполняли свёртку над одной и той же функцией. Она очень быстро сходится (визуально) к нормальному распределению.

2. Док-во цпд с которым я знаком: взяли суммы N случ. величин, плотность этой велчины есть свёртка плотностей отдельных. Накатили интегр-дифф. преобразование Фурье, свёртка превратилась в умножение. Неприятность — возникает кое-какой член ошибка.
2.1 Убрать его можно, но чтобы действовать строго придётся погемороится
2.2 Чтобы магия произошла для консервирования всё в Гауса нужно n->+inf. Возникнит распред. Гаусса (немного в другом виде нежели чем в Теории Вероятности, а именно exp(-pi*x*x))… А преобразование Фурье и обратное пр. Фурье от него есть тот же сигнал, это магия которая доказывается отдельно и она очень красивая. Накатывая теперь обратное интегр. дифф. преобразование Фурье на эту Функцию… Вы придёте к распределению Гаусса.
Здесь вы доказали цпд.

К сожалению, n->+inf нужно в шагах как 2.1, так и в 2.2 Я бы привел формулы, да latex-а нет.

Рассмотрение ЦПД при ограниченном n — очень затруднительно. Так что строго говоря, я не считаю это правильным методом из-за рассуждений (2), но я видел на практике (1) — оно быстро превращается в нечто похожее на Гауса.
Вы упомнали лекцию, которую пересмаривали вы пересматривали, это Лекция№12?
https://www.youtube.com/watch?v=IXRzBVUgGl8
https://itunes.apple.com/us/itunes-u/introduction-to-algorithms/id341597754

Курса Mit. Algorithms and datastructures из 2005-го года.
Если это она — то круто думаю было бы её добавить в статью в раздел библиографии.
Упомянается, что вы открывали книгу Кормена. Я её открыл (издание 2013г.), но там не нашёл сведения про эту структуру данных. А вы, ношли?
Xorshift делает равномерное распределения, или характер зависит от the seed set Z?
Вы молодец. Всё это прыганье очень похоже в некотором смысле на красивое доказательство красивой Теоремы отсчётов. Правда там рассматривается функция равная нулю не за пространственной области [0,T], а равная нулю за областью в «частотном» пространстве [-p/2, p/2]

Информация

В рейтинге
Не участвует
Откуда
Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность