Pull to refresh
40
0
sysprg @sysprg

User

Send message

Основы линейной регрессии

Reading time13 min
Views166K
Здравствуй, Хабр!

Цель этой статьи — рассказать о линейной регрессии, а именно собрать и показать формулировки и интерпретации задачи регрессии с точки зрения математического анализа, статистики, линейной алгебры и теории вероятностей. Хотя в учебниках эта тема изложена строго и исчерпывающе, ещё одна научно-популярная статья не помешает.

! Осторожно, трафик! В статье присутствует заметное число изображений для иллюстраций, часть в формате gif.
Читать дальше →
Total votes 18: ↑18 and ↓0+18
Comments38

Существует ли частотная область в реальности?

Level of difficultyMedium
Reading time7 min
Views11K

Частотная область — волшебное математическое пространство, которое трансформирует комплексные сигналы в амплитуды и фазы синусоид. Она открывает нам возможность применять разнообразные методы обработки сигналов, казавшиеся почти недостижимыми при их анализе в наиболее очевидной форме, а именно — во временной области.

Однако насколько материально частотное пространство? Дискретное преобразование Фурье (DFT) имеет ключевое значение в сферах связи и анализа сигналов, но не раскрывает ли оно более глубокие, скрытые аспекты реальности? Рассмотрим, к примеру, квадратные волны. Действительно ли они существуют, если преобразование Фурье разлагает их на ряд нечетных гармоник синусоид, которые, в свою очередь, эффективно предсказывают поведение электронных схем в реальном мире?

Сегодня я хочу немного уменьшить роль преобразования Фурье, сняв его с постамента. Несомненно, синусоидальные волны являются повсеместными в природе и служат мощным аналитическим инструментом для множества задач. Однако возможно создание иных частотных областей с хорошими свойствами, которые подчиняются другим принципам. К таким областям можно отнести ту, где реальностью являются исключительно квадратные волны, а все остальное представляет собой лишь гармонические составляющие.

Читать далее
Total votes 23: ↑25 and ↓-2+27
Comments32

Индуктивная статистика: доверительные интервалы, предельные ошибки, размер выборки и проверка гипотез

Level of difficultyMedium
Reading time15 min
Views5.5K

Одной из самых распространённых задач аналитики является формирование суждений о большой совокупности (например, о миллионах пользователей приложения), опираясь на данные лишь небольшой части этой совокупности - выборке. Можно ли сделать вывод о миллионной аудитории крупного мобильного приложения, собрав данные 100 пользователей? Или стоит собрать данные о 1000 пользователях? Какую вероятность ошибиться при анализе мы можем допустить: 5% или 1%? Относятся ли две выборки к одной совокупности, или между ними есть ощутимая значимая разница и они относятся к разным совокупностям? Точность прогноза и вероятность ошибки при ответе на эти и другие вопросы поддаются вполне конкретным расчётам и могут корректироваться в зависимости от потребностей продукта и бизнеса на этапе планирования и подготовки эксперимента. Рассмотрим подробнее, как параметры эксперимента и статистические критерии оказывают влияние на результаты анализа и выводы обо всей совокупности, а для этого смоделируем тысячу A/A, A/B и A/B/C/D тестов.

Читать далее
Total votes 18: ↑21 and ↓-3+24
Comments13

Алгоритм расчёта расстояния между строками

Level of difficultyMedium
Reading time3 min
Views6.1K

По работе стояла задача оптимизации поиска по адресам (улицы, дома и объекты). Главный критерий - нахождение адреса, если написано с ошибками или не дописан он в полной мере. Bert’ы, косинусные расстояния эмбеддингов и т.д. не подходили, так как они заточены под смысловой поиск, а в адресах смысла нет. TF-IDF c лемматизацией тоже не очень подходил для этой задачи, результаты были плохие.

Для реализации начал использовать расстояние Дамерау-Левенштейна, и в последствие, развил это до собственного алгоритма, который находит расстояние между двумя строками.

Цель данного поста описание только алгоритма.

Читать далее
Total votes 16: ↑16 and ↓0+16
Comments17

Калибровка магнитометра с помощью обобщённого фильтра Калмана

Level of difficultyMedium
Reading time9 min
Views2.8K


В настоящее время широко доступны датчики на основе магнитометров. Они позволяют легко получить направление на магнитный север (или истинный, если, конечно, вы учтёте магнитное склонение в вашей местности). Это может быть полезно для определения ориентации оси рысканья/курса беспилотных аппаратов. Одна из проблем магнитометров связана с их калибровкой, поскольку на магнитометр влияют находящиеся рядом с ним магнитотвёрдые (имеют собственное магнитное поле) и магнитомягкие (легко намагничиваются от внешнего магнитного поля, в том числе от поля Земли) материалы. Ниже я расскажу, как избавиться от влияния этих материалов и откалибровать магнитометр.
Читать дальше →
Total votes 17: ↑16.5 and ↓0.5+16
Comments17

Энергетические МГД-установки со сверхкритическим электропроводным рабочим телом

Level of difficultyHard
Reading time7 min
Views2K

Привет Хабр!

Хотелось бы поделиться с уважаемым сообществом некоторыми идеями, которые уже привели к получению патента РФ на изобретение, и позволяют создать эффективную энергоустановку без механически движущихся частей.

Несколько лет назад, я увидел на YouTube видео, описывающие прибор под названием Fluidyne. По сути, это двигатель Стирлинга, в котором используется жидкий поршень, совершающий колебательные движения в процессе работы.

Подобный прибор может быть реализован и в многоступенчатом варианте.

Читать далее
Total votes 20: ↑20 and ↓0+20
Comments12

Столкнувшиеся нейтронные звёзды — лучшие ускорители частиц

Reading time4 min
Views3.3K

Гамма-телескопы, наблюдающие за столкновениями нейтронных звёзд, могут стать ключом к определению состава тёмной материи. Согласно одной из ведущих теорий, объясняющих тёмную материю, она состоит в основном из гипотетических частиц, называемых аксионами. Если аксион создаётся в интенсивной энергетической среде слияния двух нейтронных звёзд, он должен распадаться на фотоны гамма-излучения, которые мы можем увидеть с помощью космических телескопов, таких как Fermi-LAT.

Около 130 миллионов лет назад произошло сильное столкновение пары нейтронных звёзд. Мощные гравитационные волны от столкновения излучались наружу со скоростью света, а вскоре после этого последовала мощнейшая вспышка радиоизлучения. 17 августа 2017 года гравитационные волны достигли Земли и были зафиксированы обоими детекторами Лазерной интерферометрической гравитационно-волновой обсерватории (LIGO) в США и интерферометром Virgo в Италии. Это событие получило название GW170817. Спустя несколько секунд гамма-телескоп Fermi-LAT зафиксировал всплеск гамма-излучения в той же области неба. В течение следующих нескольких дней другие телескопы наблюдали и регистрировали это событие в видимом свете и других длинах волн. Это первое в истории многоканальное наблюдение за слиянием двух нейтронных звёзд – то есть наблюдение, фиксировавшее волны и частицы разной природы.

Читать далее
Total votes 11: ↑9 and ↓2+7
Comments5

Электронный выключатель — избавляемся от дребезга контактов

Level of difficultyMedium
Reading time2 min
Views6.1K

При разработке блока питания на 5 выходов возникла необходимость измерить переходные процессы. Обычный выключатель или механическое реле тут не подходит т.к. вносит погрешность из-за дребезга контактов.

Читать далее
Total votes 16: ↑16 and ↓0+16
Comments43

Основные типы распределений вероятностей в примерах

Level of difficultyMedium
Reading time15 min
Views12K

Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения. Рассмотрим их подробнее на наглядных примерах.

Читать далее
Total votes 58: ↑58 and ↓0+58
Comments11

Импульсный (Пере)Магничиватель для неодима

Level of difficultyMedium
Reading time5 min
Views15K

Импульсный (пере-)магничиватель для неодимовых магнитов (из HDD). Много конденсаторов, толстый тиристор, пыщ-пыдыщ, всё как мы любим.

Читать далее
Total votes 113: ↑113.5 and ↓-0.5+114
Comments116

Проблема квантового измерения и её решения: байесовские вероятности или неопределённость самолокации?

Level of difficultyMedium
Reading time37 min
Views4.5K

Кажется, наука приближается к разрешению парадокса, породившего множество интерпретаций квантовой механики и множество споров между их сторонниками. Реализованный в 2019 г. эксперимент «Друг друга Вигнера», в котором наблюдатели моделируются с помощью фотонов или кубитов квантового компьютера, убедительно показал, что квантовую механику нельзя применять для описания мира с точки зрения других наблюдателей. В результате теории, постулирующие коллапс волновой функции, перестают быть самосогласованными и выбывают из игры. В финальный раунд проходят только кьюбизм и многомировая интерпретация – две самые радикальные и диаметрально противоположные интерпретации, предлагающие очень похожие решения проблемы измерения. Одна из них требует отказаться от идеи объективной реальности, а вторая – признать собственную неуверенность в том, в какой вселенной вы находитесь. Я делаю ставку на второй вариант, а какое из этих двух зол выбираете вы?

Читать далее
Total votes 33: ↑31 and ↓2+29
Comments67

Квантовый компьютер: его превосходство, несходство и недосходство в сравнении с классическим

Level of difficultyMedium
Reading time16 min
Views23K

В представлении гуманитария квантовая физика – чисто теоретическая наука, изучающая устройство мира на самом фундаментальном уровне и бесконечно далёкая от нашей жизни. Лишь немногие знают, что мы уже пользуемся квантовыми технологиями каждый день. Без квантовой физики не было бы современной электроники (компьютеров, смартфонов, планшетов, бытовой техники), высокоскоростного интернета и спутниковой навигации. Но кремниевые полупроводники, интегральные схемы, компакт-диски, флеш-память, оптоволоконные кабели, светодиоды, солнечные панели, МРТ, электронные микроскопы, лазеры, атомные часы, ядерное и термоядерное оружие, атомные электростанции, даже не освоенный ещё термоядерный синтез – всё это продукты первой квантовой революции, теоретические основы которой были заложены ещё в 20-е-30-е гг. XX века. Теперь же пришло время второй квантовой революции, вызванной появлением технологий, позволяющих манипулировать отдельными квантовыми частицами и управлять их состоянием. Локомотивом этой революции станет квантовый компьютер, о котором и пойдёт речь в данной статье.

Читать далее
Total votes 17: ↑14 and ↓3+11
Comments18

Жуткое дальнодействие. Как не запутаться в квантовой запутанности?

Level of difficultyMedium
Reading time19 min
Views13K

В 2022 г. Алан Аспе, Джон Клаузер и Антон Цайлингер получили Нобелевскую премию по физике «за эксперименты с запутанными фотонами, установившие нарушение неравенств Белла и положившие начало квантовой информатике». О важности этого события много говорили журналисты и популяризаторы науки, привлекая внимание громкими заявлениями о «доказательстве нелокальности», «второй квантовой революции» и о том, что «Эйнштейн был неправ». Но подавляющее большинство людей как не понимало, так и не понимает, о чём вообще идёт речь. На этой почве процветает квантовый мистицизм, распространяющий ошибочные представления о квантовой запутанности как о свойстве макроскопических объектов. Также пользуются популярностью конспирологические теории о том, что «учёные снова пытаются нас запутать» и на самом деле мир устроен намного проще. К сожалению, реальность не так проста, как нам хотелось бы, а наш мозг не был заточен эволюцией на понимание квантовой механики. Но я всё же попробую объяснить квантовую запутанность простыми словами без страшных формул.

Читать далее
Total votes 17: ↑15 and ↓2+13
Comments52

Метод главных компонент (PCA). Принцип работы и реализация с нуля на Python

Level of difficultyHard
Reading time8 min
Views8.7K

Метод главных компонент (Principal Component Analysis или же PCA) — алгоритм обучения без учителя, используемый для понижения размерности и выявления наиболее информативных признаков в данных. Его суть заключается в предположении о линейности отношений данных и их проекции на подпространство ортогональных векторов, в которых дисперсия будет максимальной.

Такие вектора называются главными компонентами и они определяют направления наибольшей изменчивости (информативности) данных. Альтернативно суть PCA можно определить как линейное проецирование, минимизирующее среднеквадратичное расстояние между исходными точками и их проекциями.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments0

Детектирование эллиптических частиц на микрофотографии. Новый алгоритм поиска эллипсов на изображении

Reading time4 min
Views13K
Я всё продолжаю возиться со своими микрофотографиями. Наука не стоит на месте (с момента той статьи прошел без двух месяцев год!), и теперь нам нужно распознавать другие объекты:


Но тут уже безо всяких послаблений: точность должна быть достаточно высокой.
Конкретно эта задачка встала недавно (примерно в конце ноября), и решалась в свободное от учёбы и работы время.
Achtung! Статья получилась довольно крупная, много картинок. Зато без избыточной математики.

Сформулируем задачу: получить параметры, полностью характеризующие контур фигуры, изображенной на картинке.
Читать дальше →
Total votes 35: ↑32 and ↓3+29
Comments41

Программа поиска эллипсов и определения их параметров МНК

Reading time3 min
Views1.4K

Привет! Я новичок на Харбре. Меня зацепила статья от 2011 года: «Детектирование эллиптических частиц на микрофотографии. Новый алгоритм поиска эллипсов на изображении». https://habr.com/ru/articles/135332/.

Вот комментарий к этой статье (Mrrl 27 дек 2011 в 07:49): «А почему эллипс строится по 6 точкам? Уравнение ведь однородное. Для кривой второго порядка всегда хватало 5 точек, коэффициенты ищутся решением однородного уравнения. В качестве шестой точки есть смысл добавить точку, которая эллипсу заведомо не принадлежит, и записать для нее F(x,y)=1 — тогда придется решать более привычное неоднородное уравнение. А если действительно нужен точный результат, то нужно брать все точки, лежащие вдоль линии приблизительно найденного эллипса (лучше бы с весами), и подать их на вход метода наименьших квадратов. Он позволит определить параметры с точностью до десятых долей пикселя (а то и точнее)».

Мной разработана программа на Матлаб в которой реализована схема, предложенная Mrrl.

Краткое описание программы и результатов ее применения к конкретному примеру из цитированной выше статьи.

Читать далее
Total votes 11: ↑11 and ↓0+11
Comments13

Самое понятное объяснение Специальной теории относительности

Level of difficultyMedium
Reading time13 min
Views97K

Специальная теория относительности - удивительная теория, которая опровергла многие представления о мире, в которых человечество не сомневалось всю историю своего существования.

Многие слышали про волшебства вроде замедления времени, сокращения длины, относительности одновременности, парадокса близнецов и т.д., но мало кто понимает почему так происходит. 

В этой статье я хочу наглядно показать, что все это проще, чем кажется на первый взгляд.

Для иллюстраций я написал интерактивный визуализатор СТО, работающий в браузере. Ссылка на него и исходники проекта в конце статьи.

Читать далее
Total votes 386: ↑386 and ↓0+386
Comments388

Портретная гармонизация изображений

Level of difficultyMedium
Reading time8 min
Views2.5K

Привет! В данной публикации команда RnD CV из SberDevices познакомит вас с нашим подходом к решению задачи повышения степени реалистичности портретных изображений (по-научному — портретной гармонизации изображений). Мы не только расскажем о задаче портретной гармонизации, но и представим архитектуру нейронной сети, которая прекрасно решает эту задачу. В конце статьи будут представлены примеры работы нашей модели и получившиеся метрики.

Читать далее
Total votes 24: ↑24 and ↓0+24
Comments13

Хроники вещества: симметрия, кристаллы и дальний порядок

Level of difficultyMedium
Reading time12 min
Views2.1K

В этом посте мы поговорим о симметрии в нашем повседневном мире и на
уровне отдельных атомов. Эти знания помогут нам заглянуть в мир
кристаллов (и даже квазикристаллов!). Здесь будут картинки, анимашки и
немного школьной математики.

Читать далее
Total votes 13: ↑13 and ↓0+13
Comments11

Грандиозный парадокс, существующий в сердце каждой чёрной дыры

Level of difficultyMedium
Reading time11 min
Views26K

Когда что-то падает в чёрную дыру, куда оно девается и выйдет ли когда-нибудь обратно? Согласно общей теории относительности Эйнштейна, ответы на эти вопросы просты: как только что-либо физическое — материя, антиматерия, излучение и т. д. — пересекает горизонт событий, оно исчезает. Оно может добавить чёрной дыре массу, электрический заряд и угловой момент, но не более того. Она стремительно движется к центральной сингулярности и в конце концов попадает в неё, и больше никогда не вырвется наружу.

Но наша Вселенная управляется не только ОТО, но и квантовой физикой. Согласно нашему лучшему пониманию квантовой реальности, необходимо учитывать гораздо больше. Во-первых, у исходных ингредиентов чёрной дыры существуют свои квантовые свойства: барионное число, лептонное число, цветовой заряд, спин, номер семейства лептонов, слабый изоспин и гиперзаряд и т. д.. Во-вторых, сама ткань пространства-времени, в которой находится чёрная дыра, является квантовой по своей природе. Благодаря этим квантовым свойствам чёрные дыры не остаются статичными, а скорее испаряются со временем, испуская при этом излучение Хокинга (и, возможно, даже что-то ещё).

Читать далее
Total votes 29: ↑27 and ↓2+25
Comments44
1
23 ...

Information

Rating
Does not participate
Date of birth
Registered
Activity