Slow Feature Analysis - метод обучения без учителя, который извлекает из входного сигнала наиболее медленно меняющиеся признаки, решая задачу минимизации производной выходного сигнала. Главная ценность метода заключается в способности отфильтровывать шум и быстрые колебания, фокусируясь на фундаментальных, устойчивых закономерностях.
Представьте, что вам нужно найти минимум сложной функции, о которой у вас есть минимальная информация: нет градиента, производных, а иногда даже явного аналитического выражения, но есть возможность подставлять значения и смотреть результат.
В таких задачах классические методы оптимизации часто оказываются бесполезны: они застревают в локальных минимумах или требуют информации, которой нет.
Здесь нам поможет CMA-ES — алгоритм, который не просто перебирает точки, а постепенно учится форме функции и подстраивает стратегию поиска.
В этой статье разберём, как он устроен и почему работает так эффективно.
Давайте перенесемся мысленно в начало двадцатого века. Ньютон давно уже вывел многие механические законы и описал бесконечность на формальном языке интегрального и дифференциального счисления. Дарвин давно уже опубликовал теорию о происхождении видов. В Новом Свете отцы-основатели написали Конституцию США, и уже сто лет американцы живут зажиточно и относительно мирно, благодаря принципам, которые в ней заложены. Человек своим умом нащупал законы живой природы, законы материи, законы человеческого сосуществования. Нет таких задач, которые не покорились бы человеческому разуму. Вся просвещенная Европа смотрит в будущее с огромным оптимизмом.
Квантовая механика как следствие того что мы в симуляции
Гипотеза о том, что мы живем в симуляции, давно перестала быть уделом одних лишь философов. Сегодня об этом всерьез рассуждают астрофизики и специалисты по теории информации. Но обычно дискуссии сводятся к банальным вещам: пикселям (планковской длине) или ограничениям FPS (планковскому времени).
Когда я смотрю на самую большую проблему современной науки — несовместимость макромира (гравитации, ОТО) и микромира (квантовой механики) — я вижу классическую архитектурную проблему высоконагруженного движка.
Давайте проведем мысленный эксперимент и посмотрим на устройство Вселенной глазами системного архитектора. Что если странные законы квантового мира — это не какая-то непостижимая «магия неопределенности», а элегантный алгоритм синхронизации, призванный спасти систему от краша из-за высокого локального пинга?
Введение: Звучащие кувалды
Представьте, что вы часто ходите мимо кузницы. Кузнецы бьют молотами по наковальне, и вдруг вы замечаете странную вещь: одни молоты звучат вместе красиво, слитно, а другие — противно, вразнобой. Так, согласно легенде, Пифагор пришёл к открытию, которое положило начало теории музыки . Он принёс молоты в лабораторию и взвесил их. Оказалось, что веса молотов, дающих красивое сочетание (консонанс), соотносятся как простые числа 2:1, 3:2 и 4:3 . Так родилась главная идея западной музыки: «Красивое звучание — это простое математическое отношение».
Связь музыки и математики оказалась на удивление прочной. На протяжении всей истории она вдохновляла не только теоретиков, но и практиков. Чешский математик Эразм Горицкий применял геометрию для деления музыкальных интервалов. Иоганн Себастьян Бах своей музыкой и самим названием сборника «Хорошо темперированный клавир» закрепил победу нового строя. А в XX веке композитор и архитектор Янис Ксенакис переносил в музыку теорию множеств и случайных процессов. Даже великий оперный певец Джером Хайнс публиковал математические работы.
Исследования в этой области продолжаются и сегодня, в том числе в России. Например, современные российские исследователи разрабатывают комплексные математические модели музыки, используя теорию множеств, теорию вероятностей и теорию групп для анализа и моделирования музыкального творчества.
Проследим эту историю шаг за шагом и посмотрим, как математика постепенно формировала то, что мы сегодня называем музыкальной гармонией.
Современные финансовые рынки претерпели фундаментальную структурную трансформацию. Если в предыдущие десятилетия ценообразование активов и биржевых индексов определялось преимущественно макроэкономическими факторами, корпоративными отчетами и фундаментальным анализом, то сегодня архитектура рынка во многом подчинена рынку производных финансовых инструментов (деривативов).
Рынок опционов, а в особенности сегмент контрактов с нулевым сроком до экспирации (те самые 0DTE), разросся до таких абсурдных масштабов, что объемы торгов по ним зачастую превышают объемы торгов самими базовыми активами. В этой новой парадигме традиционные рыночные нарративы просто отходят на второй план. Главным драйвером внутридневной волатильности стала сухая, механическая вещь - хеджирование опционных позиций маркетмейкерами.
Я зарегистрировалась на kaggle.com в 2015 году, но даже не помнила об этом. В апреле 2019 года перешла на Python, в октябре активировала свой профиль Kaggle и выложила два алгоритма (notebook). Для затравочки, так сказать.
Вот уже 13 лет мои разработки математических моделей посвящены электроэнергетике: процессам выработки, потребления и, главное, торговле электроэнергии на оптовом рынке. Да-да, почти во всех развитых странах функционируют оптовые рынки электричества. На Kaggle почти нет соревнований, посвященных электроэнергетике.
Куда бы вы ни посмотрели, вы везде наткнётесь на похожую на колокол кривую – кривую нормального распределения.
Поставьте мерный стакан у себя во дворе и записывайте уровень воды после каждого дождя: ваши данные будут соответствовать кривой нормального распределения. Запишите предположения 100 человек о количестве желейных конфет в банке — они тоже будут следовать кривой нормального распределения. Измерьте рост достаточно большого числа женщин, вес многих мужчин, результаты экзаменов, время, за которое бегуны пробегают марафон — вы всегда получите ту же гладкую, округлую кривую, сужающуюся к краям.
Почему кривая нормального распределения появляется в таком количестве наборов данных?
Представьте: пациент приходит на приём. Врач выслушивает жалобы и назначает обследование. Температура, общий анализ крови, рентген грудной клетки, УЗИ, мазок из горла – стандартная карточка. Часть из этого действительно нужна. Часть – назначается по привычке, «чтобы не пропустить».
Теперь вопрос: можно ли математически доказать какие симптомы несут реальную информацию о диагнозе, а какие – просто "шум"? Можно ли взять таблицу пациентов и получить на выходе точный ответ – вот эти три признака обязательны, этот четвёртый заменяем, а пятый почти бесполезен?
Оказывается, можно. И для этого не нужны нейросети, градиентный бустинг или сотни тысяч записей. Достаточно бинарной матрицы, красивой идеи из теории множеств и нескольких строк кода.
Сразу сделаю честную оговорку: я не врач и не претендую на медицинскую точность. Таблица пациентов в этой статье составлена по общедоступным представлениям из интернета – какие симптомы обычно сопровождают грипп, бронхит, пневмонию. Настоящие врачи составят такую матрицу куда точнее – на основе реальной клинической практики, статистики, протоколов. Моя цель другая: показать как математика может помочь врачу структурировать знания и найти в них закономерности. Не заменить клиническое мышление – а дать ему инструмент.
Медицина здесь – удобный и понятный пример. Тот же подход работает в промышленной диагностике, в анализе анкет, в задачах отбора признаков для машинного обучения, в системах поддержки принятия решений. Математика универсальна – меняется только предметная область.
В этой статье мы возьмём таблицу из 12 пациентов и 7 симптомов, переберём все возможные комбинации признаков, найдём те наборы которые позволяют однозначно поставить диагноз – и посчитаем вектор значимости каждого симптома. Реализацию сделаем в среде Engee на языке Julia.
Производящая функция моментов (moment-generation functions) - это функция, которая служит альтернативным способом задания распределения вероятностей случайной величины.
Флип 360 градусов при ветре 5 м/с со стрекозой. Пчела и шмель. Как они привели меня к ПэВ диапазону чёрной дыры.
Полный перевод двух захватывающих лекций математика Теренса Тао, где он "на пальцах" показывает, как греки додумались измерить диаметр Земли. И не только, ещё и расстояние до Луны и Солнца! Это увлекательные истории о том, как люди впервые определили размеры космических объектов, от размера Земли до размеров Солнечной системы и далее до масштабов Вселенной. И как каждое такое измерение открывало путь к следующему. Приведены видео на английском, перевод текста на русский с таймкодами, а также перевод уточняющих, недоумённых, скептических вопросов интернет-пользователей и ответов Теренса Тао о тонкостях космических измерений, и о том, как же это всё-таки удалось?..
Лонгрид, заслуживающий чтения сегодня, спустя 65 лет после первого полёта в космос...
Это перевод на русский базовой для изучения и лунной, и марсианской экономики статьи 2023 года Филиппа Т. Мецгера. Исследуется, при каких условиях добыча ракетного топлива на Луне и развитие рынка заправки таким топливом будет выгоднее доставки топлива с Земли для освоения как ближнего космоса, так и Солнечной системы. Интересным является введение в экономические расчёты формулы Циолковского, которая определяет "передаточное отношение" для оценки доставки любых ресурсов между любыми орбитами или точками на поверхностях планет.
Достижения в космосе, как показал октябрь 1957 и апрель 1961 года, начинаются с качественной теории, поэтому рекомендую познакомиться с этой работой всем интересующимся практическими и экономическими вопросами освоения космоса.
Однажды в далёкой галактике на планете Зюка жила разумная цивилизация осьминожек.
И случилось так что развитие технологий позволило учёным человеческой цивилизации пообщаться с учёными осьминожками далёкой фиолетовой планеты. Одними из первыми пообщались учёные лингвисты и математики. В целом фундаментальные точные науки у жителей Зюки совпадали с человеческими, но ведь самое интересное в том что не совпадает.
Большинство ML-систем для трейдинга оптимизируют MSE, а оценивают по коэффициенту Sharpe. В DiffQuant этот разрыв убран: весь путь от рыночных признаков до позиции, PnL и издержек собран в единый дифференцируемый граф.
Градиент проходит не через proxy-цель, а через саму торговую механику. На двух последовательных held-out кварталах прототип показал Sharpe +1.73 и +1.15 после учёта комиссий.
Код, данные и протокол эксперимента открыты. Это не готовая торговая система - это другая постановка задачи.
Вот, наконец, техника дошла до того, что на место всевозможных разрозненных "не научных", но вполне структурных и логичных внутри себя, практик прогнозирования, вроде астрологии, таро, нумерологии и классического психоанализа приходит нейроинтегральное прогнозирование. Инструмент для исследований на стыке технологий и интуиции.
В предыдущих статьях я описывал модель «снизу», начав с самых основ онтологической простоты и введя минимальную единицу бытия — бинарный коррелят, «Атом смысла».
Кратко напомню ключевую интуицию.
Когда мы пытаемся приблизиться к фундаментальным единицам бытия, то используем классическую редукцию, упрощая известные нам составляющие вещества. Сначала мы говорим о молекулах, затем переходим к элементарным частицам и полям. В теории струн речь уже идет о многомерных вибрирующих струнах как базовых кирпичиках, из которых построено всё материальное.
В какой‑то момент мы останавливаемся и говорим: это и есть фундаментальная основа всего. Однако на чём бы мы ни остановились, это нечто всё равно обладает внутренней структурной сложностью. Если это струна, то она многомерна, она вибрирует, у неё есть разные моды, и всё это разворачивается на уже готовой сцене пространства-времени, которое мы принимаем как данность. Где же здесь настоящая простота?
Взгляд снизу с необходимостью заставляет нас оттолкнуться от единственно-честного ничто. Не физический вакуум, не пустое пространство, а абсолютное онтологическое ничто — полная противоположность всякому «есть». То самое атеистическое ничто, которое наступает после смерти или предшествует рождению, когда нет даже возможности помыслить наличие чего бы то ни было.
Таким образом, у нас есть база, на фундаменте которой имеет смысл создавать нечто фундаментально простое, что я и называю Атомом смысла. Опустив все промежуточные рассуждения, Атом смысла можно описать как чистую бинарную корреляцию: потенциал быть «да» или «нет», «различимо» или «неразличимо». Не само значение, а именно потенциал значения — коррелят в чистом виде.
Привет, Хабр! Если вам когда‑либо хотелось разобраться в том как работает линейная регрессия, или хочется освежить в памяти основные моменты без необходимости продираться через разрозненные источники, то прошу под кат. Это не статья "от начинающего для начинающих". Экстра лонгрид — писал больше года. Статья концептуальная, а концептов пять: 1) ключевой повествовательный компонент — визуализации (их около сотни), текст — вспомогательный; 2) анимации везде где только можно (их всего 34); 3) простота — достаточно знаний со школьного курса математики чтобы начать читать; 4) воспроизводимость — подавляющее большинство медиаматериалов сгенерированы при помощи Python а исходный код выложен в open‑source и, самый главный, 5) фокус на практике, — например, если упоминается векторная запись метода наименьших квадратов, значит она в нарративе решает возникшую боль читателя
Доброго времени суток, уважаемые хаброжители! Сегодня поговорим о данных — о той самой основе, без которой в классическом машинном обучении да и в deeplearning, по большому счёту, не происходит вообще ничего, от слова совсем: ни обучения моделей, ни проверки гипотез, ни сколько-нибудь осмысленных выводов, ни построение пайплайнов. И в квантовом машинном обучении история, в сущности, та же самая. Только вот сами данные здесь устроены несколько иначе — и вот здесь как раз начинается самое интересное ;) Когда впервые слышишь словосочетание квантовые данные, реакция, как правило, одна из двух: либо это звучит как что-то из научной фантастики, где сейчас из-за угла выйдет кот Шрёдингера и испортит вам датасет, либо как "ну хорошо, ещё один датасет, просто теперь с модной квантовой приставкой" и всякими наворотами. Сразу скажу: на практике всё интереснее и более вариативно. Именно, последнее и приобретает особо важную роль в современном мире ИИ.
В этой статье мы разберём следующие важные положения:
Одним вечером я решил проверить: что если взять решётку из 10 000 узлов, задать одно правило передачи энергии между соседями — и просто запустить? Никакой теоретической физики из учебника, никакой подготовки. Посмотреть что вырастет само.
Спойлер: за один день появились волновое уравнение, интерференция, фазовый переход, рождение и аннигиляция частиц, и стрела времени. Всё из одного уравнения.
