Математика *

У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала» правильную причинную цепочку, и тогда, когда она просто выдала правдоподобный текст. Классические способы оценки неопределённости — энтропия распределения токенов, калибровка, ансамбли, conformal prediction — полезны, но обычно смотрят на модель как на чёрный ящик.

В этой статье я разберу другой подход: попробовать оценивать неопределённость не только по выходу модели, а по внутренней согласованности активной цепи трансформера. Речь пойдёт о метрике EICS — Effective Information Consistency Score. Идея в том, чтобы за один прямой проход получить численную оценку того, насколько найденная трансформерная цепь ведёт себя согласованно и насколько её макроуровневое описание действительно несёт интегрированную информацию.

Статья основана на исследовательской работе об оценке неопределённости в трансформерных цепях на основе согласованности эффективной информации. Здесь я намеренно смягчил академическую подачу, оставив интуицию, формулы, алгоритм и практические ограничения.

Ракету не отправляют в космос только потому, что её двигатель и насос успешно прошли стендовые испытания по отдельности. Перед стартом инженеры рассчитывают траекторию, моделируют режимы работы и анализируют сценарии отказов. Расчёт не заменяет реальные тесты, но задаёт для них осмысленную рамку.

В софте всё обычно иначе. Распределённый пользовательский путь — например, оформление заказа — собирается из десятков микросервисов, баз и очередей. Разработчики добавляют новую зависимость, видят зелёные тесты, проверяют локальные метрики и выкатывают релиз. Считается, что если при сбое что-то пойдёт не так, настроенная система наблюдаемости обязательно это покажет.

Она, конечно, покажет. Но почему при проектировании микросервисов мы так спокойно относимся к тому, что узнаём о хрупкости архитектуры в основном по факту инцидента?

Эта статья о том, как получить грубый расчёт деградации системы ещё до релиза. Без отказа от хаос-инжиниринга или мониторинга, а как шаг перед ними. Я расскажу о двух экспериментах, в которых топологическая модель автоматически извлекалась из распределённых трейсов, после чего на ней просчитывались сценарии отказов методом Монте-Карло. Результаты моделирования я затем сравнивал с реальными инъекциями отказов на стендах DeathStarBench и OpenTelemetry Demo.

Создай свое собственное судоку – одна из интересных головоломок игры MIT Mystery Hunt 2014 года. Головоломка представляла собой пустое поле судоку, к которому прилагались 4 набора подсказок. Первые 3 набора были необходимы для того, чтобы вписать в пустое поле исходные цифры головоломки: они относились к секторам, строкам и столбцам поля соответственно. Последний набор относился к цифрам поля и служил для получения ответа на задание после решения судоку.

Пример Ковалевской заключается в следующем. Рассмотрим задачу Коши для уравнения в частных производных:

Продолжим наш цикл статей по задаче внешней баллистики исследованием лобового сопротивления воздуха. Предложенная задача является очень непростой , но важной с практической точки зрения, поскольку точный расчёт траекторий снарядов без учёта сопротивления воздуха невозможен. Работа очень актуальна, особенно в военное время

для артиллеристов, миномётчиков, расчётов САУ и ПВО.

В этой статье мы разберём несколько вариантов зависимости силы лобового сопротивления воздуха от скорости летящего тела, а также поймём, какой вариант является наиболее практически применимым при расчётах траекторий спутников, артиллерийских снарядов, баллистических ракет.

Первый случай: При небольших скоростях (0-40 м/с) и тяжёлых снарядах сопротивлением воздуха можно пренебречь: Fc=0. Такой вариант, конечно, сильно облегчает все расчёты, но при больших скоростях расхождение получается чудовищным: в 4-5 раза больше, чем в реальности. Поэтому этот вариант отпадает и применим только в школьных задачах по механике, а все расчёты для него были сделаны ещё до нашей эры.

Второй случай: Закон сопротивления Стокса. В 1851 году английский математик Джордж Стокс получил для закона сопротивления выражение

На утверждение, что большие языковые модели не мыслят, есть простой встречный вопрос : “Если это так, как ИИ выполняет арифметические операции?”

Действительно, сложение, вычитание и умножение кажутся точными и алгоритмизированными процессами. Кажется логичным предположить, что внутри модели должен быть некий “калькулятор” или хотя бы его подобие. Но это не так.

Когда разработчик слышит слова “математический анализ”, в голове часто всплывает что-то из университета: пределы, производные, интегралы, бесконечные ряды, многостраничные доказательства и ощущение, что все это находится очень далеко от реальной работы. На практике все устроено иначе.

Большая часть разработчиков действительно не сидит каждый день и не вычисляет производные вручную. Но идеи матанализа при этом встречаются постоянно. Они проявляются в производительности, машинном обучении, графике, обработке сигналов, численных вычислениях, аналитике, моделировании и даже в обычной инженерной привычке понимать, как система ведет себя при изменении входных данных.

Проблема обычно не в том, что матан бесполезен. Проблема в другом: его часто преподают как отдельный мир формальных конструкций, а разработчику нужен другой взгляд, более инженерный. Не “докажите теорему по Коши”, а “объясните, как изменяется функция, почему вычисления могут быть нестабильны и как это связано с кодом”.

В этой статье разберем, что из математического анализа действительно полезно разработчику, где это применяется, что можно знать на уровне понимания, а что стоит изучить глубже, если вы идете в более математические направления.

Этот материал представляет собою перевод любопытнейшей научной статьи Peter Lynch “The Origins of Computer Weather Prediction and Climate Modeling”, которая вдохновляла мои научные изыскания долгие годы. Краткую ее версию я публиковала давно здесь. Вашему вниманию представлен полный вариант.

Среди синхронных двигателей с постоянными магнитами существует конструктивное разделение, которое на первый взгляд кажется деталью производства, а на самом деле определяет всю физику машины и логику её управления. Речь идёт о расположении магнитов в роторе: снаружи или внутри.

Двигатель с постоянными магнитами на поверхности ротора (SPMSM) — прост и предсказуем. Магнитный зазор равномерен, индуктивности по обеим осям одинаковы, момент создаётся единственным способом. Управлять им несложно.

Двигатель с интерполированными постоянными магнитами IPMSM (Interior Permanent Magnet Synchronous Motor) — устроен принципиально иначе. Магниты утоплены в тело ротора, что нарушает симметрию магнитной цепи. Возникает анизотропия: магнитное сопротивление ротора различается по двум взаимно перпендикулярным направлениям. Следствие — дополнительный источник момента, реактивный, существующий исключительно за счёт разницы индуктивностей по осям d и q.

Именно эта анизотропия делает IPMSM привлекательным для тягового привода. Широкий диапазон ослабления поля, высокая удельная мощность, возможность использовать реактивный момент для снижения токовой нагрузки — всё это следствие одного конструктивного решения: магниты внутри, а не снаружи.

Реализовать потенциал IPMSM позволяет стратегия MTPA — Maximum Torque Per Ampere. Она находит оптимальное распределение вектора тока статора между осями d и q: такое, при котором заданный момент достигается при минимальной амплитуде тока. Меньший ток — меньше потерь в меди, меньше нагрев, меньше нагрузка на инвертор.

В настоящей статье рассматривается физика анизотропии IPMSM, математическая модель машины в системе координат d‑q и стратегия MTPA как задача оптимизации с аналитическим решением. Модель реализована в системе моделирования Engee и верифицирована сравнением режимов FOC и MTPA на параметрах макетного образца IPMSM.

Моделирование паровых турбин — повседневная задача сотен людей в нашей стране. Вместо слова модель принято говорить расходная характеристика. Расходные характеристики паровых турбин используют при решении таких задач, как вычисление удельного расхода условного топлива на электроэнергию и тепло, производимые ТЭЦ; оптимизация работы ТЭЦ; планирование и ведение режимов ТЭЦ.

Мною разработана новая расходная характеристика паровой турбины — линеаризованная расходная характеристика паровой турбины. Разработанная расходная характеристика удобна и эффективна в решении указанных задач. Однако на текущий момент она описана лишь в двух моих научных работах:

Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.

Начну с признания: истории формата «природа оптимизирует лучше людей» меня обычно раздражают, слишком уж часто это все притянуто за уши. Но с муравьями история действительно странная, и мне ее захотелось проверить.

Короткая справка по нашему герою. Аргентинский муравей Linepithema humile в миллиметр длиной, с глазами у него все плохо, а в мозге около 250 000 нейронов (у нас, напомню, 86 млрд). Карты местности он не помнит. 

В 1989 году четверо бельгийских биологов поставили этим муравьям простой эксперимент — гнездо, еда, два мостика, где один длиннее другого в два раза. Через несколько минут вся колония сошлась на короткой ветке в 100% прогонов. И все это без координатора, без плана и без голосования. 

Через три года этот эксперимент превратится в Ant Colony Optimization — алгоритм, который я сегодня натравлю на классический TSP-бенч и получу 0,10% отставания от оптимума. А в 2023, через 34 года после наблюдений в Брюсселе, тот же алгоритм вернулся на NeurIPS в качестве бэкбона для графовых нейросетей. Что же, приступим.

Что есть свет? Ответы будут разительно отличаться в зависимости от того, у кого спрашивать. Однако для физики и других точных наук свет является как важным ресурсом, так и важным интуристом для реализации крайне сложны систем. Контроль и манипулирование светом, а именно его свойствами, открывает новые возможности в самых разных отраслях, от классической электроники до квантовых вычислений. Однако получить контроль над светом — это далеко не тривиальная задача, но вполне выполнимая, если мыслить креативно. Ученые из Варшавского университета (Польша) разработали систему, позволяющую трансформировать лучи света в так называемые оптические вихри. Как именно ученые создали эти «торнадо», какими свойствами они обладают, и где именно могут быть полезны? Ответы на эти вопросы мы найдем в докладе ученых.

Здравствуй, Хабр! Мы решили применить наш математический аппарат к фолдингу белка. Результаты предлагаем Вашему вниманию. Это не просто биоинформатика. Мы попробовали рассчитать структуру белка, исходя из уравнений нелинейной динамической среды. Результаты оказались неожиданными, AlfaFold и Blast подтвердили существование структур, которые наше уравнение считает очень быстро.

Когда мне в школе мне задали сделать итоговый проект для допуска к ОГЭ. Я долго думал над темой проекта, и решил совместить две вещи в которых я хорошо разбираюсь, Квадратные уравнения и мой любимый язык программирования Python.

На этапе идеи я сразу понял с помощью чего именно я сделаю свой проект. Изначально у меня получилось разработать консольное приложение, состоящее из бесконечного цикла цикла и простого алгоритма который спрашивает тип уравнения: Полное квадратное/неполное квадратное, и после выбора мы могли вводить a, b и c/a и b.

Эту версию проекта я «накидал» за один вечер, когда я показал результат учителю, он порекомендовал мне сделать графический интерфейс, я моментально вспомнил Python библиотеку Tkinter для создания графического интерфейса.

Тут уже пришлось покумекать как именно это сделать, ведь на практике я еще на тот момент не сталкивался с этим фреймворком. В ходе поиска документации по данному фреймворку я столкнулся с тем что все материала были содержали слишком много «воды». На тот момент нейросети были чем то новым и неизведанным, как раз так совпало.

Д-р наук, профессор Эдсгер Дейкстра (Edsger W. Dijkstra, 1930−2002) — легендарный голландский и американский учёный, труды которого заложили фундамент современного программирования. Среди всех учёных прошлого Дейкстра оказал самое большое влияние на современную информатику. Он один из разработчиков концепции структурного программирования, формальной верификации, распределённых вычислений, построения компиляторов, графовых алгоритмов, дизайна алгоритмов, дизайна ПО, дизайна математических аргументов, языков программирования и операционных систем.

Некоторые статьи Дейкстры всего лишь на несколько страниц становились источником целых новых исследовательских направлений. Ряд современных концепций были впервые выявлены Дейкстрой и носят придуманные им названия. Например, параллельные вычисления.

Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами.

В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа.

В этой статье мы разберём, как математики изгнали, а затем вернули бесконечно малые, что такое гиперреалы и монады, а затем реализуем эту идею в коде.

Из курса дифференциальных уравнений многие наверняка помнят теоремы существования и единственности для систем обыкновенных дифференциальных уравнений (ОДУ). Не пересказывая учебники, напомню лишь неформально, как выглядит эта задача по существу.

Дана система ОДУ с начальными условиями:

О фундаментальных ограничениях больших языковых моделей одни говорят, что трансформеры, обученные предсказывать следующий токен (NTP), - тупиковый путь для создания интеллектуальных машин: язык слишком беден, это лишь плоская проекция реального мира, машины ничего не понимают. Другие говорят , что та же задача, повторённая триллионы раз, может вызвать появление сложного поведения примерно как простой механизм эволюции породил всё многообразие жизни.

Ниже представлены наблюдения по этим вопросах.

Завершившийся недавно полет пилотируемого космического корабля ORION, который совершил облёт Луны и успешно вернулся на Землю, привлёк к себе огромное внимание всего человечества и вызвал гигантское количество комментариев, обсуждений, домыслов и прогнозов. Я решил тоже внести свою лепту. На волне всеобщего интереса к миссии ARTEMIS-II мне захотелось построить траекторию полета корабля Орион к Луне, а также анимированное условное изображение движения корабля к Луне и обратно. Когда-то я уже пытался создать (и опубликовал здесь) аналогичные изображения, описывающие не совсем удачный полет корабля APOLLO-13, но параметры того полета несколько отличались от параметров нынешнего. Тем не менее, есть и сходство, поэтому можно применить методы для Аполлона-13 и к Ориону. Я попробую также немного усложнить модель, чтобы учесть не только траекторию полета к Луне из окрестностей Земли, но и то, каким образом корабль попадает на эту траекторию после старта с Земли.