Мультимодальные языковые модели представляют собой самый прогрессивный класс нейросетевых архитектур, объединяющих способность воспринимать и обрабатывать различные типы данных одновременно - текст, изображения, аудио и видео. Это похоже на то, как наш мозг интегрирует информацию из разных органов чувств, чтобы создать полную картину мира. Как сказал философ Марсель Пруст, “Настоящее открытие не в том, чтобы увидеть новые земли, а в том, чтобы иметь новые глаза”.
Обучение с подкреплением – это одна из ключевых концепций ИИ. Пришло время подкрепить коммивояжера и его задачу поиска кратчайшего пути Q-обучением. Табличный вариант Q-обучения является сравнительно простой и эффективной реализацией обучения с подкреплением.
Захотелось более детально разобраться и попробовать самостоятельно написать Transformer на PyTorch, а результатом поделиться здесь. Надеюсь, так же как и мне, это поможет ответить на какие-то вопросы в данной архитектуре.
Чемпионат мира по фигурному катанию 1995 года в Бирмингеме стал не просто спортивным событием, а настоящей математической загадкой. Четыре фигуристки, три программы и одна система подсчёта очков, которая нарушила все ожидания. Когда Мишель Кван заняла третье место в произвольной программе, это неожиданно изменило судьбу подиума: Сурия Бонали, которая уже завершила свои выступления, оказалась на втором месте, обойдя Николь Бобек. Но самое удивительное — Бонали отказалась подниматься на пьедестал, считая, что серебро ей не принадлежит. Как математика перевернула итоги соревнований? Почему система ранжирования нарушила принцип независимости от посторонних альтернатив? И как этот случай навсегда изменил фигурное катание? Погрузитесь в историю, где лёд, слёзы и теорема Эрроу слились воедино, создав один из самых парадоксальных моментов в истории спорта.
Свертка подмножеств, это математический аппарат, который позволяет ускорить алгоритмы на множествах и быстро считать функции на подмножествах.
Статья будет интересна тем, кто интересуется нетривиальными, но красивыми алгоритмами!
Представьте карандаш на столе. Задача: повернуть его так, чтобы он указал в каждом возможном направлении ровно один раз, минимально соприкасаясь со столом. Можно вращать карандаш круговым движением вокруг середины, но существуют более эффективные способы.
По словам Джонатана Хикмана из Эдинбургского университета, эта проблема, хоть и кажется простой задачей о пересечении прямых, содержит удивительное богатство связей с другими математическими задачами.
Математики полвека искали оптимальное решение для трехмерной версии этой задачи: как направить карандаш во все стороны в пространстве, минимизируя объем, через который он проходит. Эта проблема не поддавалась решению даже выдающимся математикам и связана со многими нерешенными вопросами.
Раз уж вы читаете это эссе, то наверняка уже знаете о математическом празднике под названием «День Пи», который отмечается 14 марта каждого года в честь мистического числа π = 3,14..... Пи — это не просто универсальная константа; она трансуниверсальна в том смысле, что даже в альтернативной вселенной с геометрией, отличной от нашей, сознательные существа, задавшиеся вопросом[1] о значении интеграла sqrt(1-x^2) от x = -1 до x = 1, всё равно получили бы — ну, не 3,14..., а ровно половину от него, или 1,57..... Здесь кроется подвох в универсальности пи: почему 3,14... должно считаться более фундаментальным числом, чем 1,57... или другие естественно возникающие[2] величины, связанные с пи?
Я подозреваю, что даже если мы ограничимся планетами в нашей Вселенной, на которых обитают разумные существа, делящие свои годы на что-то вроде месяцев, а месяцы — на что-то вроде дней, многие из этих миров не будут праздновать число пи в четырнадцатый день третьего месяца. И не только потому, что 3,14 — это очень десятичное приближение к пи (есть ли причина думать, что у разумных существ, как правило, ровно десять пальцев, или щупалец, или псевдоподий, или ещё чего-нибудь?). И не только потому, что интерпретировать «3» как счёт месяцев, а «14» — как счёт дней, довольно условно. И не только потому, что устраивать праздник в честь числа — вообще странное занятие. А ещё и потому, что в нашем собственном мире мы были близки к тому, чтобы другое число, кратное пи служило нам фундаментальным мостом между измерением прямых и круглых вещей.
Число пи в самых элементарных случаях встречается в двух формулах: вычисление длины окружности по её радиусу и вычисление площади круга по его радиусу. Площадь круга пропорциональна квадрату радиуса, длина окружности пропорциональна просто радиусу. Добавляется коэффициент пи, и для длины добавляется коэффициент два, ведь длина единичной окружности ближе к шести, чем к трём.
Если бы я подробнее объяснял что это за число пи, то для длины окружности можно было бы рассказать про колесо, что на земле отпечаток повторяется через равные промежутки, рассчитываемые через умножение на два пи величины радиуса. А про площадь бы объяснил собеседнику так:
Если тебе нужно закрасить квадрат размером три на три метра, сколько ты возьмёшь краски? Ты возьмёшь столько чтоб хватило на девять квадратных метров. Площадь квадрата это квадрат длины стороны. А если от квадрата надо оставить только вписанный в него круг, то количество краски можно рассчитать, уменьшив площадь квадрата в отношении пи к четырём. Именно для таких расчётов пи и нужно. А если рассчитывать в зависимости от радиуса окружности, который меньше ширины квадрата в два раза, то тогда просто пи, без деления на четыре. Для квадрата шириной в два метра радиус будет единица, а площадь вписанного круга ровно пи.
Простейшее объяснение числа завершено. Но я бы добавил, что существует способ поделить квадрат линиями на части так чтобы площадь ограничивалась не плавными кривыми, а ровными – вертикальными и горизонтальными, и составляла точно так же пи квадратных метров. Число пи без кругов! И этот способ можно использовать в обратную сторону, для вычисления числа пи. Это проще чем подсчёт площади многоугольников и не так бесполезно как бросание иголок.
В продолжение части 1 привожу анализ заполнений квадрата со стороной 45 квадратиками размера от 1 до 9 (1x1 - 1 шт., 2x2 - 2 шт., 3x3 - 3 шт., ..., 9x9 - 9 шт.).
Начнём с простого. Несложно показать, что квадратик размера 1 не может стоять у границы и даже на расстоянии 1 от границы. Этот факт я учитывал при поиске вариантов, чтобы немного сократить перебор.
Если выстроить квадратики размера 9 вдоль двух соседних «стенок», то мы сведём задачу поиска заполнения к задаче для 
. Таким образом получается, что около 4% заполнений для 
получаются напрямую из заполнений для 
(у нас есть 4 способа выбрать 2 соседние «стенки»).
Привет! Меня зовут Милена Газдиева, я являюсь научным сотрудником Института AIRI, а также инженером-исследователем и аспиранткой Сколтеха. Мои научные интересы лежат в области разработки генеративных моделей на основе оптимального транспорта (optimal transport, ОТ) и их приложений к различных задачам. Мы с коллегами добились успехов в повышении устойчивости таких моделей, и одна из наших статей по этой теме была принята на престижную конференцию по искусственному интеллекту ICLR 2025, которая в этом году будет проходить в Сингапуре. Сегодня я расскажу об этой работе, в рамках которой мы разработали метод оценки барицентров (взвешенных средних) распределений, устойчивый к различным выбросам и дисбалансам в данных.
Что это означает и зачем нужно — читайте далее.
Эконофизика — область науки, которая объединила в себе экономическую теорию и физические методы. По случаю выхода нашей с коллегами научной статьи, решил рассказать об этой концепции. И про то, как современные подходы машинного обучения могут способствовать построению эконофизических и социофизических моделей.
1-го января из сообщества Незадача дня я узнал про интересные равенства относительно числа 2025 и про задачу, которую на их основе можно сформулировать.
Равенства следующие:
Некоторые, возможно, ещё помнят, что в углублённой школьной (или вузовской) программе встречалось равенство 
. Собственно, оно тут и применяется. Кстати, согласно Википедии, это равенство называется тождеством Никомаха, древнегреческого математика (около 60-120 гг. н.э.).
На основе этих равенств можно сформулировать задачу:
Сколько существует способов расположить 1 квадратик со стороной 1, 2 квадратика со стороной 2, 3 квадратика со стороной 3, … , 8 квадратиков со стороной 8, 9 квадратиков со стороной 9 в квадрате со стороной 45, чтобы они не пересекались?
Некоторое время назад я попробовал найти формальное доказательство безопасной работы с памятью, которое реализовано в Rust, но так и не смог его найти. После чего у меня сложилось впечатление, что доказательство в формальном виде и вовсе отсутствует, а вся концепция безопасного управления памятью на основе "владения и заимствования" формально не доказана и держится только на честном слове.
Я не являюсь специалистом по Rust, но после просьбы помочь разобраться этим вопросом, был переадресован искать эту очевидную информацию самостоятельно, так как "джентльменам верят на слово". Тогда как косвенным подтверждением моего предположения об отсутствии формального доказательства в общем виде, является тот факт, что отсутствует и полный список разрешающих и/или запрещающих проверок, которые реализованы в самом компиляторе языка.
Я хочу рассказать про изыскания о формальном доказательстве безопасной работы с памятью на основе владения и заимствования (независимо от языка программирования или реализации компилятора), которое основано на собственных данных и рассуждениях.
Данный тезис не больная фантазия отдельно взятого человека или сторонников фразы: скоро всей вашей Америке кирдык, а прогноз Бюджетного управления Конгресса США.
Хотя значительное количество современных экономистов и считают, что госдолг США итак слишком большой, Бюджетное управление Конгресса настроена вполне оптимистично и предлагает наращивать его и впредь.
Молодой учёный и двое его коллег показали, что поиск в структурах данных, называемых хеш-таблицами, может выполняться гораздо быстрее, чем считалось возможным ранее.
Осенью 2021 года Эндрю Крапивин, студент Ратгерского университета, наткнулся на статью, которая изменила его жизнь. В то время Крапивин не придал этому материалу особого значения. Но два года спустя, когда он наконец выделил время, чтобы изучить статью («просто ради развлечения», как он выразился), его усилия привели к всеобщему переосмыслению широко используемого инструмента в информатике.
«Очевидно» — опасное слово, даже в сценариях, которые кажутся простыми. Предположим, например, что вам нужно произвести важные вычисления. Вы выбираете между двумя почти одинаковыми компьютерами, за исключением того, что в одном из них есть дополнительный жёсткий диск, заполненный драгоценными семейными фотографиями. Естественно предположить, что эти два варианта одинаково хороши — дополнительный диск, на котором не осталось места, не поможет вам в вычислениях.
«Очевидно, что это не поможет, верно?» — говорит Бруно Лофф, специалист по информатике из Лиссабонского университета.
Ошибаетесь. В 2014 году Лофф и четверо других исследователей обнаружили, что добавление заполненного накопителя в принципе может сделать компьютер более мощными. Их теоретическая схема, названная каталитическими вычислениями, стала самостоятельным объектом для изучения. А недавно она помогла исследователям получить поразительный результат в смежной области компьютерной науки: Стандартный подход к решению главного открытого вопроса о роли памяти в вычислениях, скорее всего, зашёл в тупик.
С3D Solver – это инструмент для разработчиков, работающих с 2D и 3D-моделированием. Он позволяет создавать параметрические сборки из твёрдых тел и эскизы, накладывая на них связи (ограничения). Мы остановимся непосредственно на трёхмерном решателе, чтобы на его примере ответить на возникающие у разработчиков приложений вопросы, которые и послужили толчком к написанию данной статьи. Например, расскажем о значении синхронизации представлений геометрических объектов – это наиболее распространенная проблема, возникающая при использовании трёхмерного решателя. А также в рамках статьи погрузимся в основные аспекты работы программиста конечного приложения с С3D Solver, рассмотрим функциональность математической библиотеки и пройдём путь от клика по иконке до сопряжения геометрических объектов на конкретном примере.
Чтобы лучше ориентироваться в предметной области и терминах, которые будут упоминаться, начнём с краткого описания базовых понятий. В статье рассмотрим три представления твёрдых тел. Изображение модели, которую пользователь видит на экране, мы будем называть графическим представлением. Следующее представление – модельное. Оно включает в себя описание топологии моделируемого объекта, связей элементов геометрической модели, историю её построения и атрибуты элементов. За него отвечает геометрическое ядро C3D Modeler. Наконец, есть параметрическое представление, которое обеспечивает взаимосвязь элементов модели, позволяя редактировать её, синхронно изменяя положение тел. Воплощается оно в системе геометрических ограничений GCM_System под управлением C3D Solver, который не имеет прямой связи с твёрдыми телами модельного представления. Отсюда возникает важная особенность – необходимость синхронизации представлений.
Доброго дня, Хабр!
На этой постоянной сломали копья море физиков, но так никто и не смог ее объяснить.
Ну и мне, в общем всегда было любопытно, что за зверь такой невиданный, разуму неподвластный.
В прошлой статье про постоянную тонкой структуры, так сказать, забрезжила у меня идея на тему формы кривой потенциала Леннарда-Джонса, но сумбурно как то. Потом я забыл про идею, но вот снова столкнулся с этой кривой, неожиданно в истории про аппроксимацию вязкости растворов близко к точке замерзания. Но здесь не об этом.
Изучил подробно ту функцию из прошлой статьи, и опять же, неожиданно для себя, ту старую идею про постоянную тонкой структуры сформулировал окончательно.
Точность получил выше, чем эксперимент для CODATA, относительно экспериментального определения постоянной тонкой структуры, на 2024 год!
Функция Кантора — удивительный математический объект, который бросает вызов интуиции: она непрерывна, но нигде не дифференцируема, её производная равна нулю почти всюду, но сама функция при этом возрастает от 0 до 1. В этой статье мы разберём её построение, математические свойства, связь с фракталами, теорией меры и вероятностными распределениями. Также рассмотрим неожиданные параллели с машинным обучением: от генерации разреженных данных до тестирования градиентных методов.
В этой статье заострим внимание на самых неочевидных моментах логики Uniswap v3
Структура этой статьи
• Вспоминаем основы математики Uniswap v3
• Как работают кросс-тик свопы (свопы, при которых изменяются ценовые "тики")
• Как использовать совокупную ликвидность от разных LP-позиций лучше чем за O(n)? И как это связано с тиками?
• Допустим, у пуле открыто 1 миллиард разных Uniswap V3 LP-позиций. Как будет выглядеть суммарный график y(x) по всему ценовому пространству?
• Доказать, что суммарный график y(x) будет непрерывно-дифференцируемой функцией
