Математика *

Шри Янтра — девять треугольников в круге, которые пересекаются так, что образуют 43 маленьких треугольника. Её часто называют самой сложной для построения фигурой индийской традиции, и на это есть причина: в правильной янтре в десятках мест три линии обязаны сходиться ровно в одну точку. Стоит сдвинуть одну линию на волосок, и точка распадается на крошечный лишний треугольник.

Мы решили разобраться всерьёз. Можно ли построить Шри Янтру абсолютно точно? Сколько таких фигур существует? И если их много, можно ли честно, без подгонки, выбрать среди них одну — «идеальную»?

Коротко: точных янтр бесконечно много, у них ровно четыре степени свободы. Единственной идеальной нет, но есть несколько естественных кандидатов, есть пара неожиданных теорем и есть внятный ответ на вопрос, почему идеальной нет.

В статье я рассказываю о LTanh — функции активации, которая сохраняет форму Tanh, но решает проблему затухающего градиента. Показываю, как пришёл к формуле, вывожу производную и сравниваю её с Tanh в точках 0–5. В хвостах LTanh даёт в 150–850 000 раз больший градиент, оставаясь ограниченной и гладкой.

Одна из частых ошибок при построении количественных стратегий — путать корреляцию и коинтеграцию. Кажется, если два ряда данных исторически двигались синхронно, то отклонение между ними — сигнал для действия. На практике эта логика подводит: высокая корреляция сама по себе не гарантирует возврата к среднему, а без этого возврата любая стратегия, построенная на отклонениях, не работает.

Привет! Меня зовут Джоэл Дэвид Хэмкинс, и сегодня я хотел бы рассказать вам о парадоксе наибольшего числа, которое можно уместить в твите.

Конечно, теперь Twitter называется X, но я буду пользоваться старой терминологией и говорить о твитах, Twitter и так далее. Традиционное ограничение на длину твита составляет 280 символов. И, разумеется, в твите можно записывать числа. Например, можно просто заполнить весь твит цифрами. Допустим, я пишу твит - вот мой твит - и заполняю его цифрами: 28765 и так далее. Я могу заполнить весь твит цифрами и тем самым записать некоторое число. Какое наибольшее число можно записать таким способом?

Конечно, можно записать число гораздо больше. Вместо разных цифр можно использовать одни девятки и полностью заполнить ими твит. Тогда получится огромное число - на единицу меньше, чем . Но в твите можно задать числа гораздо большего размера. Например, вместо того чтобы выписывать само число, можно привести его описание. Я мог бы написать «один центиллион», а центиллион - это . Это число гораздо больше того, которое получится, если заполнить весь твит цифрами 9. Итак, мы уже нашли число побольше. Но какое самое большое число вообще можно уместить в твите?

Привет! Меня зовут Кирилл Кочнев, я руковожу продуктовой аналитикой в hh.ru и веду «Статзначимый подкаст». Каждый месяц мы в компании запускаем больше сотни A/B-экспериментов, и со временем тесты начали пересекаться: разные команды одновременно меняли связанные части пользовательских сценариев, из-за чего результаты искажались. 

В этой статье расскажу, как мы подошли к управлению пересекающимися экспериментами: выстроили процесс согласования между командами и бизнес-владельцами, доработали платформу A/B-тестов и превратили это не только в техническое изменение, но и в способ развивать культуру планирования экспериментов.

Трудно представить себе физическую систему проще бильярдного стола. Пустите шар по столу, и его движение будет подчиняться простому правилу: он движется по прямой, пока не ударится о борт, после чего отскочит от него под тем же углом, под каким приблизился. И всё же даже такая простая система — по крайней мере теоретически — способна воспроизвести любое вычисление, доступное гораздо более сложному компьютеру.

Как показали математики Ева Миранда из Политехнического университета Каталонии в Испании и Исаак Рамос из Швейцарской высшей технической школы Цюриха, один шар, отскакивающий от стенок двумерного «бильярда» особой формы, может имитировать универсальную машину Тьюринга — такую, которая способна моделировать любую другую машину Тьюринга.

Для Миранды эта работа стала итогом многолетних попыток свести механическую систему к минимальному числу деталей, необходимому ей для работы в качестве компьютера. «Каков минимальный геометрический механизм, позволяющий физической системе выполнять универсальные вычисления, и как мы можем его обнаружить? — спрашивает она. — Бильярд представляет собой самую суровую проверку такого процесса упрощения. Одна‑единственная частица. Вся программа записана в геометрии границы».

Машина Тьюринга — это не машина в привычном смысле слова. Это математическая модель вычислений, предложенная британским математиком Аланом Тьюрингом в 1936 году. В простейшем виде она состоит из воображаемой ленты, разделённой на ячейки, головки, которая может считывать и записывать символы на этой ленте, и набора инструкций, определяющих её последующие действия. Каждая отдельная операция предельно проста: прочитать символ, записать символ, переместиться вдоль ленты и повторить всё снова.

Компьютер является математической структурой, отлитой в кремний. И фактически с ним можно взаимодействовать так же, как с любым другим математическим обьектом.

Чтобы лучше раскрыть эту мысль, мы разберем компьютер сначала как математическую абстракцию, а потом реализуем его в двумерном, трехмерном и четырехмерном измерений, и напишем для них инструкции.

Чтобы оптимизировать производительность больших языковых моделей (LLM), необходимо понимать весь программный стек. Мне не удалось найти подробную статью, которая показывала бы этот стек как общую картину, поэтому я решил написать такую статью сам. Эта статья не является исчерпывающим обзором или набором наилучших практик. Здесь я в большей степени делюсь моими общими представлениями о том, как выглядит ландшафт современных LLM‑систем.

Во‑первых, любая система проектируется с расчётом на достижение конкретных целей с учётом заданных ограничений. В LLM‑системах наиболее принципиальные цели связаны с увеличением пропускной способности и минимизацией задержек. Два этих показателя необходимо оптимизировать в рамках ограничений, задаваемых тремя принципиальными факторами: вычислительные (скорость аппаратных операций и поддерживаемые типы), память (ёмкость и иерархия) и коммуникация (ширина передачи данных в памяти и сети, задержка и иерархия). Эти концепции отлично рассмотрены в книге Scaling Book от Google, а именно в разделе Roofline.

Показано, как из классического вычисления интеграла Гаусса-Пуассона получается еще одна аппроксимирующая формула для этого интеграла

Публикуется полный перевод статьи The AI Dilemma: Growth versus Existential Risk, опубликованной в 2024 году за авторством Чарльза Джонса (Charles I. Jones).

Эта статья ставит непростой этический вопрос: можем ли мы обменять ускоренный экономический рост и (возможное) увеличение продолжительности жизни, которое нам сулит повсеместное внедрение ИИ и рост самого ИИ до (предполагаемого) суперинтеллекта, на риски, связанные с полным уничтожением человечества как вида? В статье предлагается математическая модель, включающая параметры ускорения экономического роста, увеличения продолжительности жизни и риск уничтожения человечества сверхсильным ИИ. Этически неоднозначной статью делает утверждение, что существует и может быть теоретически оценен уровень риска для человечества, который "допускается принять" в обмен на ускорение экономического роста и увеличение средней продолжительности жизни...

Кроме того, текст и формулы снабжены комментариями @avshkol для помощи в понимании формул и части сложных мест работы, а также критическими комментариями @avshkol там, где предположения и выводы, сделанные в модели, заслуживают критики или иного взгляда (см. заключительный комментарий).

Почему одинаковые данные могут давать разные p-value? На простом примере с монетой разбираю, как правило остановки меняет частотный вывод, а затем связываю это с подглядыванием в A/B-тесты и повторными проверками значимости. Заодно становится понятнее, что именно ломается при peeking и почему проблема не в самом просмотре данных, а в том, как промежуточные результаты влияют на решение остановить эксперимент.

Если одна половина бивекторного сектора четырёхмерного евклидова прото-пространства получает прочтение наблюдаемого пространства, может ли вторая половина естественно нести спинорную структуру – и откуда тогда берётся характерный для половинного спина возврат только после поворота на ?

Итан Сигел (американский астрофизик‑теоретик и научный журналист, автор рубрики «Спросите Итана», один из пропагандистов современных научных знаний), предлагает свой взгляд на возможность существования белых дыр.

@avshkol перевёл эту статью, поскольку всем нам кажется каким-то куцым тот объем знаний о Вселенной, который мы имеем в настоящий момент: ни тебе червоточин, ни перехода в другие измерения, ни возможности путешествовать быстрее скорости света... И в этом ряду стоят белые дыры, противоположность чёрных. Существование чёрных дыр так же было математически доказано, но обнаружены они были по историческим меркам буквально вчера... А что же белые? Ведь они тоже не противоречат математике ОТО, но противоречат ли они физической реальности?..

А задумывались ли вы, почему вооон тот водитель, который объехал вас шашечками по соседней полосе, не прав? С 50-х годов прошлого века об этом много кто размышлял и даже кое-что посчитал. Только начиналось все не с нейросетей и не с анализа миллионов записей с GPS. 

Предлагаю посмотреть на этот вопрос со стороны истории науки. В этой статье пройдемся по тому, с чего начали в описании автомобильного потока, как догадались, что пробки возникают не только из-за аварий и когда ввели в математическую модель “личность” водителя. Пройдемся по результатам вычислений, к которым удалось прийти задолго до появления машинного обучения.

Итан Сигел (американский астрофизик‑теоретик и научный журналист, автор рубрики «Спросите Итана», один из пропагандистов современных научных знаний), излагает своё мнение о том, реально ли время, существует ли оно физически, или это наблюдаемая нами иллюзия?

@avshkol перевёл эту весьма дискуссионную статью, поскольку природа времени — один из не до конца выясненных вопросов в современной физике. Статья отражает взгляд физика со стороны макровселенной, астрофизики, космологии.

Добрый день, уважаемый читатель. Как и в других моих статьях, я решил в чем-то разобраться полностью с нуля.

В далеком 2017 году мне передали SD-карту памяти с диагнозом «сломана пополам, вдруг получится что-то с нее считать». Я честно пробовал: восстановил все оборванные дорожки, досконально проверил все соединения и на целостность линий, и на отсутствие замыканий. Положительного результата не получил – карта определялась, но с нулевым объемом. По этой причине она отправилась в ящик ждать «лучших времен».

Прошло 9 лет. В результате очередной уборки-инвентаризации, в ящике нашел эту старую карточку. Вот и настали «лучшие времена», подумал я.

В статье расскажу про микросхему памяти, как определял её адресное пространство, снимал полный дамп подручными средствами (STM32), как определял комбинацию блоков для построения образа, а также про поля Галуа, помехоустойчивое кодирование, вычисление синдромов и локаторов ошибок.

Спойлер - всё получилось.

Даже идеальная модель с бесконечным объемом текста не восстановит ту часть смысла, которая никогда не была закодирована в языковой форме.

Представьте фразу в рабочем чате: «он снова упал». «Он» может означать сервер, сервис, тестовый стенд или процесс сборки. Люди восстанавливают смысл по предыдущим сообщениям и общей ситуации. В самой фразе объекта нет, и без контекста она вообще ничего не сообщает.

Можно ли восстановить смысл, вложенный человеком в фразу, если у нас есть только сама фраза? И изменится ли ответ, если вместо человека будет языковая модель, обученная на триллионах токенов?

Во второй части серии разбираем, где проходят ограничения ИИ и почему технически корректное решение может не решить исходную бизнес-задачу. Требования бывают неполными, цели противоречат друг другу, а контекст меняется уже по ходу работы.

🔎 Внутри: ограничения формального вывода, теорема Гёделя, постановка задачи, неполные требования, критерии успеха, ошибки в исходных предпосылках и вопрос, который приходится задавать ещё до поиска решения: какую проблему мы вообще решаем?

Заходите и делитесь в комментариях, где в вашей работе сложнее всего правильно поставить задачу для ИИ

Итан Сигел (американский астрофизик‑теоретик и научный журналист, автор рубрики «Спросите Итана», один из пропагандистов современных научных знаний), рассказывает удивительную историю Эйнштейна, который не показывал никаких успехов, по мнению его самого известного учителя, Германа Минковского. Но в итоге сам Минковский во многом стал известен именно благодаря Эйнштейну...

@avshkol перевёл эту статью, поскольку рассуждения о том бы ли Эйнштейн гением, не был ли, списал ли он свою теорию у более известных математиков, или сформулировал сам, постоянно возникают в интернет-дискуссиях. Статья показывает, какой сложный путь прошёл Эйнштейн, благодаря своему упорству, умению увидеть физическую природу явлений и облечь свои идеи в математическую форму (да, не без помощи своих коллег-профессиональных математиков).

Не так давно группа лауретов премии Филдса (математический анализ Нобеля) написали открытое обращение по поводу опасности решений математических задач, генерируемых ИИ.

Судя по комментариям к этой новости, многие ее поняли превратно — типа маститые математики опасаются конкуренции, и что их заменят роботы. Хотя подобные страхи имеют место быть, однако основное опасение не в этом. Решения от ИИ являются ущербными с точки зрения математиков... но почему?

Данная статья разбирает, что не так с доказательствами, полученными машиной (на самом деле все так, то есть в этих доказательств чаще всего нет логических ошибок), и чем именно они уступают доказательствам, придуманным людьми.