Search
Write a publication
Pull to refresh
40
0
sysprg @sysprg

User

Send message

Почему Trino такой быстрый: динамические фильтры

Reading time8 min
Views4.7K

Принцип большинства оптимизаций производительности в аналитических SQL-движках — ответить на запрос пользователя, затратив минимум вычислительных ресурсов. Динамические фильтры — это оптимизация, которая создает дополнительный предикат для одной из сторон оператора Join на основе данных другой стороны.

Так как аналитические запросы часто содержат операции Join и сканируют таблицы большого размера, наличие динамических фильтров позволяет существенно сократить объем обрабатываемой информации, а значит повысить производительность.

Рассмотрим реализацию динамических фильтров на примере Trino.

Узнать, как работают динамические фильтры

Знакомство с частотными фильтрами. Часть 2: раскошелиться и поднять селективность

Level of difficultyMedium
Reading time7 min
Views30K

В предыдущей части мы познакомились с базовыми понятиями, характеристиками и видами фильтров. И даже собрали простой фильтр Чебышева пятого порядка за 50 рублей. Но в статье почти ничего не было сказано про активные фильтры. Самое время это исправить!

Чем пассивные фильтры отличаются от активных? Как собрать схему по топологии Саллена-Ки? Если вам интересно узнать ответы на эти вопросы, добро пожаловать под кат.
Читать дальше →

Кратковременные лунные явления. Что это такое и легко ли поймать их

Level of difficultyMedium
Reading time14 min
Views9.8K

Луна — первый астрономический объект, с которым встречаются люди. Если, конечно, не считать Землю и Солнце. Когда начинающий любитель астрономии получает в руки телескоп или бинокль, то сразу начинает искать Луну.

Взгляд на спутник Земли всегда впечатляет публику. Огромная и рельефная, с множеством кратеров и горных цепей — она выглядит совсем не похожей на то желтоватое пятно, которое мы привыкли видеть невооружённым глазом.

Рельеф Луны в первое время нравится всякому, кто наблюдает за ней, ведь на протяжении месяца по её поверхности медленно ползёт земная тень. На линии терминатора, находящейся между светлой и затемнённой стороной, контрастируют мелкие детали рельефа.

Тем не менее рано или поздно астроном-любитель захочет большего. Этим большим становятся газовые гиганты: Юпитер с барашками облаков, кольца Сатурна, далёкий и блеклый Уран, красноватый диск Марса или венерианский серп. Все это заставляет позабыть о Луне.

Дальше любители прокачивают навыки ориентации по звёздному небу или покупают монтировку с системой автонаведения. 

Читать далее

Дзета Змееносца — Саик

Level of difficultyMedium
Reading time11 min
Views3.5K
Ты не заблудился в лабиринтах Мультивселенной, пока ты видишь эту звезду


Район звезды Дзета Змееносца. Автор астрофотоснимка: Chrisl

Невозможно объять необъятное. Рассказ о звездах можно продолжать бесконечно — даже после того, как во Вселенной отгорят все звёзды… а такое возможно? — этого никто не знает, ведь прогнозирование на столь долгий срок вряд ли имеет отношение к реальности, особенно когда все больше появляется предположений, что реальность, которую мы осознаем, не одинока, и в соседних “пространствах-временах” события, первоначально схожие с нашими, могут развиваться совершенно иначе.
Читать дальше →

«Роман»: что будет после «Джеймса Уэбба»?

Level of difficultyEasy
Reading time21 min
Views13K


На орбите Земли продолжает работать космический телескоп «Хаббл». Запустили аппарат в 1990 году, а чтобы это случилось, с 1970-х отбирали предложения, пытались выбить финансирование, проектировали, строили и готовили программу исследований. Аналогичным образом о телескопе «Джеймс Уэбб» начали всерьёз задумываться в конце восьмидесятых, его разработка шла десятилетия, увенчавшись запуском лишь в 2021 году.

Замена «Уэббу» готовится прямо сейчас. Возможно понять, какой будет следующая космическая обсерватория такого размаха. Железобетонно зафиксированы требования к проекту, выданы контракты на разработку инструментов, ещё на начальных этапах планирования показали симуляцию снимков с телескопа. Есть даже обещанные сроки запуска. Кажется, что мы можем заглянуть в будущее.
Читать дальше →

Панспермия начинается в звёздных яслях

Reading time9 min
Views7.4K

Гипотеза панспермии (хаотичное распространение жизни во Вселенной в результате переноса биомолекул с одной планеты на другую) была впервые сформулирована в 1865 году немецким учёным Германом Рихтером, но отношение к ней до сих пор немного снисходительное. Действительно, Рихтер бездоказательно (чисто логически) расширил таким образом теорию эволюции Чарльза Дарвина, которой весьма интересовался. Может показаться, что гипотеза панспермии — это уход от ответа, переносящий происхождение жизни «куда-то ещё». Тем не менее, поиски обоснования панспермии позволили убедиться, что органика (вплоть до аминокислот) во Вселенной достаточно распространена. Особый интерес в качестве межзвёздных резерватов органики представляют экзотические кометы, а также теплые протопланетные облака, именуемые «звёздными яслями».

Читать далее

Micromouse — а ваша робомышь пройдёт лабиринт?

Level of difficultyEasy
Reading time3 min
Views8.5K

Возможно, вы слышали про Micromouse — конкурс для маленьких роботов-мышей, которые должны быстрее всех найти путь в центр лабиринта. Лабиринт не очень большой, его размер 32х32 квадрата (раньше было 16x16) с длиной грани 9 см. Высота стенок каждой ячейки 2,5 см, толщина — 0,6 см.

Если не слышали, Cloud4Y предлагает узнать чуть больше об этом увлекательном (без шуток!) хобби.

Читать далее

Глубокое погружение в LSM-дерево

Reading time6 min
Views13K

С увеличением спроса на операции, которые требуют больших объемов записи, традиционные базы данных, использующие B-дерево, становятся узким местом, поскольку обновление записей в b-дереве приводит к многочисленным беспорядочным операциям ввода-вывода (IO) и обновлению нескольких страниц на диске. B-дерево очень хорошо подходит для "тяжелых" операций чтения. Для операций с большими объемами записи у нас есть LSM-дерево.

Давайте попробуем понять, что такое LSM-дерево, как оно работает на самом деле.

Читать далее

Поговорим об оптимизирующих компиляторах. Сказ второй: Доминирование

Level of difficultyMedium
Reading time10 min
Views10K

Сегодня мы продолжаем наш разговор об оптимизирующих компиляторах для самых маленьких и не очень. Для тех, кто пока не в курсе происходящего, но желает приобщиться - я поставил себе задачу написать цикл вводных статей в эту область для совсем-совсем начинающих. Первую часть, где рассказывается об SSA-форме, можно и нужно прочитать здесь.

Сегодня мы поговорим о доминировании. Это одна из фундаментальных вещей, на которых стоит как теория компиляторов вообще, так и многие компиляторные оптимизации в частности. Пристегните ремни и запишите стоп-слово на бумажке, чтобы не забыть.

Причаститься

Как я секреты римской брони в лаборатории разгадывал

Reading time10 min
Views15K

Салют. За время изучения римской брони, у меня осталось несколько зависших в воздухе вопросов. Поскольку ответить на них могла лишь экспериментальная археология, то я пошел по пути изготовления "аналогов" доспехов и их последующего тестирования в лаборатории. Вся история мучений на этом пути, а также что показали испытания в материале ниже.

Год назад в своей статье «Римские и средневековые доспехи. Что лучше?» в качестве одного из параметров сравнения я использовал ударную вязкость. Чтобы понимать, как работает связка свойств – твердость/ударная вязкость в доспехах, представьте себе пластилин и стекло. Если давить пальцем на стекло, то оно будет какое-то время сопротивляться вашему нажиму, но с определенного уровня – трескаться и рассыпаться. Пластилин, напротив, будет тянуться, не давая проникнуть «за». Для доспехов в идеале должны работать оба свойства, но поскольку они противоположны, то на практике нужен компромисс.

Готовы?

Я написал одну из самых быстрых библиотек датафреймов

Level of difficultyHard
Reading time9 min
Views11K
image

1. Вступление


У меня в портфолио есть несколько готовых пет-проектов на Rust, и я заметил, что позиция «а у нас уже получилась DataFrame?» нисколько меня не устраивает. Поэтому я подумал, не сделать ли мне элементарный контейнер, который решал бы мою конкретную задачу. Но этот проект вышел из-под контроля.

Год спустя, написав немало кода, я создал одну из самых быстрых библиотек датафреймов, применимую в Rust и Python. Вот мой первый официальный «Hello World» на polars, размещённый у меня в блоге. Надеюсь, что с помощью этого поста я смогу пояснить читателю некоторые решения, которые мне довелось принять при проектировании, и вам станет понятнее, как Polars работает под капотом.
Читать дальше →

Палеоастрономия: как астрофизики используют свет и гравитационные волны для изучения происхождения нейтронных звёзд

Reading time4 min
Views2K

У археологов, палеоантропологов, палеонтологов и других специалистов, работа которых связана с изучением истории происхождения жизни на Земле, предков человека и нашей собственной цивилизации, есть множество вспомогательных инструментов. Но что делать астрономам, которые изучают историю происхождения самой Вселенной? Объекты, которые они исследуют, чаще всего нельзя потрогать, рассмотреть с разных сторон или хотя бы прибыть на место обнаружения для дальнейшего изучения.

В этом случае задействуются «инструменты», предоставленные самой Вселенной, включая свет и гравитационные волны. Именно с их помощью удалось восстановить историю «жизни» двух слившихся нейтронных звёзд, обнаруженных астрофизиками в 2017 году в далёкой-далёкой галактике NGC 4993. Подробности — под катом.

Читать далее

Слияние нейтронных звёзд поставило крест на альтернативах тёмной материи и тёмной энергии

Reading time6 min
Views61K

В последние моменты слияния две нейтронные звезды не просто испускают гравитационные волны – происходит взрыв катастрофической мощности, отзывающийся по всему электромагнитному спектру. Разница во времени прибытия между светом и гравитационными волнами позволяет нам многое узнать о Вселенной

Спросите астрофизика о величайшей загадке Вселенной на сегодня – и два наиболее частых ответа будут «тёмная материя» и «тёмная энергия». То, из чего состоит всё на нашей Земле, атомы, которые в свою очередь состоят из фундаментальных частиц, составляют лишь 5% бюджета космической энергии. И либо 95% энергии Вселенной содержится в двух этих формах, в форме тёмной материи и тёмной энергии, которые по сию пору не наблюдались напрямую, либо с нашим представлением о Вселенной что-то кардинально не так. Альтернативы этим теориям исследовали достаточно долго, и различные их варианты проводили к немного различным физическим последствиям. После того, как мы впервые пронаблюдали слияние нейтронных звёзд и приняли сигналы в виде гравитационных волн и света довольно широкого спектра, огромная часть этих альтернатив была отвергнута. Тёмная материя и тёмная энергия выдержали проверку экспериментом.
Читать дальше →

Слияние двух белых карликов может закончиться появлением новой нейтронной звезды

Reading time2 min
Views7.2K


Слияние двух белых карликов приводит в образованию новой нейтронной звезды. Слияние между астрономическими телами происходит именно сейчас. Конечно, возможно, что столкновение между двумя звездами приведет к мощному взрыву. И, по крайней мере, до сих пор было трудно ответить на вопрос, что происходит, когда две звезды сталкиваются: они взрываются или происходит что то другое? Наблюдение за большим белым карликом, который, по-видимому, был продуктом двух малых белых карликов, может поддержать «что то другое».
Читать дальше →

Спросите Итана: почему свет прибыл на 1,7 секунды позже гравитационных волн при слиянии нейтронных звёзд?

Reading time6 min
Views23K


Слияние двух нейтронных звёзд в представлении художника. Искажения решётки пространства-времени изображают гравитационные волны, испущенные при столкновении, а узкие лучи – это джеты гамма-излучения, выстреливающие через несколько секунд после гравитационных волн (астрономы видят их как вспышки гамма-лучей)

17 августа, после путешествия длительностью в 130 млн лет, сигнал в виде гравитационных волн от двух нейтронных звёзд, двигавшихся навстречу друг другу по спирали на последних этапах слияния, прибыл на Землю. После столкновения поверхностей двух звёзд сигнал резко завершился, и наступила тишина. И хотя эти останки звёзд диаметром, возможно, всего в 20 км, двигались со скоростью порядка 30% от световой, сразу после столкновения мы не увидели ничего. И только 1,7 с спустя прибыл первый сигнал: свет в виде гамма-лучей. Откуда задержка? Отличный вопрос, заданный нашим читателем:
Давайте обсудим важность разницы в 1,7 с между временем прибытия гравитационных волн и вспышки гамма-лучей во время последнего события с нейтронными звёздами.
Давайте посмотрим, что мы увидели, и попробуем понять, откуда берётся эта задержка.

Впервые зарегистрированы гравитационные волны от слияния нейтронных звезд — и свет от них

Reading time10 min
Views29K
Коллаборация LIGO-Virgo вместе с астрономами из 70 обсерваторий объявила сегодня о наблюдении слияния двух нейтронных звезд в гравитационном и электромагнитном диапазонах: увидели гамма-всплеск, а также рентгеновское, ультрафиолетовое, видимое, инфракрасное и радио излучение.


Иллюстрация столкновения нейтронных звезд. Узкий выброс по диагонали — поток гамма-лучей. Светящееся облако вокруг звезд — источник видимого света, который наблюдали телескопы после слияния. Credit: NSF/LIGO/Sonoma State University/Aurore Simonnet

Нейтронные звезды, самые маленькие и плотные из всех звезд, образуются при взрыве сверхновой. Когда две нейтронные звезды образуются в паре, они вращаются друг вокруг друга, и постепенно теряют энергию, сближаясь и излучая гравитационные волны, пока наконец не сталкиваются. Такое столкновение и наблюдали телескопы LIGO, а через две секунды после — гамма-вслеск достиг космического телескопа Ферми, и в последующие дни и недели астрономы могли наблюдать событие в других электромагнитных диапазонах.

Впервые гравитационные волны были зарегистрированы два года назад — от слияния черных дыр. С тех пор еще три сигнала от черных дыр были приняты детекторами, последний — всего за три дня до этого события.

Под катом — о сигнале и открытиях, с ним связанных: точной оценке на скорость гравитационных волн, независимой оценке на постоянную Хаббла и новых данных по физике нейтронных звезд.

UPD Краткое изложение главной статьи о детектировании ГВ на русском — здесь.

Спросите Итана №79: самая маленькая нейтронная звезда

Reading time5 min
Views30K
Что будет, если отломить кусочек от нейтронной звезды?

Представьте, каково это, заснуть и не проснуться… А теперь представьте, каково это, проснуться, если ты не засыпал.
— Алан Уоттс


Иногда самые интересные эксперименты в физике можно проделывать только в своём воображении. Несмотря на физические ограничения, не позволяющие нам отправиться куда угодно, разрезать и детально изучить любой интересующий нас объект Вселенной, наше понимание материи – во всех её проявлениях – и законов, управляющих ею, продвинулось достаточно далеко.



На этой неделе мне сложно было выбрать самый интересный вопрос, но я остановился на этом взрывающем мозг вопросе от Руи Карвалхо, который звучит так:
Если бы мы отломили кусочек нейтронной звезды (кубический сантиметр) и удалили бы его от неё, что бы с ним случилось?


Что же это за звёзды такие – нейтронные?
Читать дальше →

Мягкая или твёрдая? Спор о том, что находится внутри нейтронной звезды

Reading time9 min
Views29K

Ядро нейтронной звезды находится в таком экстремальном состоянии, что физики не могут договориться о том, что происходит внутри неё. Но новый космический эксперимент — и несколько сталкивающихся нейтронных звёзд — должны показать, могут ли ломаться нейтроны




Предупреждения начали приходить рано утром 17 августа. Гравитационные волны, порождённые столкновением двух нейтронных звёзд — плотных ядер умерших звёзд — омывали Землю. Более 1000 физиков обсерватории aLIGO (Advanced Laser Interferometer Gravitational-Wave Observatory — лазерно-интерферометрическая гравитационно-волновая обсерватория) поспешили расшифровать вибрации пространства-времени, прокатившиеся по детекторам подобно долгому раскату грома. Тысячи астрономов боролись за право стать свидетелями послесвечения. Однако официально весь этот переполох держался в секрете. Нужно было собирать данные и писать научные работы. Внешний мир не должен был узнать об этом ещё два месяца.

Этот строгий запрет поставил Джоселин Рид и Катерино Чатциоаноу, двух членов коллаборации LIGO, в неловкое положение. Днём 17 числа они должны были вести конференцию, посвящённую вопросу о том, что происходит в невообразимых условиях внутренностей нейтронной звезды. А их темой как раз было то, как должно происходить слияние двух нейтронных звёзд. «Мы вышли на перерыв, сели и уставились друг на друга, — говорит Рид, профессор Калифорнийского университета в Фуллертоне. — Так как же мы это сделаем?»
Читать дальше →

Нейтронные звёзды — насколько они нейтронные?

Level of difficultyMedium
Reading time18 min
Views19K

Salutations!

Нейтронные звёзды – одни из экстримальнейших и интереснейших объектов во вселенной физику которых, основываясь на современном уровне развития науки, мы можем частично осознать и объяснить. На палитру их свойств нанесены необычные краски: нуклеосинтез тяжелейших существующих элементов в природе, сверхпроводимость, сверхтекучесть и множество интересных вещей, связанных с очень быстрым вращением этих объектов.

Можно ли объять необъятное и что для этого нужно?

Попробовать объять..

«Может ли нейтрон быть кубической формы?» — задумался я…

Reading time4 min
Views4.8K
А потом я задумался, что такое "формы"?

А потом — что такое "быть"?

image


Волновая функция, которая интерполирует между сферой (для N = 2) и кубом (при N → ∞) для N = 2, 4, 8, 12

Нейтронные звезды могут придавать нейтронам кубическую форму

Wired, 16 августа 2011 года

Гравитация и высокая плотность внутри взрывающихся звезд могут заставлять нейтроны менять форму со сферической на кубическую.

Эта идея может означать, что нейтронные звезды (так исследователи называют звездные «трупы») плотнее, чем кто-либо предполагал. Также может возникнуть вопрос – что может предотвратить их превращение в черные дыры и полное исчезновение?

«Если принять этот результат за чистую монету, это означает, что теоретики в области нейтронных звезд попали в беду». [Нейтронные звезды] должны превращаться в черные дыры при меньших массах", — сказал физик-теоретик Фелипе Хосе Ланес-Эстрада из Мадридского университета Комплутенсе, соавтор исследования, опубликованного 9 августа на сайте с препринтами arXiv.

«Но мы этого не наблюдаем. Возможно, существует дополнительное взаимодействие [между нейтронами], которое может противостоять распаду. Взаимодействие, о котором мы еще даже не задумывались», – сказал он.
Читать дальше →

Information

Rating
Does not participate
Date of birth
Registered
Activity