Анализ Gaia DR3 — комбинированная версия

Введение

Gaia — это космическая обсерватория Европейского космического агентства (ESA), запущенная в декабре 2013 года. Основная цель миссии — максимально точно измерить положения, расстояния и движения звёзд в нашей Галактике. Фактически Gaia создаёт трёхмерную карту Млечного Пути.

К январю 2025 года научная программа миссии была завершена. За это время Gaia выполнила несколько релизов данных, крупнейшим из которых на данный момент является Gaia Data Release 3 (DR3). Этот релиз содержит информацию примерно о 1,8 миллиарда астрономических объектов, а общий объём «сырых» данных превышает 2 петабайта.

Работа с такими объёмами информации — типичная задача анализа больших данных. В этом проекте показано, как можно:

массово выгружать данные Gaia с учётом ограничен��й API,
обрабатывать десятки миллионов записей,
строить ключевые астрономические распределения,
анализировать точность измерений и наблюдательные эффекты.

Проект выполнен в рамках курсовой работы по дисциплине «Наука о данных и аналитика больших объёмов информации».

Цель и задачи проекта

Цель

Провести комплексный анализ звёздного населения Млечного Пути на основе данных Gaia DR3, применяя методы анализа больших данных и научного программирования.

Основные задачи

Построить распределение звёзд по расстояниям, вычисленным из параллаксов.
Проанализировать количество наблюдений:
- число периодов видимости (visibility_periods_used);
- количество транзитов (astrometric_matched_transits).
Исследовать распределения звёзд по видимой звёздной величине в диапазонах:
- G (широкий оптический),
- BP (синий),
- RP (красный).
Построить карту распределения звёзд на небесной сфере:
- в экваториальной системе координат,
- в галактической системе координат.
Проанализировать собственные движения звёзд.
Построить диаграмму Герцшпрунга–Рассела.
Провести статистический анализ погрешностей астрометрических измерений.

Какие данные использовались

Источник данных

Использовалась основная таблица gaia_source из релиза Gaia DR3.

Основные параметры (поля)

parallax — параллакс (mas),
visibility_periods_used — число периодов видимости,
astrometric_matched_transits — число транзитов,
phot_g_mean_mag — звёздная величина в G,
phot_bp_mean_mag — звёздная величина в BP,
phot_rp_mean_mag — звёздная величина в RP,
ra, dec — координаты (ICRS),
pmra, pmdec — собственные движения,
bp_rp — цветовой индекс,
azero_gspphot — межзвёздное поглощение (оценка).

Масштаб данных

Полный каталог Gaia DR3: ~1,8 млрд объектов, ~2 ПБ данных.
Подвыборка для проекта: 82,6 млн объектов, общий объём выборки ~~35,6 ГБ данных~~ (после фильтрации объём данных уменьшен).

Сокращение объёма достигалось за счёт фильтрации:

удаление объектов с пропущенными значениями,
ограничение относительной ошибки параллакса,
фильтры качества фотометрии �� астрометрии.

Как выгружались данные: распределённая архитектура

Проблема

API Gaia накладывает ограничения:

максимум 3 млн строк за один асинхронный запрос,
2 ГБ данных на запрос,
ограничение по времени выполнения.

Выгрузить десятки миллионов объектов «одним запросом» невозможно.

Решение

Реализована распределённая загрузка по Map/Reduce:

Каталог разбивается по random_index на 100 фрагментов.
Каждый из 4 ноутбуков получает свой набор диапазонов.
Уменьшается нагрузка на API и достигается параллельная выгрузка.

Ключевая идея: в Gaia DR3 поле random_index — равномерно распределённый целочисленный ключ, что позволяет разбить каталог на равные части и равномерно распределить работу между узлами.

Формулы разбиения

Для каждого узла вычислялись границы диапазонов:

$\text{start}_k = \left\lfloor \frac{i + \text{nodeId} \cdot \text{numParts}} {\text{totalNodes} \cdot \text{numParts}} \cdot \text{totalRecords} \right\rfloor$ $\text{end}_k = \left\lfloor \frac{i + \text{nodeId} \cdot \text{numParts} + 1} {\text{totalNodes} \cdot \text{numParts}} \cdot \text{totalRecords} \right\rfloor - 1$

Где:

totalRecords = 1 811 709 771,
totalNodes = 4,
numParts = 25 (в сумме 4·25 = 100 фрагментов).

Производительность (пример)

Параметр	Значение
Общее время	~16 часов
Время на узел	~4 часа
Объём данных	~8.9 ГБ на узел
Всего записей	~82.6 млн

Ускорение

$S = \frac{T_1}{T_n} = \frac{64}{16} \approx 4.0$

Практически линейное масштабирование.

Выгрузка:

Распределение звёзд по расстояниям

Как считалось расстояние

Расстояние вычислялось из параллакса:

$r\,[\text{пк}] = \frac{1000}{\varpi\,[\text{mas}]}$

Использовались только объекты с положительным параллаксом и относительной ошибкой $\sigma_\varpi/\varpi \le 0.2$ .

Что получилось

Число звёзд резко падает с ростом расстояния.
После примерно 2 кпк каталог становится неполным. Важно: это не реальное уменьшение плотности, а наблюдательный эффект — далёкие звёзды слишком слабы и не попадают в выборку.

Гистограммы распределения:

Линейная шкала:

Логарифмическая шкала:

Количество наблюдений

Распределение по числу периодов видимости и транзитов.

Основные параметры

visibility_periods_used — число периодов видимости,
astrometric_matched_transits — число транзитов.

Результаты

Большинство звёзд имеют 20–30 периодов видимости.
Количество транзитов для значительной доли объектов достигает сотен наблюдений, что повышает надёжность астрометрических решений для основной массы объектов.

Фотометрия: распределение по звёздной величине

Диапазоны

G — основной (пик чувствительности около 564 нм),
BP — синий (≈445 нм),
RP — красный (≈658 нм).

Основные выводы

Максимум распределения: G ≈ 14–16.
Предельные величины (приблизительно):
- G ≈ 19,
- BP ≈ 21.5,
- RP ≈ 18.

Различия объясняются чувствительностью детекторов и особенностями обработки фотометрии.

Графики:

Карта неба в галактических координатах

При переходе к галактической системе координат чётко видна:

полоса Млечного Пути,
высокая плотность в направлении галактического центра,
разреженность у галактических полюсов.

Это подтверждает корректность данных и однородность покрытия неба.

Собственные движения

Анализ

Построена диаграмма pmra vs pmdec.

Что видно

Большинство звёзд сосредоточены около (0, 0).
Основная масса имеет mas/год.
Есть редкие объекты с большими собственными движениями — обычно близкие звёзды.

Диаграмма Герцшпрунга–Рассела

Формула абсолютной величины:

$M_G = m_G + 5\log_{10}\left(\frac{\varpi}{1000}\right) + 5$

Оси диаграммы

X: цвет BP–RP,
Y: абсолютная величина .

Что выделяется

Главная последовательность,
Красные гиганты,
Белые карлики.

Диаграмма получилась «чистой» благодаря строгим фильтрам качества.

Анализ погрешностей измерений

Что анализировалось

ошибки параллакса,
ошибки координат (RA, Dec),
ошибки собс��венных движений (pmra, pmdec).

Наблюдаемые эффекты

Медианные ошибки уменьшаются с ростом расстояния — неожиданный на первый взгляд результат.

Почему так происходит

Это эффект селекции:

применялся строгий фильтр качества (например, $\\varpi / \\sigma_\\varpi > 10$ или $\\sigma_\\varpi / \\varpi \\le 0.2$ ),
на больших расстояниях остаются только объекты с очень точными измерениями, поэтому медиана ошибок среди оставшихся объектов оказывается меньше.

Важно учитывать этот эффект при интерпретации статистики: видимое улучшение погрешностей при отдалении — это не признак роста качества измерений во всём каталоге, а результат отбора.

Графики ошибок и их агрегированные представления:

Итоговые выводы

Обработано 82,6 млн объектов Gaia DR3.
Реализована эффективная распределённая загрузка данных (Map/Reduce на основе random_index).
Построены ключевые распределения: расстояния, фотометрия, собственные движения, HR‑диаграмма.
Подтверждены наблюдательные и селекционные эффекты (включая эффект уменьшения медианных ошибок на больших расстояниях из-за отбора).
Проект демонстрирует, что даже на обычных ноутбуках можно работать с десятками миллионов астрономических объектов — при правильной архитектуре и подходе.

Исходный код проекта

Масштабный анализ данных астрометрического обзора Gaia DR3