В мире криптовалют анонимность и безопасность являются ключевыми элементами. Когда речь идет о крипто-свапалках, эффективность обработки данных в реальном времени играет решающую роль для обеспечения высокого качества сервиса. В этой статье расскажем, как мы реализовали масштабируемую архитектуру для обработки данных на платформе risetocrypto с использованием передовых технологий.

Какие данные обрабатываются в крипто-свапалке?

Основными типами данных, которые мы обрабатываем в нашей крипто-свапалке, являются:

Ончейн-транзакции
Мы следим за транзакциями, происходящими в различных блокчейнах, таких как Ethereum, Binance Smart Chain (BSC), Tron и других популярных платформах.
Важные параметры:
- Transaction hash (уникальный идентификатор транзакции)
- Block number (номер блока, в котором произошла транзакция)
- From / To addresses (адреса отправителя и получателя)
- Amount / Token (сумма и тип токена)
- Gas used / Gas price (затраты на газ и его цена)
Метаданные свапов
Дополнительно к транзакционным данным мы сохраняем метаданные свапов:
- Время свапа (timestamp)
- Объем свапа
- Адреса вовлеченные в свап (особенно для анонимных транзакций)
- Типы токенов и их пары (например, USDT/ETH или ETH/BTC)
Потоки WebSocket / REST от блокчейн-ноды
Для получения обновлений в реальном времени мы используем WebSocket и REST API от блокчейн-нод. Эти каналы данных обеспечивают нас информацией о новых транзакциях, блоках и событиях, происходящих на блокчейне. Мы подписываемся на:
- New block notifications (уведомления о новых блоках)
- New transaction notifications (уведомления о новых транзакциях)
- Token transfer events (события перевода токенов)

Эти потоки позволяют нам получать свежую информацию в реальном времени, что критично для работы крипто-свапалок.

Как обрабатываются данные в real-time?

Kafka / Pulsar для ingestion
Для того чтобы эффективно и без задержек загружать данные, мы используем Apache Kafka и Apache Pulsar. Эти системы позволяют нам:
- Работать с потоками данных в реальном времени.
- Масштабировать систему по мере роста объема данных.
- Гарантировать надежную доставку сообщений с минимальными задержками.

Kafka и Pulsar обеспечивают нас стабильными очередями, что особенно важно для обработки огромных потоков данных, поступающих с блокчейн-нод. Мы использовали Kafka Streams для обработки потоков данных в реальном времени, что позволило ускорить и упростить трансформацию и агрегацию данных.

Apache Flink / Spark Streaming для трансформаций
После того как данные поступают в нашу систему, их нужно трансформировать для анализа. Мы применяем Apache Flink и Apache Spark Streaming для обработки данных в реальном времени:
- Агрегация данных: мы собираем информацию о токенах и их парах, вычисляем общие объемы торгов, среднюю цену и ликвидность.
- Фильтрация: отсекаем неважные транзакции или данные с ошибками.
- Применение бизнес-логики: например, вычисляем slippage, отслеживаем аномальные транзакции.

В Flink мы пишем сложные пользовательские функции (UDF), которые применяются к потоку данных для расчета необходимых метрик.

ClickHouse / Druid / BigQuery как витрина аналитики
Для хранения и анализа данных мы используем ClickHouse, Druid и BigQuery. Эти системы позволяют быстро обрабатывать и анализировать огромные объемы данных, предоставляя нам мощные инструменты для создания витрин данных и формирования отчетности по состоянию на текущий момент.

С этими хранилищами мы обеспечиваем высокую скорость обработки запросов, что важно для мониторинга системы и анализа поведения пользователей.

Как используется big data для:

Выявления подозрительных транзакций

Мы используем машинное обучение и анализ больших данных для выявления аномальных или подозрительных транзакций. Применяем следующие подходы:
- Анализ адресов: вычисляем, какой процент транзакций с определенного адреса является аномальным (например, если адрес регулярно участвует в торгах с нестандартными объемами).
- Частота транзакций: анализируем частоту транзакций с разных адресов и создаем «нормальные» шаблоны активности, чтобы выявлять аномалии.
- Корреляции между адресами: создаем графы связей между адресами и ищем аномальные взаимосвязи, которые могут указывать на мошеннические схемы.
Мониторинг ликвидности и slippage

Мониторинг ликвидности проводится с использованием данных о текущем объеме торгов на платформе и в блокчейне. Мы отслеживаем:
- Изменение ликвидности: если ликвидность начинает падать, это может указывать на риски для платформы.
- Slippage: с помощью алгоритмов мы отслеживаем отклонения между ожидаемой и фактической ценой исполнения ордеров. Это критично для обеспечения стабильных торговых условий.
Предсказания скачков объемов или бот-активности

Для предсказания резких скачков объемов мы строим прогнозные модели с использованием исторических данных. Эти модели помогают нам:
- Предсказать возможные изменения объема торгов на платформе, что позволяет заранее подготовить систему.
- Обнаружить активность торговых ботов. Мы анализируем паттерны, которые характерны для ботов, такие как высокочастотные транзакции, большие объемы и определенные временные интервалы.

Архитектура пайплайна обработки данных:

Для лучшего понимания, как именно мы строим пайплайн, представим его в виде схемы:

plaintextКопировать+-------------------+           +-----------------+            +-------------------------+
|  Блокчейн-нод     |           |  Потоки WebSocket|            |   Потоки REST API        |
|  (Ethereum, BSC,   | --------> |  / REST API      | ---------> |  (Новые транзакции и     |
|  Tron и др.)       |           |  (Получение данных о   |       |   события с блокчейна)   |
+-------------------+           |  блоках и транзакциях)  |       +-------------------------+
                                +-----------------+          
                                      |
                                      v
                                +-----------------+
                                |  Kafka / Pulsar |
                                | (Ingestion,     |
                                |  доставка данных)|
                                +-----------------+
                                      |
                                      v
                         +-------------------------------+
                         |     Apache Flink / Spark      |
                         | (Обработка данных в реальном |
                         |  времени, трансформация)     |
                         +-------------------------------+
                                      |
                                      v
                   +------------------------------------------+
                   |    ClickHouse / Druid / BigQuery       |
                   | (Хранение, анализ данных, аналитика)   |
                   +------------------------------------------+
                                      |
                                      v
                    +---------------------------------------+
                    |   Обнаружение аномалий и анализ      |
                    |   (Подозрительные транзакции,       |
                    |    мониторинг ликвидности, etc.)     |
                    +---------------------------------------+

Копировать

+-------------------+ +-----------------+ +-------------------------+ | Блокчейн-нод | | Потоки WebSocket| | Потоки REST API | | (Ethereum, BSC, | --------> | / REST API | ---------> | (Новые транзакции и | | Tron и др.) | | (Получение данных о | | события с блокчейна) | +-------------------+ | блоках и транзакциях) | +-------------------------+ +-----------------+ | v +-----------------+ | Kafka / Pulsar | | (Ingestion, | | доставка данных)| +-----------------+ | v +-------------------------------+ | Apache Flink / Spark | | (Обработка данных в реальном | | времени, трансформация) | +-------------------------------+ | v +------------------------------------------+ | ClickHouse / Druid / BigQuery | | (Хранение, анализ данных, аналитика) | +------------------------------------------+ | v +---------------------------------------+ | Обнаружение аномалий и анализ | | (Подозрительные транзакции, | | мониторинг ликвидности, etc.) | +---------------------------------------+

Таблица для мониторинга и анализа данных:

Параметр	Описание	Применение
Transaction Hash	Уникальный идентификатор транзакции	Отслеживание каждой транзакции и ее подтверждение в блоке
Block Number	Номер блока	Понимание, в каком блоке произошло событие
From/To Address	Адрес отправителя/получателя	Важен для анализа активности на конкретных адресах
Amount/Token	Сумма и тип токена	Помогает анализировать объем торгов и типы используемых токенов
Timestamp	Время свапа	Необходим для временной аналитики и мониторинга активности
Liquidity / Slippage	Информация о ликвидности и отклонении от ожидаемой цены	Помогает отслеживать стабильность рынка и наличие рисков

Таким образом, для построения эффективных real-time data-пайплайнов в крипто-свапалках мы применяем самые современные инструменты и подходы. Архитектура на основе Kafka, Flink, ClickHouse и других технологий позволяет нам обрабатывать данные с минимальными задержками, обеспечивая безопасность и стабильность на платформе.

Как мы строим real-time data-пайплайны для анонимных крипто-свапалок: опыт на примере risetocrypto