Обработка данных криптовалютного рынка в RavenDB с использованием временных рядов / Comments / Habr

NiPh Jul 20 2022 at 23:05

Извиняюсь что в такой старый пост пришёл с комментариями, просто под руку попалось, возможно кому-то будет полезным.
Прямо сейчас ковыряю один свой проект, очень похожий по смыслу - начал копить данные о бирже, накидал небольшое приложение на go, создал временной ряд в Монге. Сейчас, спустя 4 месяца, дошли руки до дальнейшего развития, проверяю данные - а там проблемы - 5.0 upsert не поддерживает в timeseries, в базе куча дубликатов по одному и тому же тикеру в одну и ту же минуту (часто брокер "досылает" более актуальные данные, они автоматом пишутся, в моём случае), пользоваться такими данными конечно можно, с дополнительной нагрузкой на базу, заставляя её агрегировать данные, но по сути вместо решения своей боли я внезапно получил дополнительные проблемы(надо было конечно лучше документацию читать, но я рассчитывал что хранение минутных данных в формате временного ряда подразумевает отсутствие дублей). Наверно с релизом 5.1+ будет лучше, но вот прямо сейчас у меня три варианта - MariaDB/MySQL/Postgres, которых честно-то говоря хватит под мои задачи, MongoDB c обычной коллекцией, где я upsert'ами буду переписывать дубли (опять таки, для pet-project за глаза хватит, у меня есть опыт поддержки базы временных рядов на 50+гб на домашнем сервере на ssd, вполне неплохо бегает), или что-то вот такое экзотическое, которое возможно окажется серебряной пулей.