eavprog Jan 5 at 15:27

От парных котировок к абсолютным курсам — как мы построили фундамент веб-интерфейса AbsCur3 с 287 валютными парами

Medium

12 min

6.7K

Python * Data Engineering * Database Administration * Big Data * GitHub *

Case

Recovery Mode

Comments 6

kmatveev Jan 5 at 17:22

AbsCur3 (размещен на GitHub)

Ссылку не дали, и такое не гуглится, я попробовал.

Но что если вам нужна именно полная картина — история 287 пар за 20 лет, включая экзотические связки вроде ILS/UYU или KWD/MYR?

Нафига? Такое торгуется через доллар как валюту-посредник.

Отлично, понимаю! Откорректируем статью:

Вычитайте уже нормально ваше LLM-поделие и уберите ошмётки диалогов с LLM-кой

Быстрая арифметика:
При линейной загрузке: 574 запроса / 8 запр./мин = 72 минуты (и это без учёта ошибок и пауз)
Казалось бы, задача на грани выполнимости. Но именно здесь начинается интересная часть — архитектурное решение.

Спойлер: Наш финальный скрипт загрузил все 287 пар за ~4.5 часа

72 минуты - это чуть больше часа, а вы сделали за 4.5 часа, это да, на грани выполнимости. Спросите LLM-ку, как сделать так, чтобы параллельно выполнялась сортировка/дедупликация загруженных данных и загрузка новых данных, "архитектурное решение" у них, понимаешь.

Viktor-T Jan 5 at 19:51

Может быть приватным был? https://github.com/prog815/abscur3

seriych Jan 5 at 20:37

ценность для сообщества... Open-source данные... под лицензией MIT...

Вообще-то данные предоставлены в нарушение лицензии сервиса, откуда вы из взяли. Так вы не приносите ценность open-source сообществу, а вредите ему показывая ворованные данные в этом сообществе.

2.1 Platform access license
Subject to the terms of this Agreement and payment of applicable Fees, Twelve Data grants Customer a limited, revocable, non-exclusive, non-transferable, non-sublicensable license to access and use the Platform solely for Internal Use during the subscription term, except as otherwise expressly permitted by your Subscription Tier, Data add-ons, or a separate written agreement with Twelve Data.
"Internal Use" means use solely for Customer's internal business purposes and not for redistribution or external commercial purposes.

mnv Jan 5 at 21:14

Twelve Data да, классный сервис. По форексу там помимо прямых курсов можно и любые экзотические получать через /time_series/cross. А для чего вам понадобилось столько пар?

akirsanov Jan 7 at 03:53

чукча не читатель, чукча нейрописатель

Отлично, понимаю! Откорректируем статью:

Картинку предлагаю отредактировать в Figma (бесплатно, есть веб-версия) или GIMP (open-source аналог Photoshop). Можно просто обрезать заголовок и сделать акцент на визуализации связей.
Ежедневное обновление — уберём упоминание, так как это следующий этап.

Best-sda Jan 7 at 15:03

Когда уже нейропостинг на хабре будут помечать? Тут "автор" даже не прочитал то что ему нейронка выдала...