В изолированной корпоративной сети с полумиллионом файлов стандартный поиск превращается в рутину. Облачные сервисы недоступны, серверные решения избыточны, а встроенные инструменты ОС не справляются с объёмами и разнородностью клиентов (Windows и Linux).

Мы столкнулись с этой задачей и вместо развёртывания сложной инфраструктуры пошли другим путём: упаковали весь поисковик в один HTML-файл. Фоновая индексация на Python раз в сутки — и сотрудники получают мгновенный поиск по путям прямо в браузере.

В статье разбираем архитектуру решения: как относительные пути решают проблему разных точек монтирования, почему плоский JS-массив оказался эффективнее сложных структур, и как уместить индекс 560+ тысяч файлов в 120 МБ без потери скорости.

Не полнотекстовый поиск, а инструмент для навигации по глубокой файловой структуре, где важная информация закодирована в путях. Работает там, где нельзя поставить Elasticsearch, но нужно быстро находить документы.

📊 Знаете, что общего у температуры в городах и валютных курсов? И то, и другое — относительные величины. У вас есть разницы, но нет абсолютных значений.

Можно ли из одних лишь парных котировок вроде EUR/USD или USD/JPY вычислить внутреннюю, абсолютную стоимость каждого доллара, евро или йены? Оказывается, можно — и для этого не нужен волшебный экономический калькулятор.

В этой статье мы делаем то, что звучит как задача для детектива: восстанавливаем абсолютные значения из одних лишь отношений. С помощью чистого Python и метода наименьших квадратов мы превращаем сеть из 85 рыночных котировок в единую шкалу стоимости для 45 валют.

Что вас ждёт:

Матрицы, логарифмы и МНК — как линейная алгебра очищает финансовые данные от шума.

Рабочий код — от построения матрицы инцидентности до ежедневного расчёта.

Фокус с разоблачением — на примере USD/JPY покажем, как понять, что на самом деле движет парой: укрепление доллара или ослабление йены?

Масштабирование до 153 валют — как та же математика работает для всей мировой системы.

Если вы когда-либо задумывались, как устроена «кухня» валютного рынка за пределами парных графиков — эта статья для вас. Переходите, чтобы узнать, как превратить относительность в абсолют.

Попробуйте найти исторические курсы для пар вроде «доллар к афгани» или «евро к таджикскому сомони». Данные либо платные, либо их просто нет в виде готового датасета. Мы решили эту проблему в рамках своего проекта, хотя единственный подходящий API диктовал суровые условия: 8 запросов в минуту и 5000 дней за раз.

Получилось! Наш Python-скрипт аккуратно, чанк за чанком, собрал историю всех 287 пар за 4.5 часа, ни разу не превысив лимит. В статье делюсь техническими деталями, как выстроить такую загрузку, и уроками, которые мы извлекли.

Портфельная теория Марковица предлагает нам инструменты для сборки оптимального инвестиционного портфеля. Для этого все имеющиеся активы должны быть участвовать в портфеле в виде какой-то доли от общей суммы портфеля. Регулируя доли каждого актива можно подобрать портфель с приемлемым уровнем риска и доходности.

Если мы имеем дело с активами выраженными в одной единице измерения (например, акции выраженные в рублях), то есть возможность применить оптимизацию. Но как быть с валютами? Ведь для валют мы имеем парные валютные курсы (EURUSD, USDJPY, GBPUSD, USDRUB и т.д.). Парные валютные курсы выражают стоимость одной валюты в единицах другой. Нет единого основания. Соответственно нет возможности применить упомянутые выше инструменты. То как привести все имеющиеся валюты к единому основанию, составить из них валютный портфель читайте далее.

Пришло время обновить статью о методике получения абсолютных валютных курсов. Ранее был ряд статей (13.03.2019 — «Абсолютный курс валют: ищем истинную ценность», 03.05.2019 — «Получаем абсолютные курсы из парных кросс-курсов валют») на эту тему. За время существования проекта, а проекту более 6 лет, накопился опыт расчета и применения абсолютных валютных курсов.

В курсе анализа данных есть методика исследования зависимостей между данными через корреляцию Пирсона. Корреляция тем выше чем ряды данных более связаны между собой. И наоборот. Не плохо было бы применить эту технику к валютам и посмотреть на взаимосвязи между ними. Но, если применять корреляцию к парным курсам, то получим оценку связей только между парными курсами. Зависимостей между отдельными валютами не получится.

Понятие стабильности для валют в основном в экономике характеризуется качественным образом. Да и как говорить о числовой стабильности валюты раз существуют только парные валютные курсы. И если мы попытаемся применить какую либо статистическую функцию к этому парному курсу, то это все равно не даст нам знания о каждой валюте отдельно от другой. В проекте Абсолютный валютный курс предложена методика получения абсолютных курсов для каждой валюты в отношении к абсолютной валюте. Таким образом появляется возможность исследовать отдельные валюты без отношения к другой. Более того это исследование можно проводить в численном виде. В настоящей статье дается числовое определение волатильности для валют.

Проект: “Абсолютный курс валют”

Введение

О проекте

Проект “Абсолютный курс валют” занимается анализом парных валютных курсов, выделением из них абсолютных валютных курсов и их анализом.

В рамках проекта получена методика преобразования от парных курсов к абсолютным валютным курсам. Для этого определена абсолютная валюта ABS. Курсы всех имеющихся валют выражаются в отношении к ABS.

В проекте исследуются свойства абсолютных курсов. Исследуются различные применения абсолютных курсов валют.

Введение

Настоящая статья описывает результаты эксперимента проведенного в рамках проекта “Абсолютный курс валют”. Протокол эксперимента можно увидеть перейдя по ссылке.

Проект “Абсолютный курс валют” занимается анализом парных валютных курсов, выделением из них абсолютных валютных курсов и их анализом. В рамках проекта получена методика преобразования от парных курсов к абсолютным валютным курсам. Для этого определена абсолютная валюта ABS. Курсы всех имеющихся валют выражаются в отношении к ABS.

Введение

О проекте

О проблеме