Любите ли вы работать с данными, как люблю это делать я? Страдаете ли вы также от несовершенства инструментов для анализа данных? И вот, буквально в первых строках, я понимаю, что мне надо быть очень аккуратным, дабы не задеть чувства, к примеру, фанатов Excel или Notepad++. Попытаюсь исправить ситуацию: Эксель великолепен! Лучшая low-code система! Notepad++ бесподобен… но попробуйте поработать этими инструментами с данными размером с один миллион строк… эх, не удержался. Ну и раз статья обещает быть провокационной, добавлю еще огоньку: я хочу продемонстрировать, как обрабатывать и анализировать данные по всем обезличенным сделкам по нефти. Взглядом аналитика покажу, как крупный капитал управляет рынком. И да, я хочу, чтобы такая возможность была доступна не только корпорациям с их ресурсами, а обычному пользователю с ноутбуком. Текст статьи не является инвестиционной рекомендацией, все совпадения случайны.

Идея моего домашнего проекта началась с простой, на первый взгляд, задачи: с потребности конвертировать файлы формата XML в формат XLS (или CSV) для последующего анализа. И я был наивен, чтобы попробовать решение «в лоб» и с помощью Excel импортировать богатый внутренний мир SAP Business Objects, описанный в иерархической структуре XML, в табличную форму, — и примерно через час мое сознание, в очередной раз выдав исключение о переполнении памяти, подключило опыт, который намекнул, что иерархические структуры заранее неизвестной глубины проще всего обрабатывать посредством рекурсии. Так появился лаконичный скрипт на Python. Потом еще один. И еще. Потом скрипты пошли в массы среди коллег по цеху. Появились фантазии и мечты, например возможность каждые пять минут забирать XML (или JSON) из кафки (Apache Kafka), трансформировать на лету и класть, например, в DWH. Вполне ожидаемо, что была масса вопросов к скриптам и просьба «быстренько поправить». И в какой-то момент, как в том классическом анекдоте про «закопанную стюардессу», я понял, что хватит… Так и появился MVP, который я хотел бы представить в этой статье.

Опубликовал в публичном доступе свой маленький проект AMP. AMP — это шаблон «админки» на базе FastAPI. В качестве ORM использую peewee, в шаблонах bootstrap и графическую библиотеку C3(на базе D4). В AMP существует механизм авторизации пользователей (это ж админка), группы пользователей, локализация (английский и русский языки), установка часовых поясов. В статье покажу Вам, как это выглядит с экрана десктопа, мобильного устройства, небольшое демо(видео), дам ссылку на репозиторий, ну и конечно отвечу на вопрос «К чему нам еще одна админка ?».

Читать далее…

Как всегда, все началось с идеи: а что если поискать корреляцию между индексом ММВБ и ценами акций, входящими в данный индекс, но только использовать цены следующего дня? Например, искать корреляцию между ценой закрытия индекса ММВБ на дату Х и ценой закрытия акции Газпрома на дату (X+1)? Зачем? Затем чтобы, зная цену закрытия индекса ММВБ сегодня, прогнозировать цену закрытия любой акции завтра.

Что получилось, читайте далее…

Данный текст является художественным произведением, проблемным очерком, где главный герой от первого лица описывает преимущества работы маркет-мейкера и всю тщетность бытия трейдеров на бирже.

Данная статья, является продолжением вот этой: Анализ обезличенных сделок при торговле акциями

После публикации первой статьи, я получил достаточно большое число сообщений, с просьбой реализовать «Прилипалу» (табличку в Excel-е для анализа информации о обезличенных сделках) для торгового терминала Quik. Реализовал, но это не главное.

Как вы догадались по заголовку, мое хобби — алготрейдинг. Решил поделится результатами, чтобы продемонстрировать Вам как многокритериальный анализ и подбор коэффициентов (продажи, покупки) индивидуально для каждого инструмента (акции) может отражаться на результате. Для того, чтобы поразить Ваше воображение, продемонстрирую пример с 500% годовых (на самом деле нет). Анализ на исторических данных я буду проводить с помощью торгового терминала «Альфа-директ», но представленный здесь опыт особо не ограничивает Вас в выборе инструмента.

Речь пойдет о прогнозировании движения цен на рынке акций. Идея проста: "те, кто осуществляет очень крупные сделки на покупку/продажу — ошибаются значительно реже. Почему бы нам не отслеживать и анализировать такие сделки ?". Именно поэтому, я свой рабочий прототип назвал «Прилипалой», вспоминая уроки биологии, где нам рассказывали про рыбу-прилипалу.

Это заключительная часть статьи, вот начало.

В прошлый раз я написал о том, как реализовал мониторинг устройств, теперь речь пойдет о управлении. В дискуссиях с «технарями» со стороны Заказчика я часто встречаюсь с ограниченным восприятием возможностей таких маленьких устройств (с невысокими ресурсами памяти и производительностью), многие считают что «максимум что нам потребуется это отправить reboot, для чего-то более серьезного — отправим бригаду».

Но практика показывает, что это не совсем так.

Всем привет, это мой первый опыт на Хабре. Хочу написать о том, как нестандартно управлять сетевым оборудованием во внешней сети. Что значит нестандартно: в большинстве случаев, для управления оборудованием во внешней сети Вам необходимо:

• Публичный IP-адрес. Ну, или если оборудование находится за чьим-то NAT-ом, то публичный IP и «проброшенный» порт.
• Туннель (PPTP/OpenVPN/L2TP+IPSec и т.д.) до центрального узла, через который была бы доступна.

Поэтому «мой велосипед» потребуется Вам, когда стандартные методы Вам не подходят, например: