Волею судьбы мне посчастливилось последние 1,5 — 2 месяца заниматься анализом рынка Data Science и Machine Learning. И появилось желание об этом написать хотя бы несколько строк. Так что скорее всего получится небольшая заметка, а не основательная статья.

В течение последних пяти лет я проработал в Управлении Валидации моделей машинного обучения (machine learning, ML) в крупном банке и видел много «узких мест», которые возникают при разработке и валидации моделей.

В этой статье сначала предполагал рассмотреть основные информационные системы некоторого абстрактного Банка X, поскольку именно на базе уже сложившихся информационных систем строится работа дата-аналитиков, а также обучаются и работают ML-алгоритмы принятия решений. Но, когда начал писать, вдруг обнаружил, что на самом деле намного интереснее обсудить ряд тем и подзадач, которые всплывают при построении и валидации самых базовых моделей Банка, то есть моделей кредитного риска.

Сразу уточню, что видов аналитиков очень много, так как анализировать можно все что угодно. Это и веб-аналитики, и классические data scientists, и бизнес-аналитики, и финансовые аналитики, а также продуктовые, системные и UX аналитики. Причина такого разнообразия, по-видимому, в том, что в ряде крупных компаний над созданием одной платформы или продукта одновременно могут работать десятки, а то и сотни программистов и аналитиков. В таких условиях происходит сильное сужение специализации.

Все перечисленные виды аналитиков используют свои специфические наборы инструментов. Поэтому сосредоточусь только непосредственно на сфере анализа данных вне контекста происхождения этих самых данных. Таким образом мы исключаем из обзора системы веб-аналитики, CRM, ERP, системы складского учета, управления логистикой и документооборотом.

Первоначально у меня была идея провести исследование и написать статью об алгоритмах анализа данных и машинного обучения, которые можно было бы применить для оптимизации работы небольшого интернет-магазина. Но по мере погружения в тему пришел к выводу, что намного полезнее будет сосредоточиться на уже готовых сервисах и инструментах доступных в сети.

На рынке Data Science высокая конкуренция, которая подстегивается постоянно растущей автоматизацией. Решение всех стандартных задач постепенно упаковывается в готовые программные решения и сервисы. И конечную ценность для бизнеса представляет наличие цельных и интегрируемых между собой платформ.

Иными словами, вместо того, чтобы с лопатой в руках соревноваться с трактором, лучше самим сеть на трактор.

В этой статье я поделюсь некоторым опытом на простом примере. Мне повезло проработать в Банке в течение пяти лет в качестве руководителя направления, аналитика, математика, где-то программиста и т.п. Прямым текстом рассказывать о своей работе в Банке не могу, так как какие-то сведения могут быть конфиденциальными, а что-то рассказывать может быть просто неэтично или неправильно. Поэтому изложу свои взгляды и опыт на почти игрушечном примере.

Пример смотрите по ссылке https://www.emarkoff.com/dividend_aristocrats_sp500/

Цель настоящей статьи — поделиться опытом разработки аналитического онлайн-сервиса для инвесторов на python. Основное внимание уделено в большей степени концептуальным моментам, а не детальному описанию какой-то отдельной технологии. Надеюсь, что любые детали читатель легко найдет, немного погуглив. Ради наглядности даю ссылку на сервис в самом начале изложения www.emarkoff.com .