Привет, Хабр! Мы команда ЖЦК, занимаемся машинным обучением в ВТБ. Сегодня расскажем про алгоритмическую магию, которая творится прямо у нас под носом. Авторами проекта этой магии в ВТБ стали дата-сайентисты Дмитрий Тимохин, Василий Сизов, Александр Лукашевич и Егор Суравейкин. Речь пойдет не о хитрых нейросетях с их миллионами параметров, а о простом подходе, который помог им и команде сэкономить много времени на решении задач, в которых раньше использовались классические методы тестирования. 

Привет! Меня зовут Светлана Уварова, я архитектор информационных систем.

Микросервисная архитектура не гарантирует модульность, если в системе остаются монолитные данные. В этой статье разберемся, как модель данных может незаметно превратить микросервисы в монолит — и как этого избежать на этапе проектирования.

Ранее я уже писала, что архитектору важно понимать, какие данные будут использоваться в системе, как и кем они будут настраиваться, откуда данные собираются и куда передаются. 

А если вам уже приходилось переводить монолит в микросервисы — или вы только планируете это сделать — вы могли и можете столкнуться с монолитной моделью данных (далее — ММД).

Неважно, идет ли речь о миграции данных или о ручном заполнении оператором: если вовремя не выявить ММД, в итоге получится новый монолит — только на микросервисном коде. Он будет иметь все характерные для него свойства, в том числе:

Гипотезы становятся концепциями, идеи — планами, а мечты — реальностью особенно быстро, когда речь идёт об искусственном интеллекте. Сезон «Будущее здесь» на Хабре стал лабораторией ближнего будущего, где ИИ — больше чем просто инструмент. Он превращается в собеседника, помощника, зеркало, в котором наши ценности, страхи и надежды сначала отражаются, а затем обретают самостоятельную жизнь.

Участники сезона принесли десятки версий завтрашнего дня: одни — в виде рассказов, другие — как инженерные концепции и технологические прогнозы. Вместе с ВТБ мы подводим итоги — и выбираем идеи, готовые воплотиться в жизнь.

Привет! Меня зовут Мария Шпак, я лидер команды collection стрима моделирования розничного бизнеса в Департаменте анализа данных и моделирования банка ВТБ. Наша команда занимается разработкой моделей машинного обучения для различных процессов, в совокупности служащих для финансового урегулирования. Основной заказчик этих моделей – соответствующий департамент банка, целью которого является помощь клиентам, допустившим просрочку платежа или находящимся в графике, но имеющим риск просрочки (Pre-Collection). Наши коллеги предлагают клиентам различные инструменты урегулирования этой проблемы и в большинстве случаев добиваются скорейшего возврата клиента в график платежей и в статус добросовестного заемщика. Оптимизация стратегий финансового урегулирования предполагает учёт разных параметров ситуации клиента: причины возникновения просрочки, степени серьезности возникших у него проблем, а также наиболее удобных и эффективных способов установить с ним контакт.

Привет, ХАБР! Я Хаймин Владимир, эксперт по системам управления базами данных PostgreSQL в ВТБ. Когда размеры таблиц становятся большими — обслуживание и доступ к данным становятся непростой задачей. Я хочу поделиться методикой организации секционирования в PostgreSQL, которая существенно упростила нам жизнь с таблицами большого размера, хранящие, например, исторические данные по датам. Назовем ее условно «Корзинным секционированием» (Basket partitioning). Данная технология реализована архитектурно, без необходимости расширения функционала сторонними инструментами или расширениями только штатными средствами ванильных версий PostgreSQL. Такая система хранения реализована, например, в проекте мониторинга pg_awr для упрощения удаления старых данных.

Секционирование в PostgreSQL

Секционирование — это техника разбиения одной большой таблицы базы данных (БД) на несколько меньших, логически связанных частей, называемых секциями. При этом, такая таблица с точки зрения ППО выглядит как одна большая таблица. 

Современные версии PostgreSQL имеют достаточно развитые средства для работы с секционированными таблицами. При этом, несмотря на то что страдает автоматизация, например, создания и удаления секций, при правильной организации хранения данных работать с такой БД достаточно удобно. И эти удобства минимизируют вероятные ошибки.

PostgreSQL начиная с 10 версии, помимо наследования, поддерживается декларативное секционирование: диапазонное, списочное, хэш-секционирование.

Какие бывают базы данных по методу их наполнения и использования?

Всем привет! На связи дата-сайентисты стрима разработки моделей для корпоративного сегмента ВТБ — Андрей Бояренков, Иван Кондраков и Денис Дурасов.

Как уже писали ранее в другой статье, внедрение процесса AutoML позволило нам во многом автоматизировать рутину и разработки, и применения моделей. Соответственно, у нас появилось больше времени для RnD-задач, которые могли бы быть полезны нашим заказчикам, чтобы охватить моделями новые процессы, а также провести исследования новых алгоритмов.

Поэтому мы составили мэппинг возможных моделей на элементы работы Банка с клиентами малого и среднего бизнеса в части предотвращения просрочек по кредитной задолженности, а также по взысканию задолженности. Из данной схемы стало понятно, что есть необходимость разработать модели для процессов по мониторингу заёмщиков Банка — Precollection-модели.

Под катом расскажем, как мы их разрабатывали и каких результатов удалось с ними добиться.

В 2025 году школьники не летают на Марс, автомобили всё так же колесят по земле, а искусственный интеллект, к счастью, не стремится поработить человечество. Но он уже меняет мир вокруг нас, проникая в самые разные сферы жизни. Каким будет наше будущее? Какие технологии определят его облик? В новом сезоне — «Будущее здесь» — предлагаем вместе с нами поразмышлять над этими вопросами.

Думать широко, глубоко и даже дерзко — в духе Хабра, и тема сезона этому способствует. Ведь каждое смелое предсказание — это шаг в неизведанное. А самый смелый шаг заслуживает не только признания, но и крутого приза.

Действительно, есть, одна проблема: можно ли реализовать омниканальную архитектуру в неомникальной организации? Как у Петра Первого, можно пробовать построить Санкт-Петербург и так, но может оказаться, что и бороды надо брить. Причем с этого и надо начинать. То-то и оно. Для новой архитектуры нужно менять и организацию. Как это сделать — в финальном эпизоде. 

Итак, мы узнали об омникальности достаточно. Витрины, продукты, СУБО а в жизни то что? Концепции, принципы – да где посмотреть Конечно, здесь – мы занимаемся этим с 2020 года, и кое-что получилось. 

Хочется поговорить с умным человеком (это я про тебя читатель). Все то, что мы рассказывали раннее — это поколение 4++. Теперь нужно сделать следующий шаг в будущее. На «пятерку». Было страшно. Но глаза боятся, а руки делают! Главное не оглядываться, а то упадешь. Делаем омниканальное банковское ядро.

Теперь мы знаем, что за «коктейль» у нас получается и важно, что логика идет снизу-вверх, что позволяет нарезать ее так, как нужно потребителю. Видно: витрины — канальные приложения, продуктовые системы — СУБО, общие элементы ОПС/ОС/СС. Красиво? Вроде да, но как-то уж больно просто. Неужели в производстве все также гладко?

В предыдущем эпизоде мы собрали общую конструкцию, соответствующую формуле омниканальности. Определены слои и ингредиенты для каждого слоя, даже в виде одной фразы приведен общий рецепт предлагаемого напитка. Теперь надо пробовать этот коктейль, но как?

Собираем конструкцию омниархитектуры по слоям. В этом эпизоде мы узнаем: из каких слоев состоит омниканальная платформа, какие элементы находятся на каком слое и для чего они нужны. В конце сформулируем, что такое омниканальная архитектура одной фразой! Фраза, конечно, не как у Льва Николаевича (Толстого), но нужно дотянуть до конца. Мы не редкие птицы, но Николай Васильевич (который Гоголь) должен подсобить.

С багажом из предыдущих серий мы отравляемся в следующий эпизод, в котором мы определим имманентные (простите вырвалось) проблемы ИТ-архитектуры 4-го поколения, на примере ВТБ 2019 года выпуска. А также узнаем, как решаются эти проблемы в Омниканальной архитектуре. В рамках этого мы сформулируем формулу омниканальности.

В предыдущем эпизоде мы посмотрели, в какой точке был ИТ-ландшафт ВТБ, и что привело его в эту конкретную точку. ИТ-архитектура была в принципе вполне нормальна, отвечала задачам бизнеса на тот момент и в принципе «каши не просила». В 2019 была точка принятия решения, что делать дальше? Какая «погода», какие технологические тренды дуют, пойдем или полетим, сидим в гавани или идем в открытое море. 

В первом эпизоде первого в мире архитектурного сериала мы определились с буквами, словами и терминами. Теперь мы рассмотрим траекторию развития ИТ вообще, что двигало это развитие, какие задачи решались и какими средствам. Какая траектория была у ИТ-ландшафта ВТБ и в какой точке мы были в 2019 году.

Творческий центр Департамента ИТ-архитектуры ВТБ, при сдержанной поддержке Технологического блока банка, под настороженно-дружелюбными взглядами неравнодушных представителей ИТ-производства, и с трудно угадываемым молчаливым одобрением служб эксплуатации, неожиданно представляет: первый в России (а значит и в мире) архитектурный сериал «Через тернии к Омни». Присоединяйтесь к нашему многосерийному лонгриду.

Привет, Хабр! В этом году мы совместно с ВТБ организовали соревнование Data Fusion Contest. Хотим вспомнить, как оно проходило, и подробно рассказать о лучших решениях участников конкурса.

Как и в прошлом году, участников ждали две задачи: одна в контейнерном формате, другая — в классическом, табличном. Также участники отправляли решения в специальную номинацию Companion, ставшую уже традиционной для Data Fusion.

После прошлогоднего эксперимента с уникальным в своём роде соревнованием с атаками и защитами ML‑моделей и зубодробительного передового научного хардкора, в этом году мы решили дать участникам немного выдохнуть, подготовив максимально прикладные задачи из банковской индустрии. В них умышленно оставили большой простор для фантазии, чтобы участники могли подойти к решению множеством способов.

В 2025 году мы снова будем организатором соревнования и с командой департамента анализа данных и моделирования ВТБ уже начали готовить интересные задачи и наборы данных для Data Fusion Contest 2025.

Всем привет! Меня зовут Александра Пилюгина, я продакт-менеджер команды «QR и Фотоплатеж» в управлении «Платежи», банк ВТБ. К нам каждый месяц приходит около 500 тысяч новых клиентов. Специально для них наша команда разработала сервис переноса платежей в ВТБ Онлайн, попутно решив множество проблем с распознаванием платежных документов и извлечения из них полезной информации.

Заходите под кат — расскажу, как мы всё это делали.

Привет коллеги! Когда меня зовут, зовут — Врунов Сергей. Мы с вами уже встречались. Я работаю в ВТБ и занимаюсь развитием ИТ-архитектуры. В моей предыдущей статье — «Кодекс архитектора» была сформулирована проблема: важнейшим навыком в профиле успеха ИТ-архитектора является работа с людьми. В продолжение предлагаю посмотреть, как конкретно можно продвигать серьезные идеи в вашей организации.