В рамках кредитных конвейеров юридических лиц банки запрашивают у компаний оригиналы различных документов. Зачастую сканы этих документов поступают в виде единого многостраничного файла – «потока». Для удобства использования потоки нужно сегментировать на отдельные документы (одностраничные или многостраничные) и классифицировать их. Под катом мы расскажем о применении алгоритмов машинного обучения в классификации уже сегментированных документов.

Process Mining — область анализа данных, позволяющая выполнять анализ процессов на основе логов информационных систем. Поскольку публикаций по теме применения машинного обучения в данной сфере на Хабре очень мало, мы решили поделиться нашим опытом разработки предиктивных моделей для решения процессно-ориентированных задач. В рамках программы ВТБ IT-юниор для начинающих IT-специалистов стажеры команды Process mining провели апробацию методов машинного обучения в контексте задач исследования процессов банка. Под катом мы расскажем о том, когда и как у нас возникла идея решения таких задач, что мы делали и какие результаты получили.

Недавно мы закончили разработку приложения для мобильного интернет-банкинга под ОС «Аврора» — единственную российскую мобильную операционную систему. Всего за пару месяцев мы создали приложение, которое дает доступ ко всем основным услугам банка ВТБ. Через приложение можно оплачивать покупки и услуги, делать переводы на карты и счета, использовать шаблоны платежей и многое другое. В этом посте мы поделимся историей создания приложения и расскажем об особенностях разработки для отечественной мобильной операционной системы.

Практики DevOps работают. Мы убедились в этом сами, когда сократили время установки релизов в 10 раз. В системе FIS Profile, которую мы используем в ВТБ, установка теперь занимает не 90 минут, а 10. Время сборки релиза снизилось с двух недель до двух дней. Число постоянных дефектов внедрения при этом упало почти до минимума. Чтобы уйти от «ручного труда» и устранить зависимость от вендора, нам пришлось пройти через работу с костылями и найти неожиданные решения. Под катом — подробная история о том, как мы построили полноценную внутреннюю разработку.

В настоящий момент в рамках реализации новой стратегии развития и цифровой трансформации ВТБ активно внедряет DevOps, интегрирует в инженерный процесс практики разработки защищенного программного обеспечения, повышает уровень автоматизации, оптимизирует рутинные производственные процессы. Цель этих изменений можно сформулировать в трех ключевых тезисах: скорость, надежность и эффективность. Естественно, при проведении столь глобальных преобразований важным становится проведение открытых неформальных встреч, в рамках которых можно поделиться собственным опытом, обсудить различные развилки и нюансы внедрения тех или иных производственных практик. Митапы — отличный формат для повышения общей вовлеченности, осведомленности и обмена опытом как с коллегами из банка, так и с партнерами из других компаний. 

Под катом — самое интересное с первого митапа ВТБ «DevSecOps: практические ответы на нетривиальные вопросы», который прошел в ноябре на площадке WeWork. Во встрече приняли участие более 200 специалистов.

Анализировать данные в реальном времени можно разными способами. В ВТБ мы используем технологию Change Data Capture (CDC), реализованную в инструменте Golden Gate Oracle: для нас очень важна скорость, при этом хотелось бы уменьшить объем передаваемых данных и снизить нагрузку на источник. И хотя основная сфера применения этого инструмента — репликации из Oracle и MS SQL, за несколько лет работы с CDC у нас накопилось несколько интересных кейсов, наподобие миграции данных между платформами или разными типами СУБД. Под катом мы поделимся нашим опытом работы с Golden Gate.

Система документационного обеспечения в нашем банке постоянно развивается и масштабируется, а требования к скорости и отказоустойчивости при этом только возрастают. В какой-то момент обслуживать СДО без эффективного централизованного мониторинга стало слишком рискованно. Чтобы обезопасить бизнес-процессы в ВТБ и упростить работу администраторов, мы внедрили решение на основе стека открытых технологий. С его помощью мы можем проактивно реагировать на инциденты, предотвращая потенциальные проблемы. Под катом — история о нашем опыте использования свободного ПО для мониторинга масштабных бизнес-систем.

Наше подразделение создает полностью автоматические пайплайны для вывода новых версий приложений в прод-среду. Разумеется, для этого требуются автоматизированные функциональные тесты. Под катом — история о том, как, начав с тестирования в один поток на локальной машине, мы дошли до многопоточного запуска автотестов на Selenoid в пайплайне сборки с Allure-отчетом на GitLab pages и в итоге получили крутой инструмент для автоматизации, который смогут использовать будущие команды.

IT-департаменту ВТБ несколько раз приходилось сталкиваться с нештатными ситуациями в работе систем, когда нагрузка на них многократно возрастала. Поэтому появилась необходимость разработать и опробовать модель, которая предсказывала бы пиковую нагрузку на критичные системы. Для этого IT-специалисты банка настроили мониторинг, проанализировали данные и научились автоматизировать прогнозы. Какие инструменты помогли спрогнозировать нагрузку и получилось ли с их помощью оптимизировать работу, мы расскажем в небольшой статье.

Сколько времени нужно, чтобы просеять 300 стартапов для банковского акселератора? Примерно столько проектов этим летом отправили заявки во второй акселератор ВТБ. До очного этапа дошло 40, и уже 11 сентября мы встречали их команды на площадке нашего партнера ФРИИ в Москве.



В этом посте мы расскажем, как в течение трех последующих дней помогали командам в подготовке к следующему важному этапу — питчингам с представителями банка. Подсмотрим за некоторыми выступлениями экспертов. И наконец, расскажем, кто прошел в следующий этап.

Недавно в ВТБ поменялись некоторые аппаратные и программные компоненты системы документооборота. Изменения были слишком существенными, чтобы продолжать работу без полномасштабного нагрузочного тестирования: любая проблема с системой документационного обеспечения (СДО) чревата огромными убытками. 



Специалисты компании «Интертраст» протестировали СДО ВТБ на оборудовании Huawei — комплексе из серверной фермы, сети передачи данных и СХД на базе твердотельных накопителей. Для тестов мы создали среду, которая воспроизводила реальные сценарии с максимально возможной нагрузкой. Результаты и выводы — под катом. 

Привет, Хабр! Это Сергей Лукашкин, и сегодня мы поговорим об иммерсивных технологиях.
Термин «иммерсивный» сейчас стал общеупотребительным, его можно встретить в отчетах таких именитых исследовательских компаний (strategic future search) как Gartner (immersive experience) или CBInsights.



Иммерсивные технологии также называют технологиями расширенной реальности. В их список входит виртуальная и дополненная реальность, а также 360°-видео. Они обеспечивают эффект полного или частичного присутствия в альтернативном пространстве и тем самым изменяют пользовательский опыт в абсолютно разных сферах. В этом посте мы расскажем о том, на каком уровне эти технологии находятся сегодня, как они реализуются и используются для бизнеса.

Этим летом мы в ВТБ при содействии ФРИИ проводим второй набор в свой акселератор. Если точнее, собираем заявки до 1 августа. Второй набор был бы невозможен без успешного первого набора, по результатам которого было запущено 13 пилотных проектов, и еще три готовятся к запуску. Сейчас мы накопили важный опыт и, чтобы поделиться им со стартаперами, приняли участие 10 июля в конференции ФРИИ «Пилот с банком: как доказать ценность IT-решения и перейти к сотрудничеству». В этом посте мы поделимся с вами основными тезисами конференции и главными советами о том, как наладить взаимодействие с банком и что от него ждать.

Представьте себе банковское приложение. Что вы видите? Наверняка это несколько строчек с количеством денег на ваших счетах и куча невзрачных менюшек, где перечислены способы как-нибудь эти деньги потратить. Невзрачная картина. А банковское приложение, как центр платежной активности, способно на большее. Почему бы не сделать его центром культурной активности? Транспортной активности? Что нам мешает превратить банковское приложение в полноценного помощника?



Ответ прост: нам мешает традиционный взгляд. Мы в ВТБ совместно со студией визуальных коммуникаций «Амперсанд» решили создать банковское приложение нового типа, которое и банковским приложением уже не назовешь. Чтобы оно увидело свет именно в том виде, в котором мы задумывали, нужно было изменить традиционные процессы разработки. О том, как мы это сделали, читайте далее.

В теории использование машинного обучения (ML) помогает сократить участие человека в процессах и операциях, перераспределять ресурсы и уменьшить затраты. Насколько это работает в условиях конкретной компании и сферы деятельности? Как показывает наш опыт — работает.

На определенном этапе развития мы в компании «ВТБ Капитал» столкнулись с острой необходимостью сократить время на обработку запросов в техническую поддержку. После анализа возможных вариантов было решено применить ML-технологию для категоризации обращений от бизнес-пользователей Calypso, ключевой инвестиционной платформы компании. Быстрая обработка таких запросов крайне важна для высокого качества ИТ-сервиса. Помочь в решении этой задачи мы попросили наших ключевых партнеров – компанию EPAM.

Известный американский венчурный фонд и стартап-акселератор 500Startups как-то расспросил 100 менеджеров крупных корпораций об их работе со стартапами. Оказалось, что практически все компании работают со стартапами, но только один пилотный проект из четырех трансформируется в решение, которое можно вывести на рынок. А если говорить о банках, и того меньше. В этом посте на примере собственного акселератора мы покажем, в чем тут сложности и как мы их стараемся преодолевать.

Наводить порядок в закупках крупного банка непросто. Особенно когда они разведены по двум независимым комплексным системам ERP и СЭД. При объединении ВТБ и ВТБ24 у нас также произошло объединение информационных систем, и теперь единый процесс закупок проходит через них. Что делать? На помощь пришел Process Mining — одна из самых интересных технологий исследования, анализа и мониторинга бизнес-процессов. Но при этом и весьма непростая в применении.


Process Mining — это подход к анализу бизнес-процессов с использованием передовых технологий в области сбора и обработки данных. Мы видели много дорогих, крупных проектов, где за анализы процессов брались с помощью Process Mining. Несмотря на то, что проекты эти доводили до конца, в 80% случаев полученные красивые схемы не работали. Но грустная статистика нас не испугала, и распутывать свой клубок процессов мы тоже решили через Process Mining. Подробности под катом.

С 1999 года для обслуживания бэк-офиса в нашем банке используется интегрированная банковская система БИСКВИТ на платформе Progress OpenEdge, которая достаточно широко используется во всем мире, в том числе и в финансовом секторе. Производительность данной СУБД позволяет читать до миллиона и более записей в секунду в одной базе базе данных (БД). У нас Progress OpenEdge обслуживает около 1,5 млн депозитов физических лиц и порядка 22,2 млн договоров по активным продуктам (автокредиты и ипотека), а также отвечает за все расчеты с регулятором (ЦБ) и SWIFT.



Используя Progress OpenEdge, мы столкнулись с тем, что нам необходимо подружить ее с СУБД Oracle. Изначально эта связка была «бутылочным горлышком» нашей инфраструктуры — до тех пор, пока мы не установили и не настроили Pro2 CDC — продукт Progress, который позволяет отправлять данные из СУБД Progress в СУБД Oracle напрямую, в онлайн-режиме. В этом посте мы подробно, со всеми подводными камнями расскажем, как эффективно подружить OpenEdge и Oracle.

Наша история началась с, казалось бы, несложной задачи. Нужно было настроить аналитические инструменты для data science специалистов и просто аналитиков данных. С таким заданием к нам обратились коллеги из подразделений розничных рисков и CRM, где исторически высока концентрация data science-специалистов. У заказчиков было простое желание —  писать код на Python, импортировать продвинутые библиотеки (xgboost, pytorch, tensorflow и пр.) и запускать алгоритмы на данных, поднятых с hdfs-кластера.



Вроде бы все просто и понятно. Но подводных камней оказалось так много, что мы решили написать об этом пост и выложить готовое решение на GitHub.