Как стать автором
Обновить
47.28
Сначала показывать

Бережем время, деньги, нервы: наш опыт улучшения справочника факторов для ML-моделей оценки риска. Часть 2

Время на прочтение 12 мин
Количество просмотров 714

Всем привет! С вами дата-сайентисты банка «Открытие» Иван Кондраков, Константин Грушин, Станислав Арешин и Алексей Дьяков. Часто даже самые хорошие произведения, будь то фильмы, книги или компьютерные игры, остаются без сиквела. А еще чаще сиквел просто не дотягивает до оригинала… К счастью, это не наш случай! Мы возвращаемся с прямым продолжением нашей статьи о программной генерации длинного списка факторов. И, поверьте, мы следовали всем правилам хорошего сиквела: наш сиквел держит планку качества, продолжает идеи оригинала, при этом полезной информации в нем еще больше!

Гоу скорее к тексту!
Рейтинг 0
Комментарии 0

Быстро, точно, градиентно: как наш подход к градиентному бустингу повышает эффективность моделей

Время на прочтение 11 мин
Количество просмотров 2.8K

Доброго времени суток, уважаемые читатели! Сегодня мы вновь рады приветствовать вас в увлекательном мире дата-сайентистов банка "Открытие". На связи Иван Кондраков, Константин Грушин и Станислав Арешин. Недавно мы поделились с вами нашим пайплайном разработки линейных моделей для решения задач бинарной классификации. Теперь же мы решили поведать о нашем опыте построения моделей градиентного бустинга. За последнее время команда проделала колоссальную работу: мы протестировали различные методы отбора факторов, нашли новые инсайты в данных, провели интересную (а, главное, полезную!) аналитическую работу и решили несколько Ad-hoc задач. Зовите всех к экранам, мы начинаем!

Го к туториалу
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 9

Как разработать модель выявления связанных компаний на основании анализа транзакций

Время на прочтение 7 мин
Количество просмотров 2.9K

На связи команда по разработке риск-моделей для крупного корпоративного, а также малого и среднего бизнеса банка «Открытие» Андрей Бояренков и Кирилл Козлитин. Сегодня мы хотим поделиться с вами процессом разработки модели выявления связанных компаний на основании транзакционных данных. Пришли к нам заказчики и говорят: «Хотим по имеющимся транзакциям наших клиентов определять, кто из контрагентов является с ними связанным».

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 11

Новые горизонты в оценке рисков: как источники данных помогают создать точные модели

Время на прочтение 8 мин
Количество просмотров 1.8K

На связи команда по разработке риск-моделей для крупного корпоративного, а также малого и среднего бизнеса банка «Открытие» — Андрей Бояренков, Владимир Иванов и Иван Луговский. В этой статье мы расскажем про наш опыт улучшения показателей ранжирования моделей оценки вероятности дефолта заемщика/скоринговых моделей за счет использования различных источников данных и объединения их в отдельные модули.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 2

Пакетное тестирование скоринговых моделей

Время на прочтение 4 мин
Количество просмотров 960

Всем привет! Сегодня мы, риск-технологи банка «Открытие» Илья Мясников (@berrim0r) и Гевонд Асадян (@Gevond), расскажем, каким образом осуществляем тестирование моделей оценки кредитного риска перед выводом в прод. В прошлой статье про дублирующий проверочный скрипт мы рассказали о том, как мониторим корректность выведенной в прод модели. Но проверок же много не бывает! Перед выводом модели в прод нужно удостовериться, что выводимый функционал работает корректно.

Как проверить корректность расчета модели? Ну да, верно – скормить ей входные данные со строго определенными параметрами. Звучит не очень сложно, правда? А если факторов более полутора сотен? И часть из них оказывают влияние только при определенном взаимодействии с другими факторами? Такое количество вариантов входных данных вручную придется готовить не один день.

Поэтому мы придумали как упростить для себя подобное тестирование. Для этого решили разработать сервис, который позволяет генерировать все возможные комбинации входных данных для модели на основании одного или нескольких заданных входных векторов.

Дальше — больше
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 2

ML-пайплайн классических банковских моделей классификации

Время на прочтение 10 мин
Количество просмотров 3.2K

Всем привет! С вами на связи дата-сайентисты банка "Открытие" Иван Кондраков и Константин Грушин. В прошлой статье мы рассказывали про решение, которое позволило повысить эффективность в проверке гипотез для моделей. Если вы успели с ней ознакомиться, то уже знаете, что наша команда занимается разработкой и развитием пула моделей принятия решений о выдаче кредитных продуктов и банковских гарантий для малого и среднего бизнеса. Сегодня настало время поговорить с вами про пайплайн, который используется для разработки таких моделей. Мы построили достаточно много моделей, так что нам точно есть чем поделиться. К тому же существенный вклад в развитие такого универсального алгоритма внес каждый член команды.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 2

Дублирующий скрипт: как с его помощью мы ускорили бизнес-процесс с двух рабочих дней до семи минут

Уровень сложности Средний
Время на прочтение 14 мин
Количество просмотров 2.8K

Как известно, при создании промышленного процесса, в котором регламентирован каждый шаг, все участвующие подразделения стараются максимально облегчить выполнение своей части работы. Поэтому часто применяются упрощения, которые не позволяют учесть все нюансы процесса, отслеживаемые в ручном режиме каждым аналитиком. По сути, перед автоматизаторами стоит задача охватить наибольшее число вариаций и при этом не усложнить процесс так, чтобы с ним было невозможно работать. Под усложнениями понимаются различные блокирующие процесс проверки, многочисленные итерации согласований по той или иной задаче, формы дополнительного ручного ввода данных и т.п.

В итоге формируются упрощенные требования, которые не позволяют в полной мере реализовать контроль как над ручными ошибками пользователей, так и над ошибками, допущенными при разработке требований и алгоритмов автоматизируемого процесса.

Вас приветствуют Гевонд Асадян и Илья Мясников. В банке «Открытие» в управлении риск-технологий мы занимаемся внедрением моделей оценки кредитного риска. В этой статье на примере большого и сложного процесса выдачи экспресс-кредитов мы расскажем, как нам удалось реализовать полноценный дубль процесса на стороне одного проверочного скрипта и ускорить процесс выдачи экспресс-кредитов с двух рабочих дней до семи минут.

Далее про наш кейс
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 1

Почему UserStory и ныне там?

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 5.5K

Когда в коллегах согласья нет,
На лад проект их не пойдет,
И выйдет из него не profit, только cost.

Однажды Бэкендер, Фронтендер да Аналитик
Везти с тасками US взялись,
И вместе трое все в него впряглись;

Из кожи лезут вон, а US всё нет ходу!
Таски для них казались и легки:
Да Фронт рвется в Cloud-решения,
Бэк пятится назад, а Аналитик тянет в воду.

Кто виноват из них, кто прав, - судить не нам;
Да только UserStory и ныне там.

Уверен, многие узнали всем известную басню про трёх товарищей, которые пытаются затащить одну общую хотелку (некий воз). Только вот каждый тянет эту задачу в свою сторону, игнорируя усилия других. Сегодня я поделюсь с моими любимыми читателями примером, как сделать так, чтобы работа над задачей между тремя нашими героями шла дружно и эффективно.

Го дальше!
Всего голосов 7: ↑5 и ↓2 +3
Комментарии 22

Бережем время, деньги, нервы: наш опыт улучшения справочника факторов для ML-моделей оценки риска

Время на прочтение 9 мин
Количество просмотров 1.6K

Всем привет! На связи Иван Кондраков и Константин Грушин. В банке «Открытие» мы с командой занимаемся разработкой и развитием пула моделей для принятия решений о выдаче кредитных продуктов и банковских гарантий для малого и среднего бизнеса. Еще в 2020 году у нас было всего два дата‑сайентиста, один дата‑инженер, несколько моделей и факторы в объеме до двух тысяч штук. С каждым годом количество задач и обученных моделей росло. А вместе с ними росло и количество гипотез, которые нам хотелось проверять при построении моделей. А исходя из специфики области (ограничения на интерпретируемость моделей, используемые алгоритмы, подходы), немалая доля гипотез выражалась именно в работе с факторами, на которых обучаются наши модели. К тому же сложно переоценить важность данной работы, поскольку от того, насколько выверены факторы, напрямую зависит качество моделей. Проблема в рассчитанном факторе, будь то ошибка в логике расчета или утечка информации о целевой переменной (т. н. target leakage), приводит к невалидности полученных результатов. Хорошо, когда такие ошибки выявляются до начала разработки модели, а не в процессе ее промышленной эксплуатации.

И вот на дворе 2023 год, у нас уже восемь дата‑сайентистов, команда дата‑инженеров, больше чем несколько моделей и около 30 тысяч факторов, список которых до сих пор поддерживается вручную в Excel‑файлах.

Читать далее наш ML-кейс
Рейтинг 0
Комментарии 2

Что делать агентам изменений, когда культура компании каждый день норовит съесть их на завтрак?

Время на прочтение 13 мин
Количество просмотров 2.5K

Друзья, рада, что вы решили уделить внимание моей немного гастрономической теме. Хочу поделиться с вами своими примерно четырехлетними наблюдениями о том, как агентам изменений работается в крупных компаниях, что я общего я наблюдала в их моделях поведения и что помогает не стать тем самым сытным завтраком для корпоративной культуры.

Меня зовут Илона Ноженко и так сложилось, что я любитель поработать в энтерпрайзах — тех самых неповоротливых или, как их порой величают, кровавых. У меня за плечами инхаус-работа в четырех крупных компаниях, сегодня я работаю в банке «Открытие». Что еще интересного могу рассказать о себе? Много вкладываюсь в развитие бизнеса и продактов, правда, для этого мне пришлось пройти путь запуска своих идей на рынок.

Как вообще я стала собирать истории про взаимоотношения агентов изменений и корпкультуры? Где-то в 2018 году знакомые и коллеги зачастили ко мне с вопросами типа «как, ты еще держишься?». Я немного напряглась — не от того, что вопрос сам по себе сложный, а от того, почему у людей вообще появляется такая мысль. Ведь тут явно сквозит какой-то не очень позитивный контекст и им явно от чего-то больно. Вот это «от чего-то» я и стала изучать.

Эта статья — не про то, как бороться с выгоранием от работы или как трансформировать культуру (это огромные темы для отдельных выступлений, хотя косвенно сегодня они будут затрагиваться). Мне хочется осветить тему с такой стороны: как мы, агенты изменений, можем провоцировать систему и корпкультуру на то, что они начинают давать сдачи и съедают нас с потрохами.

Читать далее мою немного гастрономию
Всего голосов 14: ↑12 и ↓2 +10
Комментарии 0

Когда контекст доступа важен: авторизация в микросервисной платформе на GraphQL

Время на прочтение 13 мин
Количество просмотров 4.6K

Аутентификация и авторизация — неисчерпаемые бесконечные темы. И как раз именно про них всегда забывают на старте разработки. У нас MVP и обойдемся без всех этих сложностей. Именно на этом умирает огромное количество хороших начинаний в крупных компаниях, поскольку масштабирование от лабораторного проекта до промышленной среды - самая сложная часть в любом проекте. Под катом история нашей эволюции от «авторизовался в ДБО — доверяем!» до «а у вас нет доступа к данным при этом значении атрибута», расширения GraphQL и прочая магия в популярном изложении.

Читать далее нашу историю
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 6

Сколько весит 1 килограмм ТЗ?

Время на прочтение 7 мин
Количество просмотров 5.1K

Привет! Не пугайся, я полностью с тобой согласен, первая реакция на заголовок должна быть, как у Джеки. Сейчас всё расскажу по порядку. И в конце концов мы даже действительно взвесим два типа ТЗ.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Комментарии 2

Семь главных вызовов для российских спецов UX от Эрика Райса

Время на прочтение 5 мин
Количество просмотров 1.6K

Кто такой Эрик Райс (Eric Reiss)? Седовласый американец, который сейчас живет и работает в Копенгагене. Он - CEO и стратег в Fatdux, один из самых влиятельных персонажей в области проектирования и информационной архитектуры, консультант, автор знаменитой книги «Usable Usability», ведущий мастер-классов по всему миру.

Важно не путать его с другим Эриком с созвучной фамилией Рис (Eric Ries) – американским предпринимателем и блогером, автором переведенной на русский язык книжки «Бизнес с нуля: Lean Startup».

Юзабильный Эрик 12 ноября выступил на российской сессии World Usability Day 2021, которую организовали банк «Открытие», USABILITY LAB и университет ИТМО. Свой спич он посвятил вызовам UX в финансовой сфере.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

WORLD USABILITY DAY 2021 — уже на этой неделе: успей на онлайн-конференцию с топовыми спикерами

Время на прочтение 2 мин
Количество просмотров 592

Привет! На этой неделе всех, кто интересуется темой юзабилити, ждет классное событие международного масштаба - World Usability Day 2021. В самых разных точках планеты - от американского Сиэтла до австралийского Мельбурна - UX-эксперты соберутся 11 ноября, чтобы выступить с рассказами о насущном и актуальном по теме. Подробнее и кнопки на все регистрации тут: https://worldusabilityday.org

В России организаторами WUD'21 выступают банк "Открытие", USABILITYLAB и Университет ИТМО - 11, 12 и 13 ноября они проведут три онлайн-конференции для всех, кто интересуется темой юзабилити в современном бизнесе и особенно – в банковской сфере в России.

На российской части WUD всегда есть Guest Star – в прошлом году это был Якоб Нильсен, а в этом году по приглашению банка «Открытие» выступит Эрик Райс (Eric Reiss), который расскажет про 7 вещей, которые определят будущее банковского UX.

Читать далее про WUD'21
Рейтинг 0
Комментарии 1

“Тайный клуб системной аналитики” или путь к идеалу

Время на прочтение 5 мин
Количество просмотров 7.8K

Hello World!

Меня зовут Сергей Павлов, я тимлид по системной аналитике в банке "Открытие” на продукте МСБ “Бизнес-Портал”. Хочу рассказать, как я решал задачи по управлению командой, когда к ней присоединился.

Скажу сразу: тут я не буду описывать графики, капасити, велосити и любые инструменты, связанные с командными метриками. Речь пойдет именно об организации процессов для повышения качества взаимодействия при коллективной работе.

Итак, морозное утро, вежливый голос руководителя мне говорит: “Это команда системных аналитиков, начинай творить добро”. Я смог выдавить только “угу” и сел думать насчет того самого творить и того самого добра.

Читать далее про добро
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 6

Сказ о двух племенах: как разрабы и бизнес в банке «Открытие» на Agile переходили

Время на прочтение 7 мин
Количество просмотров 4.3K

Agile, также известный как гибкая методология разработки, в теории очень интересный зверь. Он противится привычным иерархиям, сталкивает управляющих и управляемых лицом к лицу и заставляет постоянно решать конкретные проблемы. На практике укротить этого зверя и заставить работать на себя — тяжелая задача для любого бизнеса. Как с Agile справлялись мы, разрабы и бизнес из банка «Открытие», что у нас получилось и как мы стали сплоченным трайбом, — расскажу в этом материале.

Эпоха до Agile

Привет. Меня зовут Саша Бородкин, я занимаюсь разработкой бэкенда в «Открытии». В прошлом году я стал частью первого Agile-трайба, который создали в нашем банке.

До этого мы всегда работали по классической иерархической модели, как и другие банки (в основном). Когда у клиентов появлялись новые потребности, наше бизнес-подразделение начинало думать, как эти потребности закрыть. Придумывали инициативы, подсчитывали их стоимость, решали, целесообразно ли вводить.

Потом защищали эту инициативу перед руководством банка и окончательно определялись, внедрять ее или нет. А уже принятую инициативу ставили нам в бэклог, чтобы мы разработали решение. Причем обычно в форме приказа, которому надо прямо следовать.

В целом система работала. Но каждую инициативу подолгу обдумывали, защищали и только после этого давали нам в разработку. Получалось, что между появлением бизнес-инициативы и внедрением проходит длительное время, банк опаздывает и не всегда успевает отвечать на какие-то актуальные требования клиентуры.

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Комментарии 1

Как мы настроили CI/CD, чтобы релизить часто и без страха

Время на прочтение 4 мин
Количество просмотров 9.1K

Приветствуем тебя, читатель Хабра. Возможно, тема непрерывной поставки и интеграции микросервисов покажется немного избитой, ведь сегодня любой идальго путем нехитрых манипуляций при помощи обучающих видео может натравить Jenkins/TeamCity/GitLab (нужное подчеркнуть) на свой репозиторий и начать называть себя испанским доном. Вся соль, на наш взгляд, в тех шагах сборки, которые он для себя определит и какой смысл в них вложит. Не менее чем сама сборка важен процесс автоматизации контроля качества. В этой статье мы расскажем вам о том, что в этом вопросе сделали для себя мы, команда разработчиков всех розничных фронтов банка «Открытие».

В предыдущей статье мы поведали о том, как построили конвейер, который непрерывно поставляет релизы на продуктивную среду без страха разломать ее. Одним из факторов, позволяющих нам это сделать, является контроль обратной совместимости через версионирование контрактов, который мы описали в статье. Но этого далеко не достаточно. Важнейшими шагами сборки мы считаем прохождение автоматизированных и ручных этапов контроля качества, которые и позволяют нам поставлять изменения быстро и без страха.

Рассмотрим конкретный пример.

В момент, когда триггерится сборка, например, когда разработчик сделал коммит в свою ветку, запускается процесс, который выполняется специально написанными скриптами и утилитами. Этот процесс состоит из нескольких обязательных шагов. Ошибка в любом из них приводит к полному падению всей сборки. Ну и, само собой разумеется, шаги расположены в таком порядке, чтобы сужать воронку потенциальных проблем. Если Quality Gate предыдущего этапа не пройдет, то на проверку следующего уже можно не тратить ресурсы.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Комментарии 4

До 40 релизов в день в Enterprise: наша сool story

Время на прочтение 6 мин
Количество просмотров 5.1K

Пару слов о нас: мы – команда банка «Открытие», которая отвечает за разработку всех розничных фронтов от рабочего места сотрудника в отделении до мобильных приложений физических лиц. В последние пару лет мы переживаем взрывной рост в несколько раз – у нас более 400 сотрудников ИТ и мы продолжаем расти и расти. Как оказалось, многие решения, которые были приняты на старте нашей работы, оказались верными. И о некоторых из них мы вам расскажем. Готовы? Поехали!

Один из вопросов на старте цифровой трансформации банка был таким: как нам хранить исходный код – используя монорепозиторий для хранения всех миросервисов или много репозиториев? Мы выбрали такой подход: для каждого приложения, библиотеки или микросервиса создаем отдельный репозиторий.

В рамках дискуссий внутри команды для нас было очевидно, что...

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 13

Как мы за неделю создали чат-бота и подружили его с веб-приложением

Время на прочтение 8 мин
Количество просмотров 12K
Чат-боты – новомодный тренд с многообещающими перспективами: в большинстве ситуаций искусственный интеллект эффективнее традиционных веб-приложений. Однако при интеграции новых технологий не стоит забывать о пользователях, не желающих – или не имеющих возможности – отказываться от привычных форм взаимодействия. Сегодня мы расскажем о том, как в течение недели создать чат-бота, обслуживающего конференции, и подружить его с классическим веб-приложением.

image
Фото chatbotsmagazine.com
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Комментарии 1

Open Fights Codility 2017: новый хакатон от банка «Открытие»

Время на прочтение 3 мин
Количество просмотров 2.5K

Что будет

16-17 сентября мы проведем хакатон Open Fights Codility по мобильной и веб-разработке. Если ты фанатеешь от чистоты кода, автотестов и DevOps-практик, у тебя есть профиль на GitHub и ты активно коммитишь в свои или Open Source репозитории, а еще хочешь хоть чуть-чуть изменить мир вокруг себя — приходи к нам на «Рабочую Станцию» в Парке Горького. Будет продуктивно и весело!


image


Читать дальше →
Всего голосов 20: ↑7 и ↓13 -6
Комментарии 3
1

Информация

Сайт
www.open.ru
Дата регистрации
Дата основания
1993
Численность
свыше 10 000 человек
Местоположение
Россия