Никому не нравится стоять в очереди на кассе, особенно для покупки всего одного или парочки товаров. В условиях пандемии мы вовсе не хотим рисковать и находиться долгое время вблизи незнакомых людей. Год назад мы в Х5 Group решили помочь нашим покупателям и создали приложение для самостоятельных покупок «Экспресс-Скан». Оно принадлежит к системам класса Scan & GO и позволяет покупателю добавлять товары из магазина в виртуальную корзину приложения через сканирование штрих-кода товара с помощью камеры смартфона. Главный плюс новинки - оплачивать товары можно прямо в приложении, не подходя к кассе и не ожидая в очереди.
Мы уже писали об архитектуре системы, а сегодня решили рассказать о работе команды поддержки. «Экспресс-Скан» - быстро развивающийся проект, где команда поддержки внедрилась почти на самом начальном этапе его становления. Тогда было доступно лишь добавление товара в приложении без возможности оплаты, а тестирование в реальных магазинах и вовсе начиналось в тяжелых условиях пандемии. Поддержка была привлечена не только к сопровождению приложения, но и к совместному изучению ключевых сервисов системы.
Поиск команды поддержки и её внедрение
Ключом к успеху проекта является команда специалистов с широкой компетентностью в понимании работы торговых точек. И если начинали мы с единичных пилотных магазинов, то сегодня «Экспресс-скан» работает уже в более 1200 магазинах. И работу в таком масштабе мы планировали с самого начала.
В качестве первых сотрудников были выбраны члены команд поддержки торгового ПО из торговых сетей «Пятёрочка» и «Перекрёсток».
Cотрудники оказывали поддержку в работе более чем 50 различных бизнес-операций магазинов. Первое время сотрудники были привлечены к проекту, как к дополнительной активности и совмещали свою основную рабочую деятельность с поддержкой проекта.
Команде необходимо было погрузиться в механику работы как самого приложения, так и микросервисной архитектуры*. Также поддержке требовалось понимание работы смежных сервисов: авторизации клиента, оплаты и фискализация чека. Для погружения в работу всех этих элементов мы начали участвовать в онлайн встречах со множеством профильных команд внутри группы. Дополнительно мы временно внедрили одного из своих сотрудников в коллектив разработчиков микросервисов и переняли знания по поддержке части из них.
* микросервисная архитектура предоставляет для клиента информацию о товарах в приложении: текущие цены и акции, состав товара, фотографии, расчет стоимости товара, начисление баллов на карты лояльности и др.
Аккумулирование новых знаний и приобретение компетентности
Проект «Экспресс-Скан» разрабатывался и внедрялся очень быстро. Поддержке требовалось совершить “квантовый скачок”, чтобы получить необходимый уровень компетентности. После разработки пилотной версии продукта и первичного получения информации, мы начали её структурировать и формировать собственную базу знаний в Confluence. Тем самым мы сформировали начальный пакет знаний для будущих коллег команды поддержки при расширении проекта. Примеры:
Первое тестирование было проведено в нескольких магазинах. На его основе мы сформировали первые инструкции по диагностике возможных проблем в работе приложения. В процессе работы мы создали несколько рабочих чатов проекта и полную сеть контактов ответственных коллег, чтобы диагностировать и решать любые проблемы в реальном времени. Вскоре был запущен полноценный пилот с реальными покупателями в одном магазине.
Мониторинг компонентов системы, его оценка и доработки
Для оперативного реагирования на возникающие проблемы любой системе необходим мониторинг. Мы сформировали собственную графическую схему архитектуры системы, чтобы увидеть полную картину и покрыть мониторингом все уязвимые компоненты. Это позволило обнаружить компоненты, состояние которых ещё частично или полностью не проверяется в реальном времени, а также сформировать список уже имеющихся алертов (уведомлений) о проблемах.
В процессе работы пилота возникали непредвиденные технические проблемы и аварийные ситуации. Большая часть функционала приложения ещё не проверялась в онлайн режиме 24/7. Для разработки мониторингов мы написали около 20 технических заданий (далее - ТЗ) разработчикам, а также сформировали ТЗ на 50 различных оповещений о деградациях в работе приложения*. Теперь сотрудники Hot-Line в режиме реального времени 24/7 работают с мониторингом и реагируют на оповещения, подключая к решению проблем ответственные команды днём и ночью круглый год.
*ошибки в работе приложения, скорость выполнения операций, успешность проведенных платежей и статус фискализации чеков, настройки торгового программного обеспечения магазинов, отвечающих за интеграцию с проектом.
Разработка мониторингов требовала много времени, поэтому в качестве первичных средств превентивной диагностики мы придумали временное решение: мы получили доступы к административным панелям, логам и базам данных, и использовали всё это как инструменты мониторинга. Оно помогло нам поддержать целевую доступность функций приложения на уровне 99% времени, что улучшило качества работы приложения для покупателей. Текущая доступность ~99.88%.
Также мы разработали критерии доступности. Они характеризуют возможность для покупателя совершать все операции в приложении. Это согласовало общие метрики и критерии, превышение которых соответствует массовым проблемам для покупателей (технически, авариям).
Построение процессов поддержки. Работа с отзывами
Наилучшим способом тестирования приложения является прямое использование его покупателем и дальнейшая работа с обратной связью. Для этого в приложении есть возможность обратиться на горячую линию по звонку или оставить обращение в текстовом формате. Сотрудники Call-Центра снабжены инструкциями от команды поддержки. Обращения, требующие диагностики или устранения проблем транслируются напрямую в команду поддержки «Экспресс-Скан». Также пользователи могут оставлять отзывы о работе приложения в Google Play Market, Apple AppStore и AppGallery, которые обязательно обрабатываются нашими коллегами.
Круглосуточная доступность приложения – это ежедневный труд. Мы проверяем наличие цен на товары из магазинов, анализируем причины их отсутствия, заводим задачи разработчикам на их устранение. Также проверяется наличие расхождений между централизованной MDM, в которой хранится вся информация о товарах и микросервисов, предоставляющим эту информацию приложению.
Problem management
Еженедельно поддержка проводит аналитику ошибок в работе приложения «Экспресс-Скан». Так как ежемесячно в приложении проводятся миллионы операций, даже один процент от них – это тысячи случаев для индивидуальной аналитики.
Любой команде, даже успешной, требуется постоянный контроль. Все наиболее важные задачи поддержки собираются и назначаются сотрудникам на общей Kanban-доске в Miro. Ежедневно проводятся короткие встречи для обсуждения задач на сегодняшний день. Еженедельно формируются презентации для руководящего состава и бизнеса с выполненными задачами, статистиками, достижениями поддержки и наиболее критичными проблемами. Ежеквартально формируются достижения отделов, благодаря которым каждая команда стремится сделать как можно больше и быть частью большого прогресса.
На еженедельных встречах уточняются статусы по решению проблем, актуализируется информация в Jira и Confluence, сроки, идёт общение с разработчиками. Команда поддержки ведёт самостоятельно 100% “problem management”, доводя каждую задачу до решения, ускоряя по необходимости и обозначая критичность, собирая и дополняя фактуру. Мы не просто хотим делать мир лучше, но и постоянно совершенствуем процесс достижения этой цели.
Немного о фроде, потенциальном воровстве и его анализе
Встречаются ситуации несанкционированного использования функционала приложения в сторонних целях, например: проверка цен на товары вне области магазина, воровство товаров. Во избежание этого анализируются все операции в работе приложения. По результатам внедряются анти-фрод механики и ограничения. Таким образом защищены все операции приложения, от регистрации покупателя с вводом СМС кода до приобретения товаров.
Все возможные схемы поведения воров внедрены в анализ и 24/7 проверяются мониторингом, формируя отчёты для службы безопасности X5 Group. Любые новые схемы и поведения также внедряются в мониторинг.
Некоторые достижения команды поддержки
Мы в цифрах за 1 год:
Налажено и осуществлено взаимодействие с ~25 различными командами X5 Group
Решено >150 различных проблем в работе приложения «Экспресс-Скан».
На 82% снижено количество ошибок, не позволяющих покупателю приобрести товар в приложении.
На 20% снизили долю брошенных корзин из-за какой-либо ошибки в работе приложения.
Улучшили доступность покупки товара в приложении с 99% времени до 99.7% и выше.
Налажен процесс быстрого согласования и подключения новых магазинов к приложению.
Написано 7 инструментов, автоматизирующих или ускоряющих часть задач, для более эффективного анализа.
Провели аналитику >140 000 подозрительных операций в рамках антифрод контроля
С уважением и преданностью своему делу, команда поддержки «Экспресс-Скан».
