Облако контакт-центров «Билайна»: что бывает при пиковой нагрузке

    Если вы живёте в Москве и хотите познакомиться лично с понравившейся девушкой из call-центра «Билайна», вас может ждать сюрприз. Ехать на свидание придётся, например, в Тверь или в другой соседний город.

    Изначально каждый контакт-центр обслуживал свой регион, поэтому получалось, что нагрузка между ними никак не балансировалась: при пиковой нагрузке в одном центре нельзя было задействовать свободные мощности другого.



    Сегодня у «Билайна» 12 контакт-центров, в которых работает больше 3 тысяч человек. Контакт-центры расположены в 4 разных часовых поясах, расстояние между самыми удалёнными — 9000 километров. В топике рассказывается о том, как мы объединяли их в одну «облачную» систему и при этом облегчали обучение той девушки, которая вам так понравилась.

    Как облако, только call-центр


    В 2007 году появилась новая концепция распределённого контакт-центра. Казалось бы, нет ничего проще, чем создать одну очередь из клиентов и передавать их между центрами, но это далеко не так просто, как звучит. Вот какие были сложности:
    • Технические. Направить трафик, например, из Сахалина в Москву, а потом возвращать звонок оператору на Дальний Восток — это нерациональное использование сетевых ресурсов.
    • Человеческие. Оператору придётся запоминать особенности обслуживания каждого региона, что либо снизит качество сервиса, либо в разы увеличит время обучения.


    Все филиалы поделены на 9 больших групп, закреплённых за домашними контакт-центрами. При звонке 0611 клиент попадает в свой домашний КЦ и проходит идентификацию. Если требуется помощь оператора — звонок передаётся в распределённый контакт-центр. В среднем за сутки распределённый контакт-центр обрабатывает около 300 тысяч звонков.

    Система оценивает загрузку «домашнего» и соседних контакт-центров, чтобы перебросить звонок туда, где ответят быстрее. При этом ищется не только свободный оператор, но и оператор с наиболее подходящей для клиента квалификацией (на основе анализа географии и результатов data mining по тарифному плану и набору подключенных услуг). Если свободных операторов нет в принципе, система ищет контакт-центр с наименьшим временем ожидания и ставит звонок в очередь туда.


    Для того чтобы оператору легче было ориентировать в информации, каждый центр обслуживает не более 4 регионов клиентов, а каждый регион распределяется не более чем в 4 контакт-центра. В результате образуется цепочка, позволяющая поддерживать одинаковую нагрузку, распределённую по всей системе. Дело в том, что если в одном из регионов возникает пиковая нагрузка, звонки из него перебрасываются в соседние. Если соседние также загружены, «домашние» звонки из них отправляются в другие контакт-центры и так далее.



    Автоматизация


    Чтобы вся система работала оптимально, нужна унификация инструментов: CTI (Computer Telephony Integration), инструменты исходящего обзвона, база знаний, CRM и так далее.

    Например CTI изначально позволяла сотруднику переключать звонки клиентов на другие отделы или автоответчик-IVR только своего ЦПК. После введения распределения звонков оператору потребовалось перед переключением самостоятельно определять регион клиентов, после чего выбирать правильное направление для переключения, это привело к увеличению времени диалога с клиентом. Для исправления в CTI был добавлен модуль определения региона клиента, и оператору стало достаточно выбрать лишь тематику переключения: дальше система сама направляла звонок в нужный город или нужную систему.

    Изначально в каждом контакт-центре график совершения исходящего обзвона планировался самостоятельно и осуществлялся с помощью локальных приложений. Дежурный по мониторингу КЦ отслеживал выполнение показателей доступности на входящих звонках и при появлении избытка ресурсов переводил сотрудников со входящих на исходящие звонки. Такой подход давал неплохие результаты, но после объединения в единую сеть контакт-центров сотрудник мониторинга лишился возможности принимать такие решения самостоятельно, поскольку не видел происходящего в других центра. Для решения проблемы был разработан единый ресурс для исходящего обзвона, в котором заявки формируются в одну очередь.

    Планирование ресурсов


    Планирование ресурсов также централизованное. Для управления ресурсами используется WFM (workforce management) система. Процесс составления расписания состоит из нескольких этапов:
    1. Каждый контакт-центр готовит прогноз звонков и информацию об операторах (количество агентов, больничных, предпочтения операторов) своего региона.
    2. Вся информация консолидируется.
    3. Запускается раздача расписания на каждого оператора.


    Для составления прогноза звонков система берет за основу исторические данные за последние два месяца по количеству звонков клиентов каждого региона. На эти данные накладываются коэффициенты сезонной активности клиентов, влияние массовых сбоев и маркетинговых акций, плюс другие результаты data mining. В результате получается единый прогноз на предстоящую неделю, дискретность составления которого составляет 15 минут, а точность при этом около 99%.



    Расписание оператора


    График своих выходных и рабочих дней сотрудник узнает за месяц, а точное расписание смен за неделю до начала периода, оно формируется также с дискретностью 15 минут. Планируется не только время для приема звонков, но и незвонковые активности, дополнительный функционал, перерывы и обеды. Оператор заранее знает в какое время он будет принимать звонки, в какое время пойдет на обед, а в какое время у него состоится беседа с руководителем. Вместо глубокой аналитики других перерывов система просто учитывает их творческий и спонтанный характер и закладывает небольшой «запас прочности» (15 минут) на них.

    При составлении расписания каждый оператор может оставить свои предпочтения на предстоящий период, система будет стремиться выполнить максимум предпочтений таким образом, чтобы не было негативного влияния на показатели доступности контакт-центра. Такое планирование в условиях распределённой системы дает операторам дополнительные преимущества: например, в случае когда работает только один контакт-центр нельзя перевести 80% персонала на утренние смены, а в случае объединения нескольких КЦ — это становится возможно. На текущий момент выполняются ~60% пожеланий по сменам.

    Мониторинг


    В каждом контакт-центре есть отдел мониторинга плюс в Москве существует служба центрального мониторинга.

    Основные задачи мониторинга:
    1. Контроль за соблюдением режимов работы сотрудников своего центра (исключение опозданий, определение длительных диалогов и так далее).
    2. Анализ причин обращений клиентов своего региона, определение проблем клиентов (динамика обращений по тематикам, изменения общего времени диалога оператора с клиентом).
    3. Инцидент-менеджмент – в случае обнаружения проблемы сотрудник мониторинга организовывает сбор необходимых примеров, характеризующих проблему и открывает Trouble Ticket, сопровождает Trouble Ticket в процессе его жизни (предоставление дополнительной информации, подтверждение закрытия).


    На мониторинге также лежит ответственность за организацию мероприятий в экстренных ситуациях:
    • Включение автоответчиков о массовых сбоях;
    • Рассылка сценариев диалогов по сложившейся ситуции (например, найденных фраз, позволяющих точно определить проблему);
    • Привлечение на прием звонков сотрудников, занимающихся дополнительными активностями (собрания, обучения, исходящий обзвон);
    • Привлечение для приема звонков сотрудников смежных подразделений.


    Служба центрального мониторинга координирует действия региональных мониторингов, контролирует корректность распределения звонков между центрами, занимается развитием систем централизованного обслуживания, мониторинга, отчетности и планирования.

    Как выглядит региональный call-центр?


    Обычно — это здание близко к центру города, чтобы операторам было удобно добираться на работу. Чаще всего в этом же здании находятся другие подразделения компании данного региона. Принадлежность объекта афишируется редко, обычно — просто висит небольшая табличка.



    Самый многочисленный центр в Нижнем Новгороде, сегодня в нем работает около 600 операторов. Самый маленький — в Перми, там всего порядка 100 человек. Одновременно по всем контакт центрам принимать звонки могут до 2600 операторов.

    Внутри обязательно есть столовая и комната отдыха. Места разделены звукопоглощающими перегородками. Приходя на работу сотрудник может сесть на любое свободное место, но обычно между всеми операторами есть негласная договоренность кто и где сидит, поэтому места обычно обустроены. Первая смена заступает примерно в 7 утра, 100% заполнение мест происходит к 16 часам (именно в это время поступает наибольшее количество звонков). Если оператор работает до 23-00 и позднее, то компания отвозит его домой на такси или автобусе. После 02-00 остаются только «ночные» операторы, которых довольно мало (около 100 человек на все КЦ). Стандартная смена 9-ти часовая, но при желании оператор может выбрать и 12-ти и 4-часовую смены. За стандартную смену сотрудник принимает порядка 200 звонков и проводит в режиме разговора с клиентом почти 75% своего рабочего времени.

    Резюме


    Переход на централизованное обслуживание позволил повысить эффективность использования ресурсов контакт-центров на 14% в целом, плюс существенно повысить устойчивость системы к пиковым нагрузкам.

    P.S. 18 апреля будет экскурсия по всем контакт-центрам России. Вот событие на Хабре, где есть контакты для участия. По Москве экскурсию поведу как раз я.
    ВымпелКом (Билайн) 76,37
    Компания
    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 69
      +10
      Осталось ввести единую систему обучения операторов, что бы от звонка к звонку их мнения не расходились вплоть до противоположных.
        +9
        облачные операторы: наклонировать самого умного и по необходимости пробуждать если не хватает активных инстансов
          +8
          ага… а еще что бы не было такого, когда 5 минут объясняешь оператору проблему а потом он тебе заявляет что переключит тебя на другого специалиста. И там начинается всё сначала.
            +4
            Мне кажется, это иллюзия. Ведь люди не компакт-диски, на которые можно записать одну и ту же информацию, а потом ее считать и убедиться, что она одинаковая.
            В школьном классе все слушают одно и то же, но знания и их использование разными учениками потом оказывается разным.
            Операторов учат примерно одинаково (знаю не понаслышке, ибо сам принимал участие в обучении сотрудников ЦПК и офисов), но результаты будут отличаться из-за естественных отличий людей и их предыдущей подготовки.
            Кроме того, возможны и ошибки, в том числе вызванные нюансами в изложении вопросов абонентами.
              +2
              Если Вы спросите у 1000 людей сколько будет 2+2, я уверен что все 1000 (шутки не в счет) ответят одинаково. И, естественно, если оператор не будет на ходу придумывать шаблонные ответы, а решать проблему, то и ответы их будут совпадать. Если не знает решения, пусть переключают на того кто знает а не выдумывают черти что.
                –7
                Если Вы спросите у 1000 людей сколько будет 2+2, я уверен что все 1000 (шутки не в счет) ответят одинаково


                как не в счет? странная у Вас статистика выходит. Люди — не роботы, и это нужно учитывать.
                  +2
                  Не в счет, нотому что некоторые _специально_ ответят 5. А у билайна работники (я надеюсь) относятся к своей работе серьезно, и не будут Вам заведомо ложные советы давать _специально_.
                    0
                    Жизнь такова, что в эту тысячу могут войти дети, немые, иностранцы, и т.п., которые вам точно не скажут сколько будет 2+2.
                  0
                  Как бы не наоборот, шаблонные ответы минимально отличаются, более того, немного подумав, можно догадаться, какой своей фразой вы «затриггерили» оператора, а вот решать конкретную нетривиальную проблему можно по-разному, и разные решения могут быть по-своему правильными.
                    0
                    Это да, но я не редко общался с операторами, и очень неприятно слышать (и гланое понимать) что человек не зная ответа на мой вопрос начинает отвечать шаблонно, и каждый в данной ситуации подставит свой шаблонный ответ из нескольких, потому как ответа они не знают, и начинают подставлять наиболее полходящий, по их мнению, шаблон. А мнения отличаются, вот по этому и шаблонные ответы отличаются.
                +4
                Естественно, человеческий фактор полностью исключить нельзя. У нас система работает так: во-первых, есть мониторинг качества, который сам следит за ситуацией (все звонки записываются, часть из них прослушивается в рамках контроля качества), во-вторых, если вы ставите низкую оценку оператору, мониторинг начинает заниматься им вплотную. От результатов напрямую зависит его оплата и продвижение по должности.
                  0
                  Я помню, что одним из самых-самых методов поощрения операторов было отключение системы контроля. И «ьесконтрольные операторы» очень этим гордились. Такое сохранилось? Если это ком тайна — можно в личку;)
                    +1
                    Действительно, после ответа в личку уж точно никто кроме вас и администрации хабра не узнает об этом ;)
                      +1
                      Да, если оператор в течение нескольких месяцев подряд не допускал ошибок его могут в течение следующего месяца не оценивать, при этом системы контроля не отключаются, разговоры продолжают записываться и при возникновении необходимости также могут быть оценены.
                  +4
                  Предлагаю записывать, то что произносит в трубку звонящий в процессе прослушивания музыки и ожидания: можно узнать о своем контакт-центре много нового.
                    +1
                    В центре зала под потолком висит что-то похожее на телевизор. Что это и для чего оно используется в рабочем помещении?
                      +3
                      Это информационные панели, на которые выводится наиболее актуальная информация о текущих проблемах в сети и других важных новостях. Позволяет операторам во время работы ориентироваться на инфу с панели, а также помогает операторам, которые еще не приступили к работе ознакомиться с новостями.
                        0
                        Как смутно видно, там — камера. Не?
                        0
                        На фотографии у вас все выглядит гораздо симпатичнее, чем в недавнем посте про мегафон
                          +2
                          Спасибо. 18 апреля экскурсия по всем контактным центрам России, можно заглянуть в гости и лично осмотреться. Подробнее тут: habrahabr.ru/events/626/
                          +8
                          Пользуясь случаем хочу выразить Билайну ненависть в функционале и тормознутости личного кабинета uslugi.beeline.ru для юр.лиц! Требовалось простая смена тарифа с подключением нескольких опций. Это вылилось в месячный триллер с операторами поддержки. Хотя в других компаниях это делается проставлением нескольких галочек в личном кабинете.

                          К чему я это? Ах да, хороший личный кабинет снижает нагрузку на колл-центры.
                            0
                            Не знаю уж как сейчас (к счастью, не часто нужно что-то править), но раньше оный сайт/кабинет еще и умудрялся не во всех браузерах работать. И добро бы еще на ie6 зашел, но когда мне ТП посоветовала вместо FF использовать что-нибудь другое (IE из свежих отлично подошел, да), тут я уже задумался…
                              0
                              Он и сейчас корректно работает исключительно в IE. Когда работает, конечно.
                            –2
                            Внутри обязательно есть столовая и комната отдыха.

                            Да ладно? Мне знакомая говорила, что чайку можно было пивнуть залпом всю кружку кипяточка только. За комнату отдыха карали.
                              +1
                              Это не так. Я лично видел, как операторы обедают, вяжут крючком, делают зарядку, звонят, играют в теннис, едят и так далее. Кстати, на экскурсиях по контакт-центрам можно поспрашивать их вживую про жизнь и работу, если что. И посмотреть эти комнаты отдыха
                              +1
                              > Если вы живёте в Москве и хотите познакомиться лично с понравившейся девушкой из call-центра «Билайна», вас может ждать сюрприз.

                              Познакомился с оператором, а она из Перми… на свидание не поехал) Кстати, говорит их там уже больше 100 человек. Из удобств кухня, комната отдыха с музыкой и теннисом. В течение дня есть час — как хочешь так и тратишь. Ну обстановка правда не как на фото, имхо это московская показуха.
                                +2
                                > После 02-00 остаются только «ночные» операторы, которых довольно мало (около 100 человек на все КЦ)

                                Это по Московскому времени или Дальневосточному?
                                0
                                А какие-то технические моменты раскроете?
                                Какое оборудование/ПО используется для работы всех КЦ с телефонией? (вдруг астериск! :)
                                Что работает на рабочем месте операторам? Какой-нибудь софтфон + своя CRM-система?
                                  0
                                  Телефония вся от AVAYA. В большинстве КЦ используются физические телефоны, в одном КЦ используется AVAYA One-Х Communicator. CRM от Amdocs.
                                    0
                                    Спасибо
                                    0
                                    В далеком 2005 работал на подержке этой систем. Тогда была Amdocs Clarify, от которой остался только кривой ипрететатой внутреннего языка аля упрощеный VB с жутким мемори ликом при использованию строк (что бы справиться с этим у всей команды был общий файл для определения строковых переменных). Вся бизнес логика к моменту моего прихода уже была переписана и заменена на кастм формы. Проработал там не долго, так как еще был студентом и диплом уже поджимал.
                                    –1
                                    Почему карта такая кривая? :)
                                      +1
                                      А это реальный график когда до «вас» можно дозвониться?
                                        +1
                                        Этот график показывает не время ожидания, а количество звонков. Одновременно с количеством звонков меняется и численность операторов. Мы стремимся чтобы ожидание в каждый момент времени было одинаковым, но как правило в дневные часы оно меньше чем утром и вечером.
                                        0
                                        "При этом ищется не только свободный оператор, но и оператор с наиболее подходящей для клиента квалификацией"
                                        Как тогда низшие операторы будут поднимать свою квалификацию, если на них сыпятся сотни однотипных «тупых» вопросов?
                                          +2
                                          Если оператор показывает хорошие результаты по качеству обслуживания ему предлагается пройти дополнительное обучение для повышения квалификации.
                                          0
                                          ещё отлично работает ваш обзвон — стоит выйти в интернет 1 раз в месяц, как на следующий день звонит 0611 в 9 УТРА (!!!) и что-то хочет впарить (новый тариф, ага?). Уже научился их вычислять и выключать звук к этому времени.
                                            0
                                            Это «удержание лояльных клиентов».
                                            +1
                                            Хабаровск у вас на карте в странном месте)
                                              0
                                              Да, немаленький такой город лёгким движением руки переместили больше, чем на полтыщи километров.
                                              Кажется, у кого-то по географии 2 :-)
                                              0
                                              Стандартная смена 9-ти часовая… За стандартную смену сотрудник принимает порядка 200 звонков и проводит в режиме разговора с клиентом почти 75% своего рабочего времени.

                                              Однако впечатляет. Пполучается что на один звонок тратится чуть больше 2 минут и чуть меньше 1,5 минуты на перерыв между ними.
                                                0
                                                В среднем один диалог длится от 2-х до 5-ти минут, в зависимости от сложности вопроса. Перерывы между разговорами как правило всего несколько секунд.
                                                  0
                                                  В среднем получается как раз мои цифры.
                                                  9 часов это 540 минут.
                                                  75% этого времени проходит в разговорах с клиентом — то есть 75% от 540 = 405 минут.
                                                  200 звонков за 9 часов это от двух (405/200) до 2,7' (540/200) минут на разговор.

                                                +3
                                                Адова работенка…
                                                  0
                                                  Самый многочисленный центр в Нижнем Новгороде

                                                  Почему именно там? Так получилось или на это есть причины? Интересно потому, что организация, в которой работаю, тоже открыла там КЦ, он один, но именно в НН.
                                                    0
                                                    Мы стараемся создавать контакт-центры там, где есть достаточное количество трудовых ресурсов. На самом деле большинство КЦ примерно одинаковой численности. Разброс, как правило, связан с ограничением по площади помещения, которое занимает КЦ.
                                                    +1
                                                    Как же часто со мной было, что объясняешь всё досконально оператору, он пытается что-то решить, а потом вдруг рвётся связь. Звонишь заново, говоришь «ну соедините меня вот с тем, с которым я ща общался», а с ним не соединяют и начинается всё сначала…
                                                      0
                                                      Да, не соединяют, т.к. во время переключения оператор может разговаривать с другим клиентом, а диалог может затянуться на не определенное время. Предыдущий оператор, с которым вы разговаривали, обязательно фиксирует суть вашего обращения.
                                                        0
                                                        Ну в таком случае оператор может и перезвонить, если всё так сложно.
                                                      –1
                                                      Нет, ну Вы круты со своим облаком, у меня такого нету, но почему я не настолько крут, чтобы дозваниваясь к Вам даже по самой мелкой проблеме не слышать «оператор ответит на Ваш звонок через 20 минут. Мы делаем все возможное, чтобы ответить на Ваш звонок быстрее»?
                                                        0
                                                        Реализация распределенного обслуживания позволила сократить время ожидания на ~20%, мы продолжаем работать над тем чтобы время ожидания стало еще меньше. По сравнению с началом года среднее время ожидания в апреле сократилось примерно на 30%.
                                                          +1
                                                          Это все отлично, но ожидание вместо 20-ти минут 15(а иногда вместо 40-ка 30-ть) не многим лучше и все равно вызывает только отвратные эмоции.
                                                        0
                                                        > Стандартная смена 9-ти часовая, но при желании оператор может выбрать и 12-ти и 4-часовую смены.
                                                        Неправда, на полставки (4 часа) никто не берет и не переводит, уж очень им не хочется возиться с этой «мелочью»

                                                        > За стандартную смену сотрудник принимает порядка 200 звонков и проводит в режиме разговора с клиентом почти 75% своего рабочего времени.
                                                        За 9 ч 200 звонков мало. Посчитаем: 200 / 8 рабочих часов = 25 звонков/час при норме в 30 звонков/час.
                                                          0
                                                          Сейчас у нас порядка 12% операторов работают на пол ставки. Такие смены не «мелочь», эти смены позволяют более гибко планировать расписание. В указанном примере указано среднее количество звонков. В зависимости от КЦ и квалификации эта цифра может быть как больше, так и меньше.
                                                            0
                                                            О каком ЦПК речь?
                                                              0
                                                              Цифра интегральная по всем КЦ.
                                                                0
                                                                Нет, я говорю о 12% Да и разве это много? Было бы хотя бы 30 — другой разговор. Желающих уйти на полставки море.
                                                          0
                                                          Любопытно было бы узнать, какой процент звонков в ваше «облако» был сброшен абонентами по причине длительного ожидания ответа. Это было бы неплохой QoS характеристикой.
                                                            0
                                                            И сколько раз, в среднем, было прослушано «по кругу» пользователями рекламное сообщение при ожидании :)
                                                            0
                                                            Почему на карте Хабаровск на месте Владивостока?
                                                              0
                                                              Хабаровск на своем месте. Просто континент порезали оставив только россию.
                                                                0
                                                                Картинку уже поменяли.
                                                                +1
                                                                Спасибо за внимательности. При размещении карта «поехала». Поправил.
                                                                  +1
                                                                  А это мне кажется или на первой картинке написано Russla? (через маленькую L или большую i)
                                                                +2
                                                                Я бы с удовольствием работал в таком офисе как на фотке. Куча зелени — мало где такое встретишь.
                                                                  0
                                                                  Принцип распределения звонков №1 «Как можно большее количество клиентов не должны дождаться ответа оператора».
                                                                    +1
                                                                    Вот бы еще понять, когда Билайн (и другие операторы) поймут, что в стране есть часовые пояса, не только применительно к поддержке?

                                                                    В частности, я вот живу в одном часовом поясе, а мой sms-центр — в другом, соседнем. И когда мне приходят СМС-ки, время в них проставлено по времени смс-центра, на час отличаясь от моего местного.
                                                                      0
                                                                      Пользуясь случае поблагодарю вас. Контакт центр это единственное, что работает в Билайне как часы.

                                                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                      Самое читаемое