Системные администраторы из компании Grant Thornton Australia придумали использовать сканеры штрих-кодов для быстрой починки ПК после сбоя из-за CrowdStrike. Благодаря этому решению в компании смогли быстро вернуть в строй свой парк компьютеров, так как эта инновационная задумка помогла автоматизировать процесс ввода кода для BitLocker.
В Grant Thornton Australia защитная опция Bitlocker активирована на всех устройствах, поэтому инженерам команды техподдержки пришлось сначала вручную работать с каждым ПК и в процессе восстановления системы правильно вводить 48-символьный ключ для расшифровки раздела ОС Windows. С серверами в нескольких ЦОД такие действия можно было выполнить достаточно быстро, а вот с сотнями клиентских ПК в разных локациях быстро починить компьютеры оказалось непростой задачей. Также на клиентских ПК должны были использоваться локальные административные учётные записи LAPS для запуска процедуры восстановления и входа в ОС.
Системные администраторы Grant Thornton Australia не стали пересылать в филиалы ключи для BitLocker. Оказалось, что диктовать ключи по телефону или даже читать коллеге, который вводит их с клавиатуры, также было весьма затруднительно.
В итоге специалисты техподдержки и системные администраторы компании придумали простой способ — сконвертировать нужные ключи Bitlocker в штрих-коды, которые можно быстро отсканировать с экрана ноутбука администратора с помощью сканера штрих-кодов (на складе компании были такие сканеры от Officeworks или JBHIFI), который воспринимается ПК как клавиатуры, и сразу вводит этот код в систему во время процесса восстановлении ОС. Инженеры также написали скрипт на PowerShell для сканирования штрих-кодов Bitlocker. При вводе имени хоста затронутой рабочей станции скрипт генерировал нужный штрих-код для ключа Bitlocker и предоставлял пароль LAPS, что позволяло быстро и безопасно восстановить ПК без раскрытия конфиденциальной информации.
«Наша команда по IT-инфраструктуре продемонстрировала замечательные инновации в оптимизации процессов восстановления рабочих станций после инцидента. Этот инновационный подход не только ускорил процесс восстановления, но и повысил безопасность, гарантируя, что ключи Bitlocker не будут экспортированы, а пароли LAPS останутся конфиденциальными», — сообщил менеджер по инфраструктуре Grant Thornton Australia Бен Уотсон.
В результате таких действий сотрудников техподдержки все ПК Grant Thornton Australia заработали уже через несколько часов после глобального IT-сбоя. На починку каждого из них ушло до 5 минут, тогда как в случае серверов на ручное восстановление уходил по 20 минут.
Сотрудники техподдержки по всему миру неделю продолжали исправлять BSOD в парках ПК на Windows из-за ошибки в ПО CrowdStrike. Им нужно было загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. Если диск ПК защищён шифрованием BitLocker, то нужно было найти и ввести ключ восстановления BitLocker в каждой системе, а затем продолжить исправление обновления CrowdStrike, пока не заработают все компьютеры в организации. В большинстве организаций этот процесс занял до трёх суток, но в больших компаниях даже при мобилизации всего персонала команд техподдержки и системных администраторов решение этой проблемы может занять до недели или более из-за сложностей физического доступа к каждому ПК и удалённых месторасположений части филиалов.
С утра 19 июля 2024 года системные администраторы и инженеры в сменах по 10-16 часов на полу, на коленях, на лестницах, в машзалах, больницах, на заводах и в полицейских участках возвращали к жизни ПК, умные панели, киоски с билетами, серверы и ноутбуки вручную, удалённое подключение не работало.
У инженеров из других компаний не было сканера штрих-кодов, так что они вводили ключи BitLocker вручную в сложных условиях.
Microsoft сообщила, что количество столкнувшихся с глобальным сбоем в работе ПК и серверов на Windows из-за некорректного обновления ИБ-приложения CrowdStrike, где возник синий экран смерти (BSOD), составляло не менее 8,5 млн штук.
Спустя семь дней после инцидента, благодаря оперативной и круглосуточной работе тысяч инженеров и системных администраторов, 97% ПК на Windows клиентов компании CrowdStrike оказались снова в работе. Microsoft ожидает, что полное восстановление всех пострадавших компьютеров в мире может занять несколько недель.
