Меня зовут Светлана Быстрая, я ведущий инженер по тестированию в компании «Актив». Наш отдел проверяет программно-аппаратные решения Рутокен: токены, смарт-карты, ридеры и софт, который их использует. Каждый день такие устройства юзают в офисе и удаленно тысячи людей, чтобы подписать документ электронной подписью или подтвердить личность при входе в корпоративную среду. Жизнь токена непроста: его роняют на пол, дергают из порта, не нажав кнопку безопасного извлечения, используют на морозе и на жаре, подключают через дешевые хабы и переходники к самому разному, порой экзотическому оборудованию.

Но все это цветочки — мы мучаем токены еще сильнее, чтобы убедиться, что они готовы к реальной жизни. В этой статье я расскажу, какие испытания устройства проходят у нас в лаборатории, и почему часть этих проверок не встретишь в типовых тест-планах.

Токен — не флешка и не браузер

Начну с того, почему тестирование программно-аппаратного продукта — это не то же самое, что тестирование сайта. Проблема с сугубо софтверным решением обычно лечится обновлением: браузер или мобильное приложение обновляется само, и все продолжают работать. С токеном так не получится. Установка новой версии микропрограммы — процесс трудоемкий и нетривиальный для пользователя, и он зачастую требует удаления всех пользовательских данных с устройства — что, сами понимаете, неприемлемо для исправления бага. А если проблема на аппаратном уровне, то тут поможет только замена устройства.

Плюс ко всему любой физический объект имеет конечный ресурс: электроника рано или поздно выходит из строя, особенно под нагрузкой. А еще пользовательский опыт работы с токеном задействует больше органов чувств, чем работа с программой: устройство не только видят и слышат, но и берут в руки.

Эти ограничения и формируют перечень рисков, которые призвано выявить тестирование: производственный брак, несоответствие заявленным характеристикам, преждевременное исчерпание ресурса, несовместимость с окружением, наконец, банальное неудобство в использовании. По каждому пункту — свой набор проверок. Пойду по ним по порядку.

Не верим производителям на слово

Первый рубеж — тестирование комплектующих. Цифры, заявленные производителем, и реальные характеристики на практике совпадают далеко не всегда. Показательный кейс — выбор флеш-памяти для моделей, где она предусмотрена. По заявленным характеристикам подходили несколько кандидатов, слабо отличавшихся друг от друга. Но на синтетических тестах — когда в цикле на SD-карточку что-то записывается и читается — один из вариантов выдал совершенно неудовлетворительные скорости записи при отдельных сценариях. Его мы отбраковали первым. Оставшиеся кандидаты прошли синтетику, и один из них заметно превосходил конкурентов по скоростям чтения и записи. Казалось бы, победитель. Но когда флеш-память этой модели установили в токены и начали записывать через сам токен специфичные объекты, приближенные к пользовательским, скорость резко просела. От этого варианта тоже пришлось отказаться, хотя изначально все выглядело многообещающе. Мораль: проверять нужно и синтетикой, и на сценариях, приближенных к пользовательским, — иначе самый красивый кандидат подводит именно там, где будет эксплуатироваться.

Неудовлетворительные скорости подсвечены красным. Зеленым обведен кандидат, положительно выделявшийся на синтетических тестах, но отсеявшийся на приближенных к реальным условиям.
Неудовлетворительные скорости подсвечены красным. Зеленым обведен кандидат, положительно выделявшийся на синтетических тестах, но отсеявшийся на приближенных к реальным условиям.

Второй риск — высокий процент брака: чем больше компонентов в устройстве, тем больше точек отказа. Поэтому у нас многоэтапный контроль: все компоненты перед сборкой проходят небольшие тесты на работоспособность, а после каждой операции — присоединения очередного компонента, прошивки микропрограммы — производится перепроверка.

Даже такой мелкий элемент, как светодиод, который загорается при подключении токена к компьютеру или смартфону. Компонент нежный: достаточно задеть его при надевании корпуса — и он не горит. Коллеги с производства рассказывали, что заметная доля брака случается именно так. Поэтому светодиод проходит серию проверок: при поступлении элементной базы (что загорается и реагирует), после припайки к плате и прошивки (что работает при подаче питания), после надевания корпуса (что не задели) и в конце финальный контроль готовых токенов. До пользователя доходит уже испытанное устройство.

Неделя под нагрузкой

Ресурс токена — это в первую очередь ресурс генератора случайных чисел и электронных компонентов, выполняющих операции. Чтобы убедиться, что запаса прочности хватит на весь цикл эксплуатации, проводим нагрузочное тестирование: токен ставится на стенд, где в цикле раз за разом выполняет, например, операцию подписи. Либо выясняется, что ресурса недостаточно и устройство выходит из строя слишком рано, либо что запас прочности таков, что любому пользователю хватит его с избытком.

Для примера: при тестировании устройств линейки Рутокен ЭЦП 3.0 у большинства за сутки теста набегает порядка миллиона, а то и полутора миллиона операций подписи. После минимум недели такого теста счет идет на восемь миллионов и больше — это прям сильно больше, чем требуется реальному потребителю за весь срок службы.

Важная деталь: в нагрузочном тесте участвуют не единичные экземпляры, а десятки устройств. Логика простая: ошибка в программном коде, скорее всего, проявится на любом экземпляре, а вот деградация физического ресурса — штука вероятностная, и чтобы ее увидеть, нужно набирать статистику. Для полноты картины: автотесты прогоняются на трех-пяти экземплярах, но микропрограмма проходит десятки итераций разработки, и на каждую из них прошивается от нескольких штук до нескольких десятков устройств.

Нагрузочное тестирование проверяет, надолго ли хватит ресурса. Но есть и зеркальный класс рисков — операции, завершившиеся некорректно. Типичная нештатная ситуация: пользователь выдергивает токен или смарт-карту, пока те выполняют какое-то действие, например, записывают сертификат. Здесь важно, чтобы при следующем подключении устройство само осталось рабочим и объекты на нем не были повреждены из-за некорректно закончившейся операции. Чтобы в этом убедиться, мы тестируем прерывание операций. По аналогии с нагрузочным тестированием устройства раз за разом выполняют, например, ту же подпись, но в случайный момент их отключают, затем снова подключают и прогоняют небольшую диагностику.

Первая установка для тестирования NFC: DVD-привод, стакан и ридер
Первая установка для тестирования NFC: DVD-привод, стакан и ридер

Для токенов используется управляемый USB-хаб, который по команде сбрасывает и заново подает на порт питание — это полностью имитирует переподключение устройства. С NFC было сложнее: карту требовалось физически перемещать вокруг ридера, чтобы подключать и отключать ее. В шутку мы даже подумывали завести в офисе хомячка: он радостно бегает в колесе, к которому прицеплена карта, — и она то подносится к ридеру, то отдаляется от него. К сожалению, подобный тестовый стенд слишком плохо поддается управлению. Первую кустарную установку собрали сами: ридер зафиксирован сверху, а под ним DVD-привод вращает стакан, бортик которого имеет разную высоту, и скользящая по нему карточка поднимается и опускается, то приближаясь, то удаляясь от ридера. Сейчас вместо этого используется 3D-принтер: его манипулятор подносит и относит карту.

 Похожая история привела нас и к тестированию вибростойкости. Однажды в партии устройств с флеш-памятью один образец не работал по неожиданной причине: SD-карточка оказалась смещена внутри разъема и поэтому не читалась. Случай редкий, но мы подумали, что такое может в принципе повториться и при эксплуатации. Люди ведь постоянно возят устройства с собой в транспорте, швыряют их на стол и вообще подвергают их ударам и вибрации. Теперь подобные модели проходят тестирование в нашей виброустановке.

Новые (и старые) странные миры

Совместимость — тема, где пользовательские сценарии умеют удивлять даже нас. Первым делом при выпуске продукта проверяется совместимость с операционными системами и архитектурами, заявленными как поддерживаемые. Но окружения живут своей жизнью, поэтому проверки повторяются и после того, как выходит очередная версия ОС, — иначе заявленная поддержка однажды может оказаться нерабочей.

Давно снятые с производства модели тоже проверяем: они должны нормально идентифицироваться в актуальном софте, чтобы пользователь со старым токеном на руках видел не загадочную ошибку, а конкретное оповещение о том, что модель устарела и ее пора заменить.

Совместимость тестируется и с токенами других производителей — там, где она заявлена. Например, в Рутокен Логон, решении для входа в систему, поддерживается JaCarta, и эта совместимость подтверждена полноценно: по всем доступным сценариям, а не просто на минимальную работоспособность. Основной сценарий здесь — аутентификация в Linux-системе, локально или под доменной учетной записью: вставляешь токен — и логинишься, причем по любому из них. Проверяются и нештатные ситуации, например выдергивание токена в процессе работы, — о том, как мы испытываем устройства на такие обрывы системно, я рассказала в прошлом разделе.

Иногда любопытство заводит дальше формального списка. Однажды коллега с тестерским прошлым подумал: есть у меня Steam Deck, есть Рутокен, есть USB, есть кроссплатформенный центр управления Рутокен (панель под Linux, Windows и macOS, которой меняют PIN-коды и записывают объекты) — почему бы не попробовать? Результат превзошел ожидания: центр управления не только сам заработал на приставке, но и увидел подключенный токен — можно было узнать модель, посмотреть объекты и что-то с ними сделать. Коммерческой необходимости в этом тесте не было, но такие «пасхалки» повышают интерес к работе. А заодно подтверждают кроссплатформенность на практике.

pcscd на Steam Deck видит Рутокен ЭЦП
pcscd на Steam Deck видит Рутокен ЭЦП

 Периферия — отдельная глава. Возьмем USB-хабы: они очень популярны у заказчиков, но, как говорится, не все йогурты и USB-хабы одинаково полезны. На рынке встречаются экземпляры с неудовлетворительными характеристиками по питанию или те, что начинают неоправданно медленно работать, если подключить больше какого-то количества устройств. Поэтому если заказчик собирается закупать конкретную модель хаба, мы иногда тестируем совместимость именно с ней.

Матричные принтеры выглядят еще более неожиданным соседом для электронного токена. И тем не менее это рабочий сценарий. Один из банков исторически печатает PIN-коды подготовленных профилей так же, как когда-то печатал PIN-коды банковских карт, — принтеры сохранились со старых времен, и менять их под новую задачу не стали. Пришлось тестировать совместимость с ними; один такой принтер теперь стоит прямо у нас в офисе.

Тестируются и способы подключения. Типовой интерфейс токена — USB Type-A, Type-C или NFC, а вот целевое устройство не всегда совпадает: токен с Type-C порой нужно подключить к iPhone со старым разъемом Lightning. Поэтому мы проверяем подключение и напрямую, и через переходники. Объем перебора в реальности выглядит так: берем токен с Type-A, перебираем переходники с выходами Type-C, Micro-USB, Lightning; каждый вариант подключаем к ноутбукам, компьютерам, телефонам на iOS и Android, к USB-хабам. Стараемся набрать побольше разнообразных устройств и не повторяться: два одинаковых Android-смартфона в матрице смысла не имеют. 

Проверки, которых нет в типовых тест-планах

Есть у нас и вовсе неочевидные сценарии. Переходники, через которые подключается токен, тоже съедают часть мощности. Например, из-за длины шнура. Мы сталкивались с ситуацией, когда токен через переходник вроде бы работает, светодиод горит, а мощностей ему уже не хватает. Все возможные переходники перебрать невозможно — и так родился еще один сценарий: замер вольтамперных характеристик.

Замер на стенде: напряжение, ток и потребляемая мощность в реальном времени
Замер на стенде: напряжение, ток и потребляемая мощность в реальном времени

Устройство подключается к специализированному стенду, где фиксируются напряжение, ток и потребляемая мощность — в покое и при выполнении конкретных операций: создании и удалении файлов, чтении, той же подписи. На выходе — готовая таблица с минимумами, максимумами и средними значениями по каждой модели.

Результаты замеров: покой, создание/удаление файлов, чтение файлов
Результаты замеров: покой, создание/удаление файлов, чтение файлов

 Смысл замера: убедиться, что токену хватает питания при типовых настройках энергопотребления портов — и что даже при не самых типовых настройках энергосбережения ноутбука токен продолжит подключаться и выполнять операции.

Второй неочевидный момент — температурные характеристики. Электроника греется под нагрузкой, а пользователь эксплуатирует устройство не только в комфортном офисе: бывает и на улице, где минус или жара. Тестируем три вещи. Первая — чтобы устройство не вышло из строя от перегрева. Вторая — чтобы оно стабильно работало в нестандартных условиях. Третья, пожалуй, главная — чтобы оно не обожгло пользователя при активном использовании.

Handmade термобокс
Handmade термобокс

Для этого в лаборатории стоит термобокс, спроектированный и собранный силами моих коллег. Он рассчитан на нагрев до 50 градусов с поддержанием стабильной температуры, а аналогичные замеры на холоде проводятся в холодильнике — примерно до минус 10. Диапазон намеренно «человеческий»: вряд ли кто-то пользуется токеном в Анадыре при минус 60 — скорее у него раньше сядет устройство, которым он параллельно пользуется. Когда мы планировали эти испытания, стоял вопрос: собрать самим или купить готовые климатические камеры. Готовые оказались сильно дороже — они рассчитаны на сертификационные испытания с более широким диапазоном и сложной архитектурой, а нам «корочка» о работе при экстремальных температурах была не нужна.

Тест на дружелюбность

След литья на корпусе токена
След литья на корпусе токена

Физический объект, который человек держит в руках, должен быть не только надежным, но и удобным — и это тоже предмет тестирования. Начать с того, чего обычно не замечаешь, пока не возьмешь в руки: на корпусах токенов остаются следы литья и печати — небольшая «цыпка» на кончике. Формально это не дефект и не брак, а особенность технологии, но тактильно она чувствуется, выглядит неопрятно, а крупная заусеница и вовсе может поцарапать. Мы это, строго говоря, не тестируем — это предусмотрели на производстве: автоматы нагревают проблемное место и сглаживают его, и корпус становится гладким и аккуратным.

Дальше — габариты. Вроде бы компактность — достоинство, но у нее есть оборотная сторона: модель может получиться настолько небольшой, что после подключения ее будет сложно вытащить из USB-порта. Тестирование отслеживает баланс между компактностью и удобством извлечения.

Если у токена есть кнопка, к ней отдельные претензии: она должна не просто работать, но не залипать, реагировать именно на пальцы, а не на бумажки, карандаши и проволочки, и быть доступной при стандартном способе подключения — а не развернута «лицом в стол», когда токен воткнут в ноутбук. За этим стоит живая практика: опытные образцы тестируют прямо на людях — коллег по офису буквально ловят и просят «понажимать кнопку». Бывали случаи, когда получали условно 3–5 образцов с кнопкой, а из десяти прикладываний срабатывание — дай бог один-два раза. Тогда начинают выяснять, что не так: меняют чувствительность кнопки или что-то в электронике. Заведомо неудобное изделие до выпуска не доходит.

Даже звуковые сигналы проходят проверку. У устройства Рутокен Reader есть короткий сигнал при подключении смарт-карты — и этого звука в реальной эксплуатации хватает с избытком: большинство пользователей более сложные мелодии никогда не услышат. Но чтобы убедиться в работоспособности динамика, простого «пика» мало, поэтому при тестировании воспроизводятся более сложные мелодии — в коммерческой версии их не услышать из-за авторских прав, а тестировщиков они развлекают. Забавная деталь: динамик мы сами не производим, он закуплен, и подобран тот, что обеспечивает минимально достаточную работоспособность с определенным количеством нот. Заодно это резерв для кастомизации на будущее — возможность адаптации сигнала заложена в подготовке продукта. 

Итог

«Под капотом» каждого токена — люди, стенды и статистика: синтетические тесты комплектующих, многоэтапный производственный контроль, миллионы операций подписи в нагрузочных прогонах, матрицы окружений и переходников, вольтамперные замеры, испытания жарой и холодом и тест на тактильную комфортность. Весь этот путь между конвейером и USB-портом пользователя токен проходит до того, как попадет в руки.
Так что если кто-то скажет вам, что токен — это «просто флешка», — теперь вы знаете, что стоит за этой «простотой».

Светлана Быстрая

ведущий инженер по тестированию в компании «Актив»