Эта статья о моем опыте импортозамещения в сфере сертифицированного измерительного оборудования, а именно использование приборов Bercut‑ETX 10G компании ООО «НТЦ‑Метротек». Полагаю, что информация в статье будет любопытна коллегам трудящимся в близких областях.
Здравствуйте, меня зовут Денис Шехалев. Работаю в сфере разработки систем радиосвязи, радионавигации, радиолокации и т.д. В профессиональных кругах известен под ником des00.
При разработке очередной системы связи с интерфейсами Ethernet, в ТЗ было обозначено обязательное требование: приемосдаточные испытания должны проводиться на сертифицированном измерительном оборудовании отечественного производства. Требовалось выполнить стандартные тесты оборудования Ethernet и провести метрологию оборудования радиосвязи на асимметричном радиоканале через порты 100/1000Мб/с.
При обращении в государственный реестр средств измерений для сетей Ethernet нашлись приборы компании «НТЦ‑Метротек» семейства Bercut-ETX, под номером 52143-12. По результатам изучения руководства по эксплуатации ДДГМ.030.000.001 РЭ Редакция 15, 2022 (запомним это!) было принято решение приобрести два прибора в разных конфигурациях.
Первый прибор для проведения измерений: RFC-2544, Y.1564, BERT, второй прибор RFC-2544, BERT, Пакетный джиттер, Генератор трафика, Приказ 870. Т.е. приборы предназначались для выполнения одностороннего/двустороннего BERT, тестов RFC-2544, Y.1564, Приказ 870 и т.д. при включенном шлейфе на одном из приборов.
Хочу отметить, что базовый прибор по сути болванка с минимальным набором инструментов. Все остальные инструменты и опции требуется покупать отдельно. Стоимость требуемых нам лицензий оказалась сопоставима по стоимости с базовой ценой приборов. Т.е. цена приборов выросла почти в 2 раза, а их итоговая стоимость составила, с учетом уровня цен 2022 года, цену приличного автомобиля. :)
Первые «звоночки»
Начало интенсивной эксплуатации приборов совпало с альфа-версией разрабатываемого программного обеспечения и пришлось на февраль 2023 года. На этом этапе различные глюки приборов, например смена параметров тестирования, зависания, отсутствие сигнала, маскировались в процессе отладки собственной системы. Но раздражение от использования приборов понемногу начало нарастать.
Первый серьезный звоночек прозвучал, когда я не смог выключить прибор в конце рабочего дня. Картина маслом: ночь, конец 12 часового рабочего дня, диагностировано поведение оборудования при определенном виде трафика, запланированы работы на следующий рабочий день, уже мысленно дома в холодильнике, нажимаешь на приборе кнопку питания, а прибор не выключается. Более того, не работает ни одна кнопка. Ступор от того, что такая примитивная вещь как выключение питания, может не работать на сертифицированном приборе, выпускаемом больше 10 лет, был настолько велик, что не придумал ничего другого как просто оставить прибор без внешнего питания, чтобы он сам выключился от разряда аккумулятора.
Наутро было еще раз проштудировано руководство по эксплуатации, найдена пропущенная глава и рядом с приборами поселился их, теперь уже похоже вечный спутник, деформированная скрепка, по имени «кривой стартер».
Как показала дальнейшая эксплуатация она пригодилась еще много раз.
Первое обращение в саппорт
Чем меньше багов оставалось в собственном оборудовании, тем более явно проступали баги приборов. Полагаю, что не я один такой, кто считает сертифицированный прибор, априори рабочим и достоверным, поэтому в первую очередь ищет проблемы в собственном оборудовании, а не приборе. И вот, в очередной раз приборы заявили, что оборудование не работает, хотя статистика разрабатываемого оборудования не показывала проблем. В процессе диагностики выяснилось: один прибор не видит входной поток при двустороннем BERT. Причем не видит его настолько, что даже не работает счетчик принятых кадров. Выключение и включение прибора помогло, трафик пошел. Но после этого терпение закончилось и было обращение в саппорт с открытием кейса под номером 1374.
Начало саппорта
Началась процедура поддержки с обновления ПО, хотя это очень удивительно для приборов, купленных в 2022 году. Выяснилось, что на одном приборе версия ПО слишком далеко ушла от релизной прошивки версии 15. Т.е. в 2022 году, нам продали прибор, в котором залили старую прошивку. Даже если прибор был на складе несколько лет и его потом достали и продали, то полагаю, что компания уровня "НТЦ-Метротек", как минимум должна была выполнить «предпродажную» подготовку зная о том, что ПО обновляется.
Что интересно, прошиваются приборы очень своеобразно для 2023 года: прибор на котором есть оптические порты 1/10G, порт 1000/100/10, локальный порт Ethernet, USB прошивается через виртуальный COM-порт и Xmodem на скорости 57600б/с, поэтому обновление прошивки занимает 45 минут (запомним это!).
После обновления, приборы были синхронизированы по версиям ПО и их эксплуатация была продолжена.
Эксплуатация интенсивная, приборы работали в режиме нон-стоп 6 дней в неделю, менялись режимы и параметры измерений, проверялись пределы и особенности работы своего оборудования и ПО и т.д. И тут началось самое интересное.
Приборы тупо зависали от того что выполняли тесты или просто стояли включенные на столе. Да, включенный прибор постоял на столе несколько часов и зависал, приходилось звать на помощь кривой стартер и делать аппаратный сброс что бы продолжить работу. Очень интересно было это наблюдать при выполнении длительных тестов. Когда многочасовой тест завершился, но результатов я вам не скажу.
Глючили измерения: приборы не видели входной трафик или видели несуществующий трафик, не формировали выходной трафик, не выдерживали заданную скорость потока, некорректно отображалась статистика работы прибора, приборы плевали в сеть некорректные кадры (в режиме BERT прибор раз в секунду выдает кадр минимального размера, в котором DMAC = SMAC, а в поле данных нули). Да, некорректные кадры не влияли на работу теста, но в руководстве по эксплуатации упоминания этой особенности я не нашел. Разрабатываемое оборудование их отбрасывало, но диагностика того что же именно откидывает оборудование и почему, заняло значительное рабочее время. В итоге выяснилось, что оно работает абсолютно корректно, в отличии от приборов.
Все эти моменты обсуждались с саппортом, диалог с которым изначально строился на позиции «сам дурак, читай инструкцию». Да, отчасти они были правы, некоторые тесты я запускал не корректно, не прочитав внимательно руководство по эксплуатации.
Подход к общению с саппортом был изменен. Поймав баг прибора, я включал их друг на друга пачкордом и записывал видео, в котором показывал: настройки тестов, как именно не работают приборы, статистику работы приборов и номера версий ПО. Тогда диалог с саппортом перешел на уровень «да, все таки проблемы есть, давайте поотлаживаемся». Так, из разработчика и тестера своей системы я стал тестером ПО приборов, при этом совершенно бесплатно. :)
В итоге было предложено прошить приборы экспериментальным ПО версии 22 и понаблюдать за их поведением. Как показала дальнейшая работа, ничего особо не изменилось, более того, на старые баги наложились новые, трудно диагностируемые. А именно, приборы иногда не корректно сохраняют/восстанавливают настройки измерений при своем выключении/включении.
Но самое главное, по мере использования ПО версии 22 внезапно выяснилось, что приборы потеряли часть своей функциональности. Напомню, ПО версии 15 на приборах позволяло выполнять тесты RFC-2544/Y.1564/BERT и RFC-2544/BERT/Приказ 870. А ПО версии 22 только Y.1564/BERT. На разумное обращение в саппорт, куда делись оплаченные опции, был получен ответ что с 2023 года приборы изменили свою функциональность, о чем указано в руководстве по эксплуатации ДДГМ.030.000.001 РЭ Редакция 16, 2023. Теперь есть отдельная прошивка Y.1564/BERT и отдельная прошивка RFC-2544/Приказ 870. Т.е. купленные лицензии работают, но, если вы хотите весь диапазон нужных вам тестов, перешивайте приборы каждый раз. Да, да, именно той самой процедурой которая длится 45 минут через COM-порт.
Мягко говоря, это конкретное кидалово. Мне нужны работающие приборы в той конфигурации которую я купил, а не предлагаемые костыли. Простой аналог, вы покупаете машину. При очередном ТО, вам убирают одно левое колесо и говорят мы подумали, а теперь вы ездите на трех колесах. На замечание, а что делать если мне нужно правое колесо, вам предлагают переставить его с левой стороны и ехать дальше.
Неожиданные открытия
К этому моменту общение с саппортом шло уже четыре месяца, приборы стабильно глючили раз в два-три дня. Порой демонстрируя уж совсем детские баги, которые непонятно как попали в релиз :)
Все это естественно отправлялось в сапорт по номеру кейса 1374, который в конце концов перестал отвечать на письма, замолчав почти на месяц. Проснулся саппорт только после того, когда менеджеру компании, проводившем сделку о покупке, было высказано все что о них думают.
Смирившись с тем что от саппорта толку ноль, а работу, уже по бета‑тестированию делать надо, решил откатить ПО приборов на версию 15 чтобы подготовить их к выездам на испытательные полигоны: сконфигурировать все нужные тесты и сохранить их профиль. Делать вручную это не удобно, поэтому я задействовал возможности протокола Telnet указанные в руководстве по эксплуатации. Тут я совсем забыл, что оказывается, на приборах, предназначенных для тестирования сетей Ethernet, в 2023 году, эта штука платная и лицензия Telnet была куплена только на один прибор. Но этого оказалось достаточно.
Каково же было мое удивление, когда выяснилось, что ПО версии 15, распространяемое в качестве стабильного релиза, если судить по логотипу компании не обновлялось с 2013 года. т. е. за 10 лет, доработок в ПО прибора не вносилось, глюки не правились. А если правились, но это не отображалось в лого компании, то это как минимум странно для компании такого уровня, как «НТЦ‑Метротек».
Во избежание недоразумений и обвинения меня в «фантазерстве», вот ссылка на облако, где выложены видео, отправляемые в саппорт компании «НТЦ‑Метротек».
Резюмирую свой опыт использования этих приборов.
Сами приборы интересные, хороший форм-фактор, относительно емкий аккумулятор, разнообразие интерфейсов и видов тестов. Но есть стойкое ощущение что приборы не отлажены. Просто выпущены в продажу в формате "и так сойдет".
Большинство багов возникали в момент включения прибора и запуска первого теста. Ну лень заниматься такими тестами отделу тестирования, наймите 10 пенсионеров на пару месяцев, дайте им по пенсии сверху, комнату с чаем, чипеньками и музыкой что бы попеть. Каждому дайте два прибора настроенных друг на друга и пусть они каждые 5-10 минут включают/выключают прибор и тыкают кнопки. Большую часть багов вы сразу найдете. За полгода почти ежедневного использования приборов они у меня глючили раз 50, не верю, что толпа тестеров-аксакалов не сможет выловить эти ошибки.
Резюмирую свой опыт общения с саппортом «НТЦ‑Метротек»
Сам саппорт довольно отзывчивый, стараются понять проблему и помочь, но порой складывается ощущение что работники саппорта сами не используют свои приборы и не понимают проблем тестирования различных комплексов связи. Точнее, они не работали на них интенсивно, а так, тыкнули раз 5 за месяц, на столе на метровом пачкорде, приборы как-то заработали и пойдет.
На текущий момент, получилось договориться с саппортом компании об отправке приборов (покупки 2022 года) в гарантийный ремонт, с предоставлением подменных приборов на время ремонта. Посмотрим, что же из этого получится. :)
После прочтения статьи может сложиться впечатление что я стараюсь очернить авторов данного прибора и рисую картину что один я д'Артаньтян. Отнюдь, мои системы тоже порой не работают, глючат и виснут. Но во всех подобных случаях, я стараюсь найти баги, понять причины их возникновения и как это вообще попало в релиз, исправив проблему. Обеспечив своих заказчиков обновлениями, для того что бы купленное оборудование выполняло требования ТЗ.
Этой статьей, пусть и поданной в критической манере изложения, я пытаюсь призвать компанию "НТЦ-Метротек" к ответственности за свой продукт. Понимаю, что прибор сложный, что в нем куча программируемых чипов, но тем не менее отвечайте за свою продукцию. Выпустили сырой прибор на рынок, будьте добры обеспечить надежность его работы. Не можете обеспечить работоспособность прибора — отзывайте его, выкупайте обратно бесполезные лицензии и приборы. Продали приборы в одной конфигурации, так осуществляйте поддержку этой конфигурации в течении срока жизни прибора.
Да и в целом, меня удивляет тот факт, что руководитель проекта Bercut одобрил идею обеспечить приборы, с лицензированными инструментами и опциями, разными прошивками. Ну хорошо, все тесты не влезают в ресурсы ПЛИС, так храните все прошивки в приборе. Переключайте контекст за секунды. Но неужели даже мысли не возникло, что ждать 45 минут, если надо провести несколько видов тестов во время выезда, это как минимум не удобно?
Почему практически все радуются, читая историю как пользователь вернул бракованный автомобиль дилеру, но когда поднимается подобная история с измерительным прибором, то все считают это нормой? Давайте все: разработчики, тестеры, технические писатели, менеджеры и т.д. и т.п. отвечать за свою работу, тогда мир станет лучше. И колесики импортозамещения закрутятся гораздо веселее.
