Страх, боль и ненависть технической поддержки

    Хабр — не жалобная книга. Эта статья о бесплатных инструментах компании Nirsoft для системного администратора Windows.

    Обращаясь в службу технической поддержки, зачастую люди испытывают стресс. Кто-то переживает из-за того, что не сможет объяснить проблему и будет выглядеть глупо. Кого-то переполняют эмоции и трудно сдержать негодование по поводу качества услуги — ведь раньше не было ни единого разрыва!

    Мне нравится, например, техническая поддержка Veeam. Она отвечает небыстро, но точно и по существу. Я даже рад написать туда по пустяку, чтобы научиться какой-нибудь новой фишке.

    Неплохая техподдержка в DeviceLock. Опыт их старожилов заслуживает уважения. Почти после каждого обращения я вношу несколько строк «Тайного Знания» в корпоративную Wiki. При этом они быстро собирают тестовые билды продукта с исправленным багом — поддержка и производство тесно связаны.

    ArcServe не очень. Резиденты побережья Индийского океана очень, очень вежливые и внимательные, а больше ничего хорошего сказать не могу. Если нет готовой KB, ваша жизнь будет печальной.

    Особняком стоит техническая поддержка нашего антивирусного флагмана — Лаборатории Касперского. Как человек откладывает поход к стоматологу, так и я до последнего стараюсь не писать туда. Потому что будет долго, больно и с непредсказуемым результатом. Доктора выбрать нельзя, хоть у тебя 5000 рублей лицензий — лечит кто попадётся. А я вроде и сам доктор (ну не доктор, так слесарь), мне вдвойне обидно.

    К делу.

    Обновляем Kaspersky Security for Windows Server с версии 10.1.1 на 10.1.2. Операция простая, но мы-то знаем. В очередной Patch Tuesday от Microsoft я заметил, что обновления не установились на большую группу серверов.

    Выяснилось, что на серверах прекратили работу службы wuauserv и BITS, а при запуске возвращается ошибка:



    Полечив запуск народными средствами

    sc config wuauserv type= own
    sc config bits type= own
    

    я понял, что между серверам есть кое-что общее — на 100% пациентов недавно устанавливался KSWS 10.1.2.

    Заболело сильно, открыл обращение.
    Здравствуйте!
    После апгрейда с 10.1.1 на 10.1.2.996 на ряде серверов сломались службы BITS и Windows Update.
    При запуске возвращается ошибка: 1290
    Связано ли возникновение ошибки с установкой продукта?
    Ответ не заставил себя долго ждать.
    Добрый день, Михаил!
    Kaspersky Security 10 for Windows Server при установки или обновлении версии не рассматривает имеющиеся службы, а так же не проверяет/изменяет их настройки.
    Сказали — как отрезали.

    Беглое гугление показало, что проблема существует, по крайней мере существовала в другой версии.

    Написал обратно — вот умные люди пишут, что проблема такая раньше была, может и сейчас сохранилась? Предоставил стандартную техническую информацию.

    7 дней (семь дней, Карл!) техподдержка хранила молчание. Результат не обрадовал. Привожу в сокращенном виде:
    Михаил, добрый день!

    В Вашем случае, отключение служб после апгрейда продукта связано именно с индивидуальными или групповыми настройками операционной системы (мои выводы основаны на исследовании присланного вами отчета).

    Рекомендую Вам на глубоком уровне исследовать работу системных служб. Я был бы рад Вам помочь в этом, однако, это находится в компетенции поддержки Microsoft, так как указанное Вами решение является рабочим и требует только одноразового ввода.

    От себя, хочу добавить, что обе указанные Вами службы относятся к обновлению операционной системы и никак не влияют на работу нашего продукта, соответственно и на степень Вашей защиты.
    Вот и конец. Обидно.

    Ладно, если Лаборатория Касперского не может найти дефект, его найдут солдаты Н придется искать самому.

    Настройка служб Windows хранится в ветке реестра:

    HKLM\System\CurrentControlSet\services\

    В файловой системе ничего полезного не хранится, кроме бинарных файлов.

    Чем мы мониторим реестр? Самый универсальный инструмент — Process Monitor от Sysinternals.

    Что не так с Process Monitor? В нем архисложно что-то найти, если не знаешь в точности, что ищешь.

    В то же время есть утилиты от не так широко известной компании Nirsoft. Она выпускает десятки уникальных программ — от мониторинга подключения USB-устройств до считывания ключей продуктов из реестра. Если вы никогда про нее не слышали — очень рекомендую зайти на сайт и оценить коллекцию. Я когда в первый раз о них узнал — как будто открыл коробку с игрушками.

    Для нашей работы будет полезна утилита www.nirsoft.net/utils/registry_changes_view.html
    RegistryChangesView v1.21. Качаем, запускаем на сервере.

    Первое, что надо сделать — снепшот до установки.



    Затем запускаем Sysinternals Process Monitor, отключаем всё, кроме реестра, и настраиваем сохранение результатов в файл.



    Запускаем процесс установки, убеждаемся, что всё сломалось.
    Делаем второй снепшот в RegistryChangesView.
    Сравниваем снепшоты между собой.



    А вот и, то, что нас интересовало.





    Но кто это сделал? Может служба сама себя сломала?

    Смотрим лог Process Monitor, начнем с фильтрации процессов:





    Берем Summary по реестру, сортируем по полю Writes:



    А вот и искомое:





    Вот и всё друзья, за 5 минут причина проблемы найдена.

    Это точно инсталлятор Kaspersky, и мы точно знаем, как он ломает службу. А значит, легко вернем её в исходное состояние.

    Какие выводы?

    На поддержку надейся, а сам не плошай. Не надо лениться. Разберись.
    Используйте подходящий инструментарий. Расширяйте свой личный набор технических средств. Изучайте те инструменты, которыми пользуетесь каждый день.
    Ну а если сам работаешь в поддержке, попробуй научиться проскакивать первую фазу — «Отрицание». Это, кстати, самое сложное.

    Вот бы самому начать следовать этим советам. Привет Лаборатории!

    Дополнение. Через две недели мне повезло получить ответ от разработчика. Спасибо, Олег, хотя бы одному человеку не всё равно, а значит не всё для нас, клиентов, потеряно. Он пояснил, что на самом деле инсталлятор возвращает состояние службы в исходное состояние, как после чистой установки операционной системы (и это действительно так, проверил). Предыдущая версия KSWS меняла настройки службы, выделяя их в отдельный процесс (зачем?). Но исталлятор откатывает настройки не совсем корректно, просто меняя значения в реестре, не уведомляя Service Control Manager. После перезагрузки (мне способ перезапуска SCM неизвестен, хотя если просто попробовать повторить ту же настройку через утилиту sc.exe, то перезагрузки можно избежать), службы обновления снова заработают. Самый простой workaround — после обновления релиза назначить перезагрузку на ночь (в сервисное время).
    Честно говоря, всё это было уже описано в вышеприведённом сообщении форума. Просто подтвердилось, что ошибка перешла и в новый релиз.

    PS: Спасибо berez за помощь с пунктуацией.
    Поделиться публикацией

    Похожие публикации

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 44

      +3
      Отлично.
      Вопрос, на кой черт инсталлятору KAV понадобилось модифицировать эту службу. Надеюсь, что в поддержке Касперского всё-таки смогут внятно ответить.
        +3
        О там какая-то удивительная история. Из форума:
        Дело было в том, что при установке AppControl менял дефолтные группы для сервисов Windows Update и BITS (чтобы поместить их в отдельный процесс svchost.exe), но начиная с какого-то обновления Windows сервисам это стало не нравиться. Workaround для такой ситуации — деинсталлировать AppControl. Если же компонент всё-таки нужен, то есть вариант перенастройки групп в реестре — за деталями можно обратиться в поддержку.


        То есть Лаборатория решила нас обезопасить посильнее, а потом, видимо, передумали. Стали возвращать обратно, а получилось еще хуже. Мы не используем AppControl, а глюк есть.

        Очень меня удивил ответ, с учетом того, что даже лог инсталлятора пестрит «прощупыванием» этих двух служб. Но для кого-то суслика нет.
        +4
        После недавней публикации в стиле: «Сторонние антивирусы — главное зло в системе», вот ни разу не удивлен…
          +3
          Из самого простого деструктива: в Kaspersky Free всегда настраиваю запрет на расшифровку HTTPS траффика — раздражает внедрение своего сертификата MTM. Так же никогда не использую KSN, не радует перспектива загрузки в нее любого локального файла.

          У нас программы безопасности это причина 99% «глюков» операционной системы. Kaspersky, Devicelock, Infowatch и т.п. наиболее часто приводят к BSOD или необъяснимому поведению ОС после обновления на очередной релиз Windows 10, особенно при совместной работе.
            +2

            А выход один — линукс. Жалко, что в корпоративных условиях этот выход часто невозможен.

              +1
              А на Линуксе у нас тоже Kaspersky. Нет выхода. )
              Как-то товарищи спросили, почему на ESXi KAV не установлен. Говорят, лучше бы Hyper-V поставили, а на него Kaspersky, тогда канонично было бы.
                +2

                Блин, поставьте нормальный файрволл, тот же Palo Alto. И не нужен Касперский вообще. И вообще тогда defenderом можно обойтись.

                  +1
                  Думали об этом. Но у нас самый популярный источник троянцев — флэшки. При этом они используются исключительно по работе, просто очень большой объем документации через них проходит.
                0
                Весь вопрос в масштабе «корпорации». На прошлом месте работы мне удалось убедить руководство, и пересадить 120 пользователей на линукс. 1С + офисный пакет + КриптоПро и вот это вот все. Подчиненные админы были настроены скептически, но начав получать з/п не «за работу», а за «что бы все работало», если Вы понимаете о чем я, хлопали в ладоши.
            0
            У нас программы безопасности это причина 99% «глюков» операционной системы. Kaspersky, Devicelock, Infowatch и т.п. наиболее часто приводят к BSOD или необъяснимому поведению ОС


            Могу подписаться под каждым словом.
              +1
              Доктора выбрать нельзя

              Так может поликлинику сменить? Ну казалось бы, вот явный неприкрытый косяк, фиксируем его и всё, переходим с Касперского на какой-нибудь другой антивирус, нет?
                +4
                Да нет альтернатив. С импортом сейчас напряжёнка. И продукт продукту рознь, тот же McAffee вспоминать больно.
                Про наш DrWeb даже и писать не хочу. Два раза обращался в их поддержку. Сложилось впечатление, что там в принципе не способны решить никакую проблему, продукт такой, какой есть, а баги это его незаменимая часть.

                Вы не подумайте, что в Kaspersky Lab вообще не сопровождают продукт. Просто минимальное внимание вам окажут только если ошибка абсолютно крититическая — BSOD, неработоспособность ПК, или вас прислали из другой поддержки с доказательствами, что это именно Kaspesky (было и такое).

                Но в общем случае вы будете грустить, грустить и грустить, особенно если сравнивать с нормальной поддержкой. Лучше если вы сами во всём разберётесь, все логи сами изучите, на блюдечке всё предоставите, и тогда может будет вам и фикс. А еще лучше если этот фикс выпустили до вас под другого клиента.

                Или если происходит какая-то мутность, вам могут дать «приватный» патч «так на всякий случай» — вдруг поможет, чтобы не разбираться.
                  +1
                  А встроенного антивируса почему не достаточно?
                    0
                    Формально его достаточно. А на практике наблюдали настоящий вирусный разгул в соседней компании, которая очень любила Windows Defender (или как он сейчас называется?). Слабым местом у них, как я понял, было отсутствие централизованного контроля за состоянием антивируса, установки обновлений, плюс слабая самозащита. С Kaspersky Security Center общая картина гораздо яснее.
                    +2

                    ESET не импонирует? Так-то решение вроде неплохое. Со своими плюсами и минусами, конечно

                      0
                      У меня нет, к сожалению, опыта работы с ESET. В прошлом у них была очень грамотная маркетинговая кампания, а как следствие и имидж. Хорошая ли там поддержка, и как оперативно исправляются ошибки — вопрос.
                        +2
                        В прошлом: уточню, в далеком прошлом, за 15 лет все могло очень сильно поменяться, у меня на ESET выросли зубы размером с моржовые бивни.

                        На новой работе стоял сервер на win2k, выставленный одним голым сетевым интерфейсом прямо в интернет, чтобы из Питера могли управлять тамошней СУБД. На сервере стоял лицензионный NOD32.
                        Пока у меня не дошли руки сделать все по-человечески, с уборкой сервака за маршрутизатор, пробросом портов и заменой этого самого NOD'а, а дошли они далеко не сразу, ибо там было нужно хвататься позавчера за все сразу, а еще требовалась куча времени на согласования всего и вся: в общем, примерно раз в три-четыре дня я шел в отдельный корпус, где этот сервер и стоял (ибо RDP в двухтысячник не завезли, а всякие RADmin'ы NOD прибивал, невзирая на явное указание исключений), цеплял к машине монитор и клавиатуру, просматривал запущенные процессы и начинал давить наползших червяков вручную.
                        Вот в этот-то момент NOD крайне оживлялся, кричал «Мужик, ты что, это же вирус, не трогай его руками!» — и удалять злодеев не давал. Никакой другой реакции: ну там, удалить самому, или хотя бы не давать запускаться — от него получить не удавалось.
                        Покупка и установка корпоративного Касперского проблему решила. Впрочем, она на той работе не одну проблему решила, но это уже отдельная история.
                          0
                          ибо RDP в двухтысячник не завезли

                          Вообще-то, RDP там есть и был изначально. Другое дело, что после активации RDP нужно было обязательно перезагружать сервер.
                            0
                            Не буду спорить, дело было давно. Тогда я вариантов лучше похода в корпус не нашел.
                            Да: там, разумеется, не серверный вариант 2k стоял.
                          +1
                          У меня есть очень положительный опыт работы с ESET, поддержка очень быстрая и адекватная
                            0
                            Так же положительный опыт с ESET, есть разные линейки продуктов, от простого антивируса без всего лишнего, до «полного комплекта» с сетевым экраном и специальных версий для серверов. Ну и естественно есть сервер для управления/конфигурации на всех компьютерах, сбор логов/статистика, свои сервера обновления и пр. Уровень обнаружения не хуже чем у касперского.
                            Пользуюсь простым антивирусом, примерно лет за 10 работы с ним была только одна проблема, потребляет минимум ресурсов, работает без проблем даже не стареньких celeron с xp (5 ая версия, которая до сих пор поддерживается). По сравнению с ESET касперский монструозное непонятно что.
                            Сейчас правда на 10ках оставляю виндовый антивирус, но сильно не хватает как раз централизованного управления.
                            +1
                            Вы админку их видели? Это же чужой для хищника разрабатывал. А любая ошибка это «неизвестная ошибка».
                              0
                              В каком продукте?
                                0
                                о да, админка у нода просто кошмар
                                менее удобная админка наверное только у датапротектора и то не факт
                              0
                              Про Comodo можете что-нибудь сказать?
                              0
                              Чтобы сменить поликлинику, надо сыграть конкурс, и побеждает обычно тот, кто дешевле :)

                              Если написать ТЗ под одного вендора, то захочется потом с безопасниками разбираться?
                                0
                                Не захочется, у нас взаимная аллергия.
                                Kaspersky неплохой продукт, и KSC тоже вполне рабочее решение. Но и детские болезни встречаются регулярно.
                                Вот поддержка — худшая из тех, с которыми я общался. Поэтому надо стараться разбираться самому.
                              +2

                              антивирус на сервере появляется, когда защитой юзерских компов никто не занимается. Не место на сервере антивирусу

                                +1

                                Да он везде распылён. Например, серверный антивирус может не дать скачать какой-нибудь хакерский инструмент. По рабочим станциям бывает что и антивирус сломался, и базы не того, а на 1500 машинах за этим всем сложно следить, потому что их то включили, то выключили, то перезагрузили. Мне, конечно, в 100 раз проще серверы сопровождать, в целом процент работоспособности выше. Ещё и терминальные серверы с интернетом, качают всё подряд.
                                Нет в жизни совершенства, просто надо стараться самому быть лучше, чем первая-вторая линия техподдержки вендора.

                                +1

                                Замечу, что procmon всё-таки утилита полезная, ибо она может в трейсе сохранить даже стек потока и указать точно на модуль и место в нём, откуда пришла бяка. Не знаю, возможно ли это в утилите Nirsoft.

                                  0
                                  Звучит круто, нет ли у вас какого-нибудь примера для иллюстрации?
                                    +1
                                    В принципе, вот статья: blogs.msdn.microsoft.com/vijaysk/2009/04/02/getting-better-stack-traces-in-process-monitor-process-explorer
                                    UPD: чтобы открыть стек, двойной клик по строке в procmon
                                    P.S. в 10-ке вроде уже не обязательно ставить Debugging Tools, но адрес сервера символов нужно указать
                                      +1
                                      Ну и ещё совет: при настройке фильтров в procmon настоятельно рекомендую выставить настройку Filter->Drop Filtered Events, иначе отфильтрованное не отображается, но забивает память или файл лога.
                                  +1

                                  Честно говоря, думал что антивирусы на хостах уже изжили себя, но судя по комментам это далеко не так. У меня правда последние годы опыт строительства сетей не в России, но я давно уже не интегрировал в сеть никакого антивиря. Обычно ставится Palo Alto на стыке с инетом, у него включается подписка на антивирус и всё. Идея в том что весь трафик от юзеров ходит в доверенных сегмент через файрвол. Т.е. для роамящихся сотрудников имеем vpn, для мобильных устройств если они приходят из не доверенной зоны и хотят попасть в доверенную тоже настраивается vpn. + фильтрация url по категориям, и кто куда может ходить и какой контент использовать. Если денег много, то можно cisco AMP ещё, но цискин файрволл честно говоря редкостный кал.

                                    0
                                    Флэшки — настоящий рассадник. Каждый день что-то приносят.
                                    –1
                                    По Kaspersky Lab в прошлом тоже была похожая история. Только в моём случае, при апдейте антивируса был удален tcp..dll (точно не помню, года 4 назад такое было) и соответственно при перезагрузке ПК, который находится в домене осуществить вход в систему было нельзя т.к. не работает сеть. Решение как всегда простое, зайти под локальным админом и скопировать потерянную dll. К сожалению ответ тех.поддержки не скопировал, но был из серии «На windows 7 стояли старые обновления, поэтому такие проблемы могут быть. Обновите windows и только после этого обновляйте антивирус.»
                                    С тех пор у всегда есть тестовая группа ПК и только потом раскатываем на все остальные.
                                      0
                                      У нас KS на хостовой машине выборочно блокировал трафик на виртуалке под Hyper-V. Долго искали почему сервер пропадает для удаленного офиса, подключенного через vpn. Причем, соседний сервер на том же хосте был доступен как ни в чем ни бывало. Думаю, на хостовых машинах антивирус, в принципе, излишен.
                                        0
                                        Антивирус на гипервизоре это просто страшно. Но безопасность беспощадна. :(
                                        Одна из причин «любви» к ESXi.
                                        0
                                        Не люблю обращаться в техподдержку, но приходится время от времени. Иногда сразу отвечают и по делу, а иногда начинают грубить, задавать глупые вопросы…
                                          0
                                          Для меня хороший тон техподдержки, когда тикет большую часть времени находится на стороне клиента. Для этого есть стандартные ответы со «скриптами» сбора технической информации, уточняющие опросники и т.д. Много есть способов привлечь клиента в решение проблемы по-максимуму. Главное, чтобы действия, которые должен выполнить клиент были на 146% понятными, простыми, достижимыми и желательно несложными.
                                          0
                                          Работал в компании на 7к+ машин, и отвечал в этом бардаке за антивирус касперского. Во время прочтения Вашей статьи словил огромные вьетнамские флешбеки общения с техподдержкой Касперского.
                                          Мини-лайфхак — лучше писать о своей проблеме и в тикете, и у них на форуме. Такое ощущение, будто, работают там те же люди, что отвечают в тикеты, но ответы приходят в разы быстрее (полчаса-час, вместо дня — двух по тикету).
                                            0
                                            Спасибо. Честно, раньше не совсем понимал зачем нужен форум, думал для тех, у кого нет официальной поддержки, но бывает ли так?
                                            Удивительно, но сотрудники из форума действительно быстрее и точнее могут решить проблему, и это феномен — когда энтузиазм побеждает рабочий формализм.
                                            0
                                            Проблема качества техподдержки Касперского как минимум пару лет назад была в том, что они навязали работу первой линии своим дилерам. И они уже выкручивались как могли, в частности, один из таких партнёров Лаборатории Касперского привлекал меня в качестве эксперта. По дружеской просьбе я согласился, и пришлось повозиться, объясняя собственно техподдержке ЛК, в чём у клиента проблема. Скорость общения — сами понимаете.
                                              0
                                              Сочувствую вам, нет более тяжелой и неблагодарной работы, как первая линия, она же зачастую, и последняя. Практика это не нова, читал, что телефонная техподдержка Microsoft работает по похожему принципу.

                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                            Самое читаемое