«Найди меня, если сможешь» — примерно так можно описать поиск процесса, который оттягивает все внимание системы на себя. Время идет, база виснет, компания теряет деньги. Довольно часто нам приходится оптимизировать работу 1С и не всегда это бывает легко. В статье расскажу, как в компании X-Com решили проблему. Подробностями поделились директор по информационным технологиям компании X-Com Леонид Дегтярёв и наш партнер Андрей Бурмистров, эксперт по технологическим вопросам.
Почему бизнесу не хватает функционала для мониторинга
Инструменты, которые предлагают производители ПО для отслеживания скорости работы, часто не дают полной картины. Сложно увидеть и проанализировать проблему в динамике. Если вы читаете эту статью, значит, тема вам близка. И, скорее всего, вы тоже разбираетесь с производительностью: на что расходуется память, почему не выполняются те или иные процессы, операции, фоновые задания…
И вроде бы можно пойти несколькими путями, если мы говорим про 1С.
Например, у 1С есть ЦУП — центр управления производительностью. Основные функции — мониторинг производительности системы в реальном времени и анализ узких мест. При этом записать аварийную ситуацию бывает сложно, так как запускать ЦУП нужно в критический для системы момент. Но когда проблема с производительностью уже есть, высока вероятность, что записать логи не удастся и вы не получите важную часть информации.
Еще один вариант проанализировать производительность — технологические журналы. Но для работы с ними требуется отдельный специалист, который сможет расшифровать записи. Здесь нужна предварительная работа. Поэтому в критической ситуации сложно обратиться к технологическому журналу и получить в моменте необходимые данные.
При этом проблемы с производительностью критически важны для компаний с множеством операций, например, как у многопрофильного ИТ-холдинга X-Com.
Как в компании X-Com нашли процессы, которые «съедали» память
О мониторинге производительности в компании X-Com мы рассказывали в статье «Три примера, как BI помогает ИТ-директору крупной компании мониторить производительность и снижать нагрузку на систему». Там Леонид Дегтярёв говорил о визуализации результата оптимизации. Здесь же речь идет почти о детективной истории: кто-то оттягивает все внимание системы на себя, но при этом умело скрывается среди других процессов. Если убрать метафоры и вернуться к техническим терминам, то ИТ-директору компании требовалось отслеживать быстродействие, при этом ему не хватало информации о том, что происходит с продуктом в аппаратной среде.
Справка о компании X-Com
Компания работает на российском рынке информационных технологий более 25 лет. Ключевые направления деятельности: системная интеграция, ИТ-сервис и аутсорсинг, поставка и сопровождение программно-аппаратных средств, копировально-печатного оборудования и расходных материалов, а также собственное производство серверов, рабочих станций и компьютеров. Также есть интернет-магазин компьютеров, компьютерных комплектующих, периферии, расходных материалов XCOM-SHOP, который входит в TOP‑30 крупнейших интернет‑магазинов России и ТОП‑5 компьютерных. В ассортименте более 120 тысяч товарных позиций.
Решить проблему производительности в компании X-Com удалось с помощью «Монитора» для 1С. Одним этим инструментом можно проанализировать все базы и сервера.
Чтобы оптимизировать производительность, в компании X-Com настроили утренние регламенты на рестарт всех служб. Это помогло, однако через 2–3 часа после рестарта специалисты фиксировали замедление работы. Память на сервере была «съедена» процессами rphost. Однако было непонятно, что именно к этому приводило. «Монитор» позволил записывать и анализировать логи с глубиной 180 дней в фоновом режиме, при этом неважно, запущена база или нет.
У меня есть фраза, которую полюбили коллеги: «Главное во время расследования — выйти на самих себя». Сейчас я утром открываю монитор, вижу графики и диаграммы: сколько памяти на сервере было доступно в моменте времени, какие долгие операции выполнялись, какие ошибки в технологическом журнале у меня в этот момент были, какие блокировки были, кто виновник этих блокировок. Вот эти все данные позволяют более приземленно понимать, что происходило в тот или иной промежуток времени.
Леонид Дегтярёв,
директор по информационным технологиям
компании X-Com
Например, одним из процессов, который сильно снижал производительность, — была очистка логов нового, недавно запущенного обмена с сайтом. Тогда в компании создали регламентное задание, которое запускает процесс в другое время, и пользователям это не мешает. Еще пример: техническим специалистам удалось отловить несколько сложных запросов, которые формируют пользователи. Так, в частности, закупщики собирали статистику продаж, чтобы определить список товаров. Запрос был старый, уже поменялась конфигурация, а его никто не модернизировал. Всего с помощью «Монитора» удалось отследить и перестроить более 5 процессов.
Мы смотрим аномалии поведения системы, ищем закономерности, затем проводим внутренний митинг: постановка задачи, решение, контроль результата. Обычно после оптимизации ищем те же самые запросы через поиск, есть ли они там и на каком месте. Кстати, некоторые вещи переделываем без изменения кода, иногда надо просто поменять процесс. Для этого мы спрашиваем пользователя, какой результат он хочет получить и что для этого делает. И, например, выясняется, что не стоит использовать нетиповой отчет, написанный 10 лет назад, который работает по документам. Нужно просто взять типовой, допустим оплата заказов.
Леонид Дегтярёв,
директор по информационным технологиям
компании X-Com
У работы через «Монитор» был и ещё один не совсем очевидный плюс, который важен с точки зрения управления. Традиционные батлы между сисадминами и программистами под кодовым названием «Это у них, а не у нас!» переросли в здоровую командную работу. Коммуникация между специалистами менялась в компании и до внедрения «Монитора», но инструмент, который помогает отлавливать причины просадки производительности, сделал работу прозрачнее.
Чем раньше ты узнаешь, что у тебя происходит что-то не то, тем легче потом будет восстанавливаться. Поломаться может у всех, нет тех, кого не могли бы сломать или у кого не могло бы сломаться. Но время реакции – это важно. Простой стоит очень дорого. Поэтому неважно, на чьей стороне была ошибка, прилететь может обеим командам: и админам, и программистам. Понимая это, ребята воспринимают работу с «Монитором» как возможность быстро закрыть общий вопрос. А моя задача как руководителя — это донести.
Леонид Дегтярёв,
директор по информационным технологиям
компании X-Com
Сегодня ИТ-директор X-Com в режиме одного окна видит необходимые показатели, например, блокировки или наличие длинных запросов. Единую интерактивную диаграмму можно настроить под свои задачи. Еще один важный момент — простота использования и быстрое внедрение.
Часто узкоспециализированные инструменты отслеживают что-то одно, либо сложны в освоении и имеют перегруженный интерфейс. «Монитор», несмотря на простоту использования, позволяет видеть в одном окне как показатели оборудования, так и узкие места в программном коде. При этом «Монитор» может работать в режиме 24/7, в фоне, не создавая нагрузку на систему.
Андрей Бурмистров,
разработчик продукта «Монитор»
