Zabbix: топология сети наглядно и автоматически

    Управляете сетью большего размера, чем локалхост? Не управляете, но хотите научиться? Приглашаем вас на курс «Linux. Уровень 5. Zabbix. Мониторинг IT инфраструктуры предприятия». На бесплатном семинаре учебного центра «Специалист» при МГТУ имени Баумана вы узнаете, как научить Zabbix мониторить сеть автоматически: находить существующие и добавлять новые узлы, рисовать и обновлять топологию.



    Проведёт семинар ведущий преподаватель центра «Специалист» при МГТУ имени Баумана, главный системный администратор сети МГТУ им. Н. Э. Баумана Вячеслав Александрович Лохтуров. Записывайтесь (или смотрите в записи) наши бесплатные семинары.

    Всем привет! Зовут меня Лохтуров Вячеслав Александрович. Я работаю инженером в МГТУ имени Баумана. Со дня окончания его в 1997 году работаю инженером. Параллельно преподаю в учебном центре № 1 «Специалист» – компании, которая является дружественной МГТУ. Там работает много других преподавателей, сотрудников.

    Темой вебинара будет часть моей работы как инженера – замечательная система мониторинга…

    Топология сети: история вопроса, википедия Бауманки, источники


    Запись вебинара можно будет посмотреть по этой ссылке: https://wiki.val.bmstu.ru – вики-формат. Адреса моей электронной почты: val@bmstu.ru, val@specialist.ru. Это методическое пособие я использую как инженер. Здесь очень много различных материалов. Если не понравится – по вашей с нами теме («Заббикс») очень много материалов в интернете.

    С точки зрения методического материала и преподавания я использую раздел «Материалы по методике чтения курсов»:



    И есть раздел с вебинарами. По каждому из прочитанных мною здесь есть запись:



    Я сразу говорил: «Если будем делать – давайте сделаем самое крутое! Давайте покажем, как в «Заббиксе» автоматически строится топология сети. За 45 минут мне надо успеть это рассказать.
    По поводу топологии сети: в МГТУ имени Баумана огромная сеть; соответственно, топология сети – это то, что нам очень нужно было уже давно. Исторически так сложилось, что «Заббикс» не был той системой, которую мы использовали на начальном этапе. Как все выходцы кафедр вроде информатики, управления, вычислительной системы, комплекса и сети мы всё любили программировать сами, и вот – напрограммировали…

    У нас имеется небольшая википедия, которая используется для работы. И среди элементов этой википедии есть раздел, посвященный коммутации сети. Доступ к этой википедии ещё закрыт небольшим VPN’ом:



    Я сейчас покажу, как выглядит топология сети у нас в университете. Это стоит того, чтобы увидеть; а потом сравним с тем, что получится в результате:



    Мне кажется, всё ясно: все свичи и путь их к корневому коммутатору; если что-то пропало – мы быстро из этого текстового файла восстановим. Строится топология сети еженочно. Всё хорошо, но не зрелищно, конечно. Продать это сложно. Поэтому у нас в университете такая схема.

    Топология сети нужна, когда какой-то коммутатор исчез. Чтобы понять, куда он был подключен


    Мы с вами попробуем увидеть нечто более зрелищное. И некой отсылкой к тому, что мы с вами будем делать, является эта статья на форуме:





    В ней рассказывается, что есть какой-то чудесный скрипт, написанный на моём бывшем любимом языке Perl, которые опрашивает сетевое оборудование, делает из этого какие-то выводы и каким-то чудесным образом скармливает результаты «Заббиксу». Но Perl мы не будем использовать, а будем использовать кое-что другое.

    Прощаемся с тем, что у нас есть. Перейдём к практике.



    Я буду счастлив, если вы сможете всё это воспроизвести в домашних условиях и постарался подготовить для этого всё, что только можно. После вебинара вы захотите всё повторить и начнёте с того, что вам потребуется развернуть «Заббикс», виртуальную машину, сеть. Как же это делать?

    Дома вы наберёте команду ipconfig и увидите, что у вас дома такая IP-сеть (может, другая, но чаще всего такая):



    Пятый адрес (192.168.1.5) у меня здесь, а у вас может быть 20-й или 30-й… Наверняка есть Wi-Fi-роутер, который эти адреса выдаёт. Поэтому я сейчас нарисую топологию, исходя из того, что может быть у вас дома, чтобы вы могли это воспроизвести:



    • У вас имеется WI-FI-роутер.
    • Система, в которой вы хотите воспроизвести вебинар.
    • Роутер раздаёт 192.168.1/24 – 1-й адрес WI-FI-роутера, а 5-й, например, – у вашей системы.
      Мы будем использовать виртуализацию. Кто не знает, что такое виртуализация – вы сейчас узнаете, что дома можно развернуть 2, 10, 20 машин, соединить их в хитрую сеть. Используя виртуализацию, мы развернём linux-систему, внутри которой будет «Заббикс». И чтобы никаких конфликтов у неё не было с другими вашими устройствами, мы назначим её адрес 100. Получается, машина у нас будет иметь адрес 192.168.1.100.

    Где взять машину? Ничего не мешает взять дистрибутив Linux. Я – большой фанат этого дистрибутива. Не будем разводить холивары – я его люблю, я его выбираю, я его использую на курсах. Можете с этого сайта взять и установить:



    Чтобы нам 45 минут не тратить на установку Debian, я возьму готовый предустановленный образ. Кому надо – пишите на почту, пришлю вам этот образ, хотя ничего особенно выдающегося в нём нет (просто чтобы не тратить время на инсталляцию):



    Пока он устанавливается, в методическом пособии можно увидеть раздел…

    Развёртывание стенда


    Там есть история про команду ipconfig:



    А дальше, когда машина развернётся:



    Можно дать имя в настройках, дадим ей побольше оперативной памяти:



    Виртуализации разные бывают – VirtualBox хорош для домашнего использования. На предприятии мы с товарищами используем VSphere (очень довольны продуктом от VMware), но на курсах «Виртуалбокса» хватает более чем.

    Сеть:



    Раз мы говорим, что эта машина будет подключена к нашей сети, мы сможем с ней работать – она должна быть соединена мостом с физическим адаптером. Mac-адрес перегенерирую. Запускаю нашу виртуальную машину:



    И после запуска произвожу конфигурацию. В пособии перечислены файлы, которые нужно отредактировать: назначить машине имя, файл hosts желательно отредактировать, resolv.conf (отвечает за клиента DNS) и выбранный нами ip-адрес – эти четыре файла надо отредактировать. Я постараюсь сделать это как можно быстрее.

    Развёртывание Zabbix


    В образе сразу заведён пароль этого пользователя (root) – никогда его не используйте на практике! Только ради экономии времени я пользуюсь привилегированной учётной записью:



    В пособии перечислены файлы, которые надо отредактировать.



    Далее даю название нашей машине (сервер мониторинга Zabbix):



    Файл hosts:



    Меняем адрес на 100-й и название нашего выдуманного домена (у каждого слушателя на наших курсах он свой, индивидуальный, как и сеть с доменом):



    Что ещё осталось? Resolv.conf (клиент DNS):



    Corp1.un будет пристыковываться к коротким именам, а в качестве DNS-сервера работает, как правило, ваш WI-FI-роутер:



    Что осталось? Самый главный, большой файл – network/interfaces. Здесь шаблон для разных курсов, много интерфейсов:



    Но у нашей машины будет один интерфейс. Она будет сервером мониторинга с 100-м адресом и ходить в интернет через 1-й:



    Пожалуй, необязательно, но быстрее для применения всех файлов – перезагрузить машину.

    Установка и запуск сервиса в Debian


    «Заббикc» можно устанавливать различными способами. По «Заббиксу» имеется прекрасный сайт с документацией (кстати, на русском языке активный раздел поддерживается). Соответственно, здесь предлагаются разные варианты. Я являюсь большим сторонником установки ПО из штатного репозитория. Не случайно именно поэтому я выбрал «Дебиан»:





    Кстати, если всё сделано хорошо, то сейчас я должен иметь возможность подключиться к своей системе. Давайте попробуем сделать. Беру любимый клиент SSH и подключаюсь к системе 192.168.1.100:



    Повезло:



    Опять же, не очень правильно, что здесь разрешён вход пользователю root:



    Никогда так не делайте на предприятии! Здесь – только экономия времени.



    Теперь мы должны установить «Заббикс». Будучи большим любителем и сторонником использования базового ПО и противником подключения всяких сторонних репозиториев, я буду ставить ту версию, которая есть в данном Debian. Опять же, спасибо авторам «Дебиана» – достаточно набрать установку такого пакета:



    Вспомнил ещё одну вещь! Мы только что систему установили – надо синхронизировать репозиторий (apt update):



    Таким образом, достаточно набрать команду установки zabbix-server с поддержкой базы данных (БД) своей информации в SQL, как будет установлено достаточно много компонентов (пара минут должна уйти на инсталляцию):



    Из чего состоит «Заббикс»


    «Заббикс» состоит из следующих компонентов:

    • «Заббикс»-сервер;
    • он активно работает с конфигурацией, которую мы с вами будем настраивать вручную и автоматически;
    • свои данные он хранит в базе данных, в качестве которых могут использоваться различные СУБД; мы с товарищами чаще всего сталкивались с MySQL (самый распространённый вариант – его и возьмём), поэтому традиционно используем (хотя «Заббикс» готов работать с другими СУБД – PostgreSQL, и Oracle используются).

    Для того чтобы мы с вами могли работать c «Заббиксом», используется так называемый frontend. Frontend Zabbix – это приложение, написанное, наверное, на PHP (может, не всё, но большая часть). Соответственно, само приложение используется веб-сервер. Пока ставится только эта часть (сейчас мы дождёмся её установки):



    Окончена. Теперь, поскольку «Заббикс» использует базу данных, нам надо её создать, следуя документации. Чтобы создать БД, я буду использовать простой скрипт:



    Не буду подробно рассказывать, какие команды что означают. Если кто-то с СУБД работал, тот увидит что-то знакомое – имя базы данных и так далее…



    Теперь, используя этот скрипт, создаю базу данных:



    И заполняю эту БД метаданными. Имеются несколько файлов, описывающих, какие таблицы должны, какие атрибуты, параметры и прочее (всё это делается, опять же, согласно документации):



    То есть сейчас мы в MySQL загоняем метаданные, которые «Заббикс» будет использовать для хранения конфигурации и результатов:



    Не буду тратить время на то, чтобы глянуть, что он там создаст (будет огромное количество таблиц создано). «Заббикс» как продукт развивается уже более десяти лет и постоянно стремится стать всё лучше и лучше, поэтому структура данных там довольно увесистая. Но всё это «под капотом». Мы же, как администраторы, будем работать с внешним фронтенд-приложением, с которым всё будет просто, понятно и доступно.

    Согласно документации, почему-то несколько файлов. Но раз они так сделали – значит, они знают, что нужно! База данных готова:



    Теперь, согласно документации, надо вот этому компоненту:



    Объяснить, что он должен работать с БД, подключаясь под определённым логином и паролем. Делается это через файл конфигурации:



    В самый конец файла вставляем:





    Здесь у нас описывается, что сервер БД находится здесь под нашей учёткой:



    «Дебиан»-пакет под «Заббикс» не подразумевает автостарт. Перед вами – команда великого и ужасного SystemD, о которой есть великое множество холиваров:



    Она делает запуск «Заббикса» автоматическим после загрузки сервера. Запускаем «Заббикс:



    Эти два компонента запущены:



    Можно уже мониторить, заполнять конфигурацию. Но трудно что-то хорошее сделать, пока не поставлен фронтенд… Однако сперва – пропущенный этап…

    Развёртывание Zabbix. Локализация временной зоны


    Я развернул образ, а в нём – неправильное время:



    Дата у нас правильная. У нас временная зона неправильная, поэтому вот таким махом я её поправил:



    Приступаем к frontend. Установка и запуск web-интерфейса


    В Debian стоит установить такой пакет (после того, как будет установлен веб-сервер Apache):



    Будут установлены PHP, библиотека для связи программ, написанных на PHP, с MySQL. В общем, запускаю:



    Никаких действий выполнять долго не нужно, всё будет сделано автоматически:



    Сейчас мы ставим вот этот компонент – фронтенд «Заббикса»; веб-сервер, и будем ему объяснять, что ему надо работать с «Заббикс»-сервером и СУБД:



    Через веб-сервер мы будем управлять «Заббиксом» и через него же будем смотреть, что же он там намониторил.

    Он почти установился, и сейчас мы увидим, что он имеет близкое отношение к нашей стране. Разрабатывался он как приложение какого-то человека, работавшего в банке. Он решил настроить мониторинг и взял да написал свою программу вместо того, чтобы использовать готовую. Он работал в Риге, а мы с вами в Москве:



    В этом файле ↑ инициализации PHP необходимо это ↓ сделать:





    Не буду углубляться, как веб-приложение настраивается в «Дебиане». Достаточно подключить конфигурацию, которая досталась из пакета «Заббикса» и перезагрузить веб-сервер «Апач»:



    Подключаемся к frontend для настройки Zabbix


    Почти готовы подключиться к фронтенду. Осталось только объяснить ему, где находится сервер баз данных. Здесь два варианта, и мы сделаем через Wizard. Для него потребуется файл, куда будут конфигурации записаны:



    А веб-сервер должен обладать правами на запись в этот файл:



    После чего можно попробовать подключиться в браузере. Можно по IP-адресу. У меня DNS настроен, поэтому я воспользуюсь возможностью:



    У нас появляется Wizard «Заббикса», где я буду нажимать Next, поскольку большинство его уже устанавливали:













    Наш «Заббикс» готов к подключению. Вводим логин и пароль:



    Конфигурация, хосты… Никаких хостов не мониторит – «Заббикс» пока готов мониторить только сам себя, если мы установим Zabbix Agent:



    Разворачиваем облако коммутаторов


    Но нашем вебинаре никаких «Заббикс»-агентов не будет. Это слишком просто и неинтересно! У нас с вами будет мониторинг распределённой сети, цепочек коммутаторов связи, поэтому нам понадобится эта цепочка коммутаторов. Где же их взять?

    Я посоветовал использовать виртуализацию Virtual Box. Он позволяет эмулировать PC (компьютеры), а сейчас познакомлю вас с другим эмулятором, тоже используемый на наших курсах. Замечательный продукт – называется Graphical Network Simulator (GNS):



    Этот эмулятор позволяет эмулировать оборудование Cisco. Здесь мы и развернём наше облако коммутаторов. Потребуется снова придумать название проекта (сохраним конфигурацию, вдруг завтра понадобится):



    Если вы дома хотите научиться работать с оборудованием Cisco, поставьте себе этот GNS и сделайте так, как мы делаем на семинаре, а именно – развернём сейчас облако коммутаторов. Проблема в том, что в GNS нет коммутаторов (их эмуляция здесь отсутствует) – только эмуляция роутеров. Поэтому нам придётся положить роутер (перетащить курсором мыши):



    И как-то сделать, чтобы он был коммутатором. Как сделать в GNS эмуляцию коммутаторов? Надо взять роутер 36-й серии. Можно назвать его коммутатором (клик правой кнопкой по коммутатору):



    Можно нарисовать коммутатор:







    Похож? Но настоящим коммутатором он станет только тогда, когда вы добавите туда вот такую плату:



    В этой линейке роутеров Cisco можно ставить 16-портовую Ethernet-плату. И для большого количества лабораторных работ, связанных с коммутаторами, эта плата вполне годится.
    Коммутаторов у нас должно быть облако, поэтому сейчас я это облако сделаю (меняю название, картинку и вставляю плату). Начнём с трёх коммутаторов, а если успеем, то и четвёртый добавим:



    Соединять будем, особо не целясь не куда. У нас же топология должна будет автоматически построена:





    Готово:



    Теперь я это дело запускаю:



    Поздравляю тех, кто впервые смотрит, как Cisco работает – так можно по-быстрому настроить коммутатор Cisco. А пока они у нас запускаются…

    Это наша Windows-система (Windows 7) и Debian:



    Здесь виртуализация GNS3 и облако коммутаторов:



    Теперь понятно, что происходит: в рамках одной машины используется две системы виртуализации. Виртуализация PC-систем (справа) и виртуализация Cisco-систем (слева):



    Надо сделать так, что сервер мог мониторить оборудование:



    А чтобы он мог его мониторить, это оборудование должно иметь адреса в этой же сети:



    Поэтому, долго не думая, я решил этим коммутаторам дать адреса (точки 101, 102, 103 для 1-го, 2-го и 3-го коммутаторов соответственно). 100-й – наш Linux:



    Настроить это можно следующим образом: пойти на авторизованный курс Cisco и вам за недорого это расскажут.

    Для того, чтобы коммутатор был доступен для администрирования, нужно произвести следующие настройки – зайти в режим конфигурации, дать имя подходящее, назначить IP-адрес интерфейсу и скопировать результат в долговременную память:



    Я заготовлю рыбу, чтобы не тратить на это много времени. Первый коммутатор будет называться switch1, IP-адрес – 101-й. Эту конфигурацию я копирую в коммутатор:



    Два раза кликните по нужному коммутатору (сейчас – switch1):





    Настроили switch1. Теперь – конфигурация для второго свича: называется switch2, IP – 102:





    Соответственно поступаем с третьим коммутатором.

    Ну что, будет очень круто, если с нашего Windows-компьютера будет доступен не только наш сервер, но и то, что мы сейчас настроили:



    GNS3 – система хорошая. Я такой акцент делаю потому, что проблем с ней хватает: немного подглючивает, немного… Но для того, чтобы обучаться, вполне достаточно. Эта пауза для меня тревожная – надеюсь, всё обойдётся, и наш коммутатор ответит через какое-то время:



    Ан нет, не ответит, сколько бы я не ждал! Связи не хватает между нашим компьютером и GNS. GNS сам по себе, так что не хватает ещё одного элемента:



    Подключаем Cloud


    Для того чтобы эти коммутаторы стали доступны, необходимо использовать объект Cloud:



    Сегодня Cloud использует его в совершенно другом смысле. Авторы GNS как интернет-сервис провайдера. В настройках этого объекта я могу его подключить к своей сетевой карте:



    Выглядит она страшно, но это та самая сетевая карта:





    Cloud я положил. Теперь нужно соединить один из коммутаторов с Cloud (только тогда связь может появиться):



    Подозреваю, что быстрее в нашем случае перезагрузить коммутатор, чтобы всё встало. Единственно, хочу убедиться, что его конфигурация сохранена. К слову, внутри коммутаторов ping уже должен идти:



    Настоящий Cisco! Первый пакет пропадает, остальное всё есть:



    На самом деле здесь не натуральная эмуляция используется, а iOS. Поэтому я останавливаю 1-й коммутатор и снова запускаю:





    Если всё в порядке, то мы должны увидеть связь через облако – моя Windows 7 через сетевую карту будет связана с этим оборудованием (оборудование имеет IP-адреса в той же сети, что и Windows). В общем, это точка связи GNS и Windows. Проверим, что там со связью:



    Давайте посмотрим, как он себя чувствует… Отсюда пингуется:



    Пошло! Видите, связь появилась:



    Я люблю GNS, потому что он бесплатный, работает… Но не всё просто! Вот забавная ситуация: с Windows-системой пингуется наш Linux, с Windows пингуется наш свич, но с Linux-системой свич не пингуется:



    Так преподу можно и поседеть! Ведёшь занятие, а у людей стенд не работает… Ну, ничего, уговорим! Бесплатно, дёшево и сердито.

    Опыт показал: для того чтобы связь была между всеми тремя элементами (с Windows – на Linux, с Linux – на GNS), необходимо зайти в настройки сетевой карты и выбрать странную опцию – «Неразборчивый режим» («Разрешить всё»):





    Приходите на «Виртуализацию»! Этот неразборчивый режим есть во всех решениях (и в «Сфере» тоже). Связан он с прохождением Ethernet-пакетов, mac-адресов и так далее. Приходите на курс по виртуализации, подробности – там.

    Запускаем снова нашу систему в надежде на то, что коннективность восстановится:



    Только теперь можно будет настраивать мониторинг наших коммутаторов из «Заббикса». Давайте посмотрим, как это произойдёт:



    Заложен фундамент. Если у нас сейчас будет связь, то будет всё готово. В «Заббиксе» уйма «Цисок», хитро соединённых друг с другом – можно начинать мониторить. Подключаемся к пользователю root с паролем и проверяем пинг:





    Всё готово:



    Как администратор местного DNS я ещё сделал возможность отправлять по именам пинга.

    Как же Zabbix может мониторить оборудование Cisco?


    На оборудование Cisco нельзя установить агент. Многие из вас знают, что оборудование Cisco прекрасно мониторится по протоколу SNMP. Сейчас мы подготовим почву для этого.

    Сейчас мы с вами подготовим почву для этого. Чтобы мониторить оборудование по протоколу SNMP надо, во-первых, на сам сервер мониторинга установить поддержку SNMP:



    В «Заббикс» эта поддержка не входит, он использует внешние библиотеки, входящие в эти пакеты:



    Не буду вам рассказать, что такое management information base – приходите на курсы по взаимодействию Lunux и Cisco, там об этом подробно рассказывается. А сейчас мы просто ставим на «Линукс» пакеты, необходимые для мониторинга:





    И ставим на наши Cisco элементы конфигурации, которые позволят мониторить их в свою очередь.



    Здесь просто запускается SNMP-сервер с таким паролем:



    И делаем это на всех трёх наших коммутаторах:



    После этих действий мы проверим, может ли наш сервер мониторинга обратиться к оборудованию Cisco (к любому из этих коммутаторов) по протоколу SNMP и, например, что-нибудь узнать. Здесь есть тестовые варианты:



    Можно опрашивать наши коммутаторы, используя так называемые OID’ы (object-идентификаторы). Здесь мы опрашиваем свич (запрашиваем значения параметра switch1):



    И мы видим, что этот Oid ссылается на имя коммутатора, то есть мы можем с каждого коммутатора вытянуть его имя (для топологии пригодится, даже очень):



    А можно использовать более человеческие, текстовые – sysName запрашиваем у свича (то же самое можно у switch2 спросить и т. д.):



    Установка SNMP-консоли


    Ещё одно действие неочевидное:







    Согласно лицензионным соглашением нужно закомментировать строки в этом файле… Это – замечательная команда «дятел», которая очистила содержимое файла, в котором было сказано: «Для подтверждения лицензии закомментируйте всё, что там есть».

    Соответственно, «Заббикс»-сервер надо перезагрузить, потому что мы установили библиотеки, которые будут им использоваться:





    Многие знают, что теперь достаточно войти в раздел Host, создать хост и выбрать протокол SNMP. Указать IP-адрес:





    Но мы не для того здесь собрались. Давайте попробуем заставить «Заббикс» автоматически найти все наши коммутаторы. У нас с вами их три, а в Бауманке их больше ста (120, кажется). 100 коммутаторов добавлять было бы не так весело, поэтому – бонус: мы с вами посмотрим, как «Заббикс» найдёт наши коммутаторы.

    Автоматическое добавление устройств в Zabbix


    Страница «Автоматическое добавление устройств в Zabbix»:



    Чтобы он это делал, мы пойдём в раздел «Конфигурация» (подраздел Discovery) и не будем там создавать новое правило, а будем использовать существующее:

    • Это правильно гласит, что надо сканировать эту сеть… Узнаёте нашу? Чтобы долго не ждать, я укажу ограниченный диапазон 100–110 (мне достаточно).
    • Сканирование раз в час – многовато; поставим – каждые 60 секунд.
    • На сканируемых устройствах наш «Заббикс» сейчас ищет «Заббикс»-агента. Я обещал, что никаких агентов у нас с вами не будет, поэтому удаляю.
    • И говорю, что на самом деле наше устройство доступно по протоколу SNMPv2, community – public; такой OID мы запрашивали:
    • Даю указание сканировать и обращаться ко всем устройствам, которые на этот запрос ответят. Соответственно, он уже это делает. Надо не забыть включить это сканирование (по умолчанию оно отключено):

    Теперь каждую минуту «Заббикс» пробегает по этим IP-адресам, запрашивает по протоколу SNMP у устройства его имя. Если устройство есть и SNMP-протокол поддерживает, то оно ответит:



    Этого недостаточно для того, чтобы наши устройства появились в этом списке:



    Необходимо настроить действия. Мы создадим новое (назову его, копируя из методички):





    Условие: запрос должен вернуть информацию о том, что это – коммутатор. По «счастливой случайности», у нас все коммутаторы называются switch (switch1, switch2, switch3), поэтому Received value должно быть похоже (like) на switch:



    Всё это есть в методичке. Осталось указать, что с этим делать – «Операции»:



    В первую очередь необходимо добавить в какую-нибудь группу. Я буду использовать готовую группу Discovered hosts:





    Следующее, самое главное, мы должны объяснить, что мониторить на этом оборудовании. В данном случае мы будем использовать готовый шаблон, который пригоден для большого количества разнообразных SNMP-устройств:















    Если всё сделано верно, то через какое-то время у нас в «Заббиксе» чудесным образом должно появиться 3 коммутатора. Ждём. Появятся они в разделе Hosts. Связь есть (проверили на всякий случай):



    Появились:



    Было бы у нас 100 коммутаторов – появилось бы 100 коммутаторов. Теперь можно говорить о главной теме – автоматическое построение топологии сети.

    Создание карты сети


    В «Заббиксе» в разделе «Мониторинг» – подраздел «Карты сети». Можно создать свою собственную карту с любым произвольным именем (назову, как в методичке – Switches map):







    В эту карту можно добавлять устройства:



    Нам предстоит довольно занудная операция по добавлению всей нашей сотни коммутаторов сюда:



    Добавляю новый элемент и говорю системе, что это на самом деле хост, который ты мониторишь; хост – switch1:





    Часто спрашивают, можно ли сделать этот процесс автоматическим? Ответ: «Можно!». Но тогда надо решить увлекательную задачу: «Как нам понять, где какие коммутаторы расположить?» То есть геометрию. Потенциальное решение: в коммутаторе можно указать геолокационную метку (параметр типа «ты стоишь на 6-м этаже, корпус АЗЛК, 666-я аудитория), нарисовать корпус учебной лабораторной, все её аудитории… В общем, это хороший курсач для студента 4-го курса вычислительной специальности. У нас с вами на это планов не было!

    Я сейчас добавлю все 3 коммутатора вручную, но обещаю, что линии связи между ними я рисовать не буду. Вы добавляете 101-й коммутатор, у нас автоматом добавляется в «Заббикс» – извольте нарисовать его в карте ручками. Неприятный момент, но имеет место быть. Простого решения этой задачи нет, за 45 минут уж точно. И то, что у нас получится, мне кажется интересным.

    Быстро добавляю 3 коммутатора:



    Я сказал, что линии не буду добавлять? Буду, но только для того, чтобы потом нам можно было понять, как их рисовать. Я соединю два этих коммутатора (у нас 1-й с 3-м не соединён):



    Я их соединю (выделяются свич1 и свич3):



    Наша система должна будет это дело исправить:



    Важно не забыть сохранить результат:





    Кстати, про GNS – можно красиво сделать… Скрыть его хостнейм, сделать его в виде коммутатора и подложить одно под другое, сделав облако коммутаторов:











    Как нам построить топологию? Настройка автоматического создания и обновления линий связи


    Чтобы топология строилась автоматически, нам необходимо получать информацию о ней автоматически. В университете мы используем оборудование Cisco, поэтому давно полюбили протокол, который называется Cisco discovery protocol – достаточно набрать на любом устройстве show cdp neighbors, и он подскажет, что к 5-му интерфейсу подключён коммутатор switch1:





    Альтернатива cdp – lldp (у нас есть сегмент коммутаторов «страшной» компании Nortel – там lldp). Видите, тут два коммутатора:



    Сервер «Заббикс» должен как-то вытаскивать эту информацию (её я вижу на самой Cisco). Способов много. Один из самых быстрых, но стрёмных – использовать протокол RSH. Весьма дремучий протокол, и я о нём знаю только в силу своего возраста:





    Нормальные люди RSH не знают, зато его можно быстро использовать, чтобы удалённо что-то с Cisco делать. Или, если речь идёт о какой-то менеджмент-сети, где никого постороннего нет, то можно и в продакшне использовать. Впрочем, точки безопасности – всё равно полный швах!

    Итак, я настроил поддержку доступа к протоколу RSH к моим Cisco к серверам с этого IP-адреса:



    Теперь могу на сервер установить RSH-клиент…





    …и продемонстрировать, насколько легко теперь выполнять инструкции, которые мы только что выполняли, подключаясь к оборудованию Cisco непосредственно с менеджмент-станции – на свиче1 выполню эту инструкцию:





    Соответственно должно появиться на свиче2:



    Подключение с сервера мониторинга


    Далее. Пишут мне менеджеры: «Вячеслав, поступил запрос от слушателя. Хочет углублённо пройти Bash, Csh, Sed и Awk». Это дремучие Unix-утилиты, которые в лохматом году люди знали. Вот сейчас будет немного дремучего Unix. Мы установим этот пакет (нам надо отформатировать вывод, чтобы он был лучше структурирован):



    А целиком команда будет выглядеть следующим образом:



    Не буду рассказывать, чем код возврата в Dos отличается от Unix. Далее отфильтрую только строки, в которых содержится switch, удалю лишние пробелы и вырежу через пробелы нужные поля:





    Давайте посмотрим результат, и вы увидите, чем он отличается от предыдущего. Ещё немного «магии» Unix. Обработка превращения информации в структурированную (на примере switch2). Вместо этой неструктурированной информации (куча пробелов, какие-то непонятные ключи):



    На выходе появляется:



    Свич2 соединён со свичом3 через интерфейсы Fas 0/6 (со стороны свича2) и Fas 0/5 (со стороны свича3). Таблица получается: какой-то коммутатор с каким через какие интерфейсы соединён.
    Пока на этом протокол RSH и CDP оставлю. Сейчас мы, получив эту информацию, нарисовать эти линки на всех коммутаторах. Чтобы это сделать, нам нужна информация, к каким коммутаторам подключаться. Можно завести текстовый файл, где перечислить все коммутаторы… Но это не спортивно!

    Коммутатор мы должны только добавить физически, а он автоматом должен обнаружиться «Заббиксом». База данных коммутаторов у нас уже есть в «Заббиксе». Как приложению вытащить информацию о коммутаторах из «Заббикса»?

    Zabbix API


    «Заббикс»-API написан с использованием «замечательного» протокола JSON. Я закончил программировать в те времена, когда JSON ещё не было, поэтому для меня, как для админа… В наше время такой фигни не было! Вот текстовый файл для меня – это нормально, а JSON… (шутка)
    JSON так JSON!

    JSON – это формат, используемый для обмена данных с веб-сервером, и утилита cURL – одна из тех удобных утилит, которые позволяют направить любой запрос к веб-серверу:





    Не буду углублённо рассказывать, что такое POST-запрос, GET-запрос, а скажу кратко. В «Заббиксе», который работает здесь:



    Входит это приложение:



    Которое готово воспринять вот такой запрос в «страшных» фигурных скобках (это и есть JSON):



    В этом запросе указывается, что я хочу сделать с «Заббиксом», указываются параметры:



    А «Заббикс» даёт ответ. Перед вами пример, который говорит: «Заббикс», дай мне, пожалуйста, строку для аутентификации, чтобы я мог направлять к тебе последующие запросы». Я подтверждаю свои полномочия логином и паролем:



    Такой JSON-запрос сейчас нам вернёт JSON-ответ:



    И в этом JSON-ответе будет такая строка:



    Это аутентификатор, который может быть использован для оставшихся запросов.

    Работа с объектами host


    Вспоминаем, для чего мы начали JSON изучать: мы хотим из «Заббикса вытащить базу данных коммутаторов. Какие коммутаторы опрашивать? Давайте это вытащим!

    Познакомьтесь: в «Заббикс»-API входит, среди прочего, метод host.get:



    Host – это наши хосты. Get – это «дай». Далее я указываю: дай мне информацию о хостах!



    В параметрах говорю: выводи всё, что знаешь о хостах:



    Но должен сопроводить свой запрос этой строкой:



    Давайте продемонстрирую. Чтобы мне было удобно, я этот запрос скопирую:



    И вставлю тот аутентификатор, который мне «Заббикс» вернул:



    Итак, Zabbix Api: мы посмотрели, как попросить у «Заббикса» аутентификатор на доступ. А далее демонстрирую, как с помощью этого аутентификатора получить какой-нибудь ответ:



    Мне кажется, всё понятно. Можно даже разглядеть, если лупу взять. Свич1 узнаёте? Где-то там свич2…



    Глаза я ломал долго, а потом решил почитать, как же с этим JSON в командной строке работать. И одна из рекомендаций звучала так: используйте JSON Query. Она очень здорова, скрашивает ответ, смотрите:





    Во-первых, всё стало цветное – уже хорошо; во-вторых, здесь явно видно свич2, свич1:



    Далее, немного повозившись с JSON Query, мы с вами увидим ещё много интересного. И чтобы каждый раз не копировать эти «крокодилы» из блокнота, я предлагаю определить, на чём мы будем программировать работу с нашим «Заббиксом». Есть Zabbix API – это JSON, есть куча языков программирования. JSON вроде как к Java-скрипту относится, но на самом деле для работы с «Заббиксом» чаще всего используют другие языки – например, Perl, Perl-скрипт, который что-то делает.

    Оформление запросов в виде Bash-скриптов


    Perl не модный нынче язык, устаревший. Если бы я начинал жизнь сначала, я бы начинал изучать, наверное, Pyton. И однозначно известно, что под «Питон» есть удобная библиотека для работы с «Заббиксом». Но, поскольку мы с вами здесь собрались и не будем отдавать предпочтение каким-то языкам, я использую этот язык:



    Язык системного администратора, то есть меня – Bash! Поэтому я эти запросы к «Заббиксу»:



    Оформлю в виде скриптов:



    Скрипты готовые, я буду их копипастить. Выглядят они адски. Думаю, хороший код на «Питоне» будет гораздо более читабельным. Но, поскольку я сам не знаю «Питон» и не хочу отдавать какое-то предпочтение, я буду писать на том, что близко сердцу системного администратора:



    Не буду рассказывать, что это за обратные слэши (и бог с ними). А вот строка аутентификации будет у нас оформлена в виде переменной, которую надо перед этим экспортировать:





    Какое значение она у нас имела? И теперь вместо того, чтобы длинные строки копипастить, я могу просто запускать скрипт:



    Скрипт возвращает полный швах. Через JSON Query можно вывести это красиво:





    Вспоминаем задачу: получить базу данных коммутаторов, которые есть в «Заббиксе»!

    Я сразу результат нарисую. Не буду долго и окольно рассказывать что здесь и как. У нас задача грандиозная:



    Вот такой результат, смотрите, что содержит. Здесь говорится, что у нас в «Заббиксе» имеются вот такие коммутаторы, а это (10105, 10106, 10107) – внутренний «заббиксковский» идентификатор коммутатора:



    Получился плоский файл. При добавлении каждого нового коммутатора надо этот скрипт запускать, чтобы создать файл. Чтобы таких «крокодилов» у нас не было, я эту строку включу в сам скрипт:





    И он у нас будет возвращать аккуратное табличное представление. Теперь я покажу. Запускаю скрипт, он выводит на экран и тут же сохраняет этот файл:



    Утилита tee – хорошая утилита, которая пишет результат в файл и пропускает результат наружу. У нас с вами теперь 3 коммутатора и имеется текстовый файл, в котором все коммутаторы перечислены:



    Теперь можно опрашивать через RSH каждый из этих коммутаторов и выяснять, кто с чем связан.
    Итак, базу данных коммутаторов получили. Наша конечная цель – карты!

    Получение списка карт и их элементов из Zabbix


    Как работать с картами? Давайте научимся читать информацию о картах из «Заббикса». Скопирую такой скрипт:





    Кому понравится – можете все эти скрипты брать. Я старался максимально упростить их – проще не получается. Если найдёте, как упростить – пишите, я поправлю:



    Этот скрипт ↑ обращается к «Заббиксу» с запросом map.get и говорит: «Расскажи мне про линки и расскажи про элементы, которые эти линки связывают друг с другом».

    Теперь я этот скрипт запускаю:



    И показываю результат:



    Так же, как информацию о хостах, очень легко из «Заббикса» вытащить информацию о картах. Для каждой карты имеется её название:



    Далее перечисляются элементы в этой карте. Узнаёте номер? Это внутренний элемент «Заббикса»:



    Самое неприятное, что в «Заббиксе» элементы ещё раз нумеруются. Слева – элемент id, справа – нумерация элемента внутри карты:



    То есть в «Заббиксе» каждый хост имеет номер, и на карте имеет ещё один номер – такая цепочка получается. То есть коммутатор switch1 называется в «Заббиксе» 10105, а на карте – 2 (получается небольшое усложнение задачи).

    Сводим всё вместе через CDP и RSH, выясняем связь коммутаторов с интерфейсами


    Финал этого скрипта заключается в том, что я должен получить информацию, какие идентификаторы «Заббикса» с какими идентификаторами на карте связаны. Смотрите, в «Заббиксе» вот этот идентификатор (10105, 10106 и т. д.), а на карте – 2, 3 и т. д.:



    Традиционно сохраню это в текстовый файл:



    Теперь у нас почти всё есть. Имеется информация, какие коммутаторы есть в этом файле (какие идентификаторы внутри «Заббикса» используются):



    И у нас есть информация, какой идентификатор на карте с каким идентификатором «Заббикса» связан (например, switch1 имеет в «Заббиксе» номер 10105, а на карте номер 10105 имеет идентификатор 2):





    Я не виноват! Это в «Заббиксе» ребята написали. Но я уверен, что есть причина, почему они на карте не используют прямые идентификаторы. Возможно, потому, что на карте можно несколько раз отобразить один и тот же объект, и у него должен быть уникальный идентификатор. Поэтому цепочка длиннее получается.

    И вот этот адский скрипт я, наверное, совсем мало буду комментировать. Воспроизведите его:



    В цикле я читаю строчки, описывающие, какой коммутатор с каким идентификатором «Заббиксом»:



    К каждому коммутатору из «Заббикса» подключаюсь по RSH:



    Читаю, с какими хостами он связан. Этот результат перенаправляю в другой цикл:



    Который, в свою очередь, читает идентификаторы и выясняет, кто с кем связан:



    Покажу результаты этого скрипта (chmod +x):



    На карте второй коммутатор связан с третьим (помним, что на карте свои идентификаторы) через соответствующие интерфейсы (Fas 0/5 – для второго, Fas 0/6 – для третьего↑). Эти названия мы должны нарисовать на линках, создадим.

    Если до этого момента мы только читали информацию из «Заббикса» (хосты, карты вычитывали и т. д.), то теперь мы должны будем писать информацию в «Заббикс».

    Давайте сохраним результат:



    Рисование линий связи в Zabbix


    Я решил написать простой скрипт, который что-нибудь поменяет в «Заббиксе». Честно говоря, я так и изучал API – мне было важно, чтобы что-то простое заработало:





    Первый скрипт не будет иметь отношения к задачам – он поменяет имя карты (чтобы посмотреть, как это делается). Если мы хотим что-то поменять в «Заббиксе», то мы должны так же обратиться через запрос POST и описать его в JSON, но используя метод map.update. Среди параметров мы должны явно указать: MAPID, который найдёт нужную карту, и MAPNAME, который поменяет имя карты:



    Это минимальный набор параметров. Сами эти параметры:



    Передают через переменные, аргументы скрипта. Делаю скрипт выполняемым (chmod +x):



    Запускаю, как в методичке написано. Если всё верно, карта должна назваться Super MAP:



    Monitoring – Maps – вуаля:



    Легко поменять – Super MAP2:



    Всё работает:



    Но наша-то задача сложная – поменять линии связи!



    Надо сгенерировать JSON, который опишет нашу карту и все линии связи. Для этого я делаю очередной скрипт:





    То, что у меня много скриптов, это не значит, что так надо делать на предприятии. На предприятии надо взять нормальный язык, который вы знаете («Питон», «Перл» или ещё что-то), и запрограммировать то, что здесь есть, используя нормальный язык. Эти кирпичики, каждый из которых прост, позволяют понять что, для чего и как делать.

    Очередной скрипт, который служит скорее для понимания того, что нужно сделать, а не для копирования (готовый продукт я вам тут не продам):





    Данный скрипт читает этот файл:



    В котором прописано, какой элемент на карте с каким элементом на карте через какие интерфейсы связан. Точнее, мы будем брать элемент на карте, элемент на карте и метку. Это элемент на карте:



    А это подпись должна быть:



    Читаю этот файл. Перебираю все элементы на карте:



    Программирую линки – описания линков в виде JASON. Конечный запрос выглядит так: обновить карту (номер карты↓):



    Линки будут описаны в этой переменной:



    Которая была сформирована в этом цикле (были перебраны все элементы и подписи картам):



    Опять же, у нас грандиозная задача, и подробно описывать на Shell… Наверняка многие из вас на Shell не программировали. Надо просто смотреть на эти тексты и программировать на том, что вам удобно.

    Есть ожидание у меня, что сейчас всё должно произойти. Запустил скрипт:



    Обновить страницу Maps:



    Ну как? По крайней мере, это работает! Давайте добавим ещё один коммутатор и прогоним сценарий ещё раз.

    Берём коммутатор, называем его switch4:



    Рисуем, что это – коммутатор:





    Конфигурируем:



    Соединяем его, как хотим (звёздочкой, можно колбасу нарисовать):



    Настраиваем коммутатор. Запускаю:



    Всё, что мы ранее делали (только меняем на switch4 и адрес – 104):



    Двойной щелчок по коммутатору (вставить то, что скопировали):



    Опять же, быстрее будет перезагрузить третий коммутатор (switch3), сохранив конфигурацию:



    А пока он перезагружается, проверим, доступен ли на наш новый коммутатор по SNMP. Когда «Заббик» его найдёт, первым делом спросит hostname SNMP. Поэтому добавляем эту конструкцию в наш новый коммутатор:





    Теперь ждём, когда коммутатор будет доступен. 101-й, 102-й доступны, 103-й перезагружается:



    Отозвался 103-й:



    104-й отозвался. Проверю, по SNMP доступен ли свич4:



    Доступен! У нас все шансы увидеть его в списке хостов. Подождём минуту (каждую минуту у нас сканируется сеть):



    Раз он появился, мы возвращаемся к первому скрипту. Он у нас выгружал информацию, какие коммутаторы вообще есть:



    Ваши кабельщики побежали, новый коммутатор воткнули, вы link подняли и в «Заббиксе» он появился автоматически. Соответственно, здесь мы с вами должны увидеть, что четвёртый свич появился:



    База данных у нас заполняется автоматически.

    Закрепляем материал (добавляем switch4), выполняем финальный скрипт


    Далее, к сожалению, придётся сбегать и отобразить наш свич на карте:



    Мало того что ваши кабельщики бегали, мало того что вы настраивали линк – придётся ещё пойти сюда и сказать: «У нас добавляется новый коммутатор».



    Располагаете, где положено, и указываете, что это у нас хост, свич4, а также нарисовать, что это свич:



    И обновить (линию связи пока не рисуем!):



    Теперь вспоминаем, что наши скрипты линии связи строят на основании протокола CDP. И чтобы получить информацию по протоколу CDP с коммутатора, необходимо настроить к нему доступ RSH. Помните, я решил вот такой метод использовать?





    Если всё хорошо, то я могу попробовать, то я могу попробовать RSH – запросить с 4-го коммутатора информацию о его связи. Вот он говорит: «Я к третьему подключён, с моей стороны – 10-й, с той стороны – 8-й интерфейс».



    На карту-то добавили, а у нас есть таблица соответствия между идентификаторами в «Заббиксе» и идентификаторами в карте (видите, он 5-й стал на карте):





    RSH подняли. Теперь можем построить связь: какие коммутаторы через какие линки подключены (текстовый файл у нас получился):





    Попробуем запустить финальный скрипт, который этот текстовый файл прочитает и сформирует JASON-запрос на обновление карт, перерисовав все линки на карте:







    Ну как? Впечатляет? За 45 планируемых минут не успел, но всё равно быстро (порядка 75 минут) – быстрее, наверное, не получится.

    Всё! Я очень рад друзья – оно получилось. Методичка находится здесь: https://wiki.val.bmstu.ru. Если не найдёте, пишите на почту: val@bmstu.ru, val@specialist.ru – с удовольствием пришлю. На сайте specialist.ru появится вебинар – я это проверю обязательно.

    И самое главное, друзья мои, что всё это было не напрасно, а с хитрой целью уговорить вас или ваших коллег на нашь 2-дневный курс, на котором разбирается большое количество задач, связанных с «Заббиксом»: и низкоуровневое обнаружение, и настройка… Не по верхам, как сейчас, а подробно, с лабораторными – вы будете делать: пока не сделаете – я вас не выпущу.
    Буду рад видеть вас, ваших коллег! Пишите письма.

    До новых встреч!


    Немного рекламы :)


    Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

    Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
    ua-hosting.company
    Хостинг-провайдер: серверы в NL / US до 100 Гбит/с

    Комментарии 14

      +7
      Хм… бегло насчитал 263 крупных скриншота и 5 видео! Как мне кажется, такого Хабр ещё не видел?
        –2
        Какой-то писака отрабатывает копеечку, причем плохо:
        1) посты по тематике довольно странные(но это дело вкуса, у нас же свобода, хабр развивается, не дождусь рецепта бабушкиных пирогов);
        2) по содержанию довольно странные(опять же — дело вкуса, вот тут бы рецепт морса пригодился — пироги то суховаты) — полотно за полотном это уже норма для ua-hosting, видимо оплата идет за кол-во знаков, а не смысловую нагрузку;
        3) но то что по структуре из раза в раз полное и безоговорочное непотребство — это уже никакими(приличными) эпитетами не описать. не учатся ничему и учиться не хотят, ты ему про структуру, он тебе про статьи, пока читателей не растеряет и нарицательным не станет(#comment_20689803)
        4) подозреваю что в этот статье содержание даже не соответствует заголовку, но читать не стал
        +2
        Интересно, но рисование линий на картах, это все таки не автоматическое построение карт.
          +1
          это п… олный бред. так и запишем — заббикс неприменим для дискаверинга сети. впрочем, я это знал.
          рекомендую посмотреть, например, NetBrain — вот как должен выглядеть дискаверинг сети.
            0
            >заббикс неприменим для дискаверинга сети
            И задачи такой то никогда не было по большому счету. Просто он почти не умеет то, что умеют другие, и довольно неплохо умеето, что другие системы не умеют.
            +2
            Интригующий заголовок, но статью невозможно читать. Зачем столько скриншотов полных экранов ради показа одной/нескольких строк ТЕКСТА???
              –1
              Нашел внутри статьи пару-тройку интересных моментов, но полностью воспроизвести процесс не рискну.

              з.ы. Если сеть с резервированием каналов между коммутаторами картинка будет не очень наглядная: при аварии на канале коммутатор все равно останется онлайн. Но эта тема для хорошего курсового :)
                +5
                Совершенно нечитаемо! Серьёзно, это какой-то новый уровень треша на хабре.
                  0
                  Это жесть, можно было просто ссылку на видос оставить
                    +1
                    Дикий ужас. Курсы то он может и неплохо читает, но делать статью из картинок с записи курса — это уже что то с чем то…
                    Я работаю инженером в МГТУ имени Баумана. Со дня окончания его в 1997 году работаю инженером.
                      0
                      Это «расшифровка», прости господи, бесплатного рекламного вебинара, который год назад проводился и который давно выложен на канале Специалиста
                      «Всем привет! Зовут меня Лохтуров Вячеслав Александрович. Я работаю инженером в МГТУ имени Баумана. Со дня окончания его в 1997 году работаю инженером.» — это уже из видео, а не от автора поста.
                      –1
                      Мне даже сложно понять что бесполезнее: сам материал и поставленная задача как таковой или же это пост на хабре, написанный ради рекламы. Наверное самыми бесполезными оказались уроки по грамотному оформления текста, раз уж автор их дропнул.
                        0
                        Половина статьи про базовую установку и настройку Заббикса. Пожалуйста, уберите эту часть под кат.
                        И совершенно непонятно, зачем городить RSH для мониторинга моновендорной (CDP!) сети, когда есть OID 1.3.6.1.4.1.9.9.23.1.2.1.1 Безопасники, наверное, будут в восторге.
                          +3
                          научить Zabbix… автоматически… рисовать и обновлять топологию
                          вот ради этого тыкнул по ссылке, проматывал всю эту портянку и не нашёл. не надо так.

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое