Как мы поднимали IT-инфраструктуру [со дна]

    Всем здравствуйте!

    Спустя ровно год после написания статьи «Опыт работы эникейщиком/системным администратором в бюджетной организации» и 2,5 лет после написании моим зам. директора подразделения статьи «Реанимация ИТ инфраструктуры» я хотел бы продолжить данный рассказ.



    Помню, в одном из комментариев я встретил фразу:
    Поэтому всё же посоветую обоим хабраюзерам из этой помойки собраться с духом и свалить — ничего вы в этом болоте не разгребёте и ещё через два года, а сидеть страдать фигней за 12 тысяч — это очень идиотский способ убить время.
    Но, как ни странно, из того, что мы делали все-таки что-то получилось, и я хотел бы рассказать как далеко мы зашли:
    • создан домен Active Directory Domain Services с автоматическим управлением учетными записями и подразделениями (OU);
    • внедрен Office 365;
    • развернут Spacewalk (ПО для управления *nix операционными системами);
    • создан HA MySQL Server master-master (Active-Passive);
    • развернута хостинг-панель Ajenti;
    • настроен SSL доступ к веб-ресурсам компании;
    • мигрирован VMware vCenter с 4.0 на 5.1U3;
    • внедрен ESET NOD32 Business Edition ver. 5;
    • внедрена авторизации в сети на базе МСЭ Cisco ASA 5525-X NGFW c CDA;
    • разрешены проблемы с кондиционированием в серверной.

    За прошедший год мы с новым коллегой ( astrike — у него Read-only аккаунт, поэтому статью пишем вместе), о котором была речь в прошлой статье, разграничили зоны компетенций и стали приводить ИТ инфраструктуру к приличному виду. Он занимается написанием скриптов автоматизации (в т.ч. и на PowerShell), настройкой синхронизаций, разверткой и поддержкой *nix серверов и всего, что с ними связано. Я же занимаюсь продуктами Microsoft Windows, MS SQL, Office 365, виртуализацией и сетями передачи данных (Ethernet, SAN).


    Краткое описание ИТ инфраструктуры компании


    Активное сетевое оборудование Cisco:
    • core: Catalyst 6509;
    • access: Catalyst 35XX;
    • WLAN — controller: 4404 и 50 AP.
    До всех коммутационных идет 1G оптоволоконный кабель, который, в лучшем случае, подключен к каждому коммутатору в стойке, в худшем — к половине коммутаторов в стойке (оставшиеся коммутаторы подключены каскадно).

    Серверная инфраструктура:
    • две 42U стойки с 11 серверами Sun Fire X4170M2, объединенных в кластер ESXi;
    • СХД Hitachi AMS 2100;
    • 2 рядных кондиционера APC InRow (без резервирования), выносные блоки которых в жару охлаждаются проточной водой из садовых распылителей.


    AD DS и Office 365 (Azure)


    Основной задачей на момент внедрения была автоматизация жизненного цикла электронной почтовой службы. Для этих целей мы воспользовались уже частично развернутым на предприятии программным продуктом Office 365. Сотрудники стали пользоваться корпоративной почтой, при чем достаточно много и часто (особенно, после подписания приказа о корпоративной почтовой системе).

    Совместно с нашим 1С-ником мы настроили автоматическое создание учетных записей в AD. Данный процесс мы организовали следующим образом:
    1. сервер 1С выгружает данные о работниках и структуре организации (OU) в файл с определенной структурой.
    2. скрипт на PowerShell забирает данные и формирует файл с патчем (разницей между текущим состоянием AD и выгрузкой из 1C). Сводка из этого патча рассылается заинтересованным лицам (действия, затрагивающие некоторые руководящие должности, требуют ручного подтверждения). Затем ночью патч применяется: создаются новые и обновляются существующие OU; добавляются, актуализируются, активируются и деактивируются учетные записи (естественно, по подразделениям). Такой подход гарантируют, что случайно не будут (например, при ошибке в 1C) деактивированы все учетные записи (отдельная проверка на количество изменений в патче) или учетные записи руководящих должностей и системных администраторов;
    3. после заведения локальных учетной записи DirSync синхронизирует (вообще, он синхронизируется раз в полчаса) локальный AD с облачным Azure AD (AAD);
    4. затем скрипт лицензирует и настраивает параметры учетных записей в облачном AAD в зависимости от их групповой принадлежности.
    5. теперь пользователю требуется получить пароль от своей учетной записи. Для автоматизации выдачи паролей был написан специальный PowerShell скрипт и добавлен пункт меню «Распечатать новый пароль» в AD. При нажатии на него автоматически распечатывается пароль пользователя и инструкция по использованию информационных служб на принтере «по умолчанию» для данного пользователя (рисунок ниже). После печати все файлы удаляются.


    В настоящее время продолжается процесс ввода ПК в домен. На текущий момент в домене уже более 150 ПК под управлением OC Windows 8.1. В дальнейшим планируется развернуть Windows 10 на всех ПК компании.Для именования ПК мы используем наклейки с шаблонным идентификатором компьютера (например, COMP-00045), которые клеим на ПК и регистрируем в домене.


    ОС *nix и Spacewalk


    В связи с наличием зоопарка *nix серверов, некоторые из которых уже вышли из поддержки (например, Ubuntu 10.04), а другие просто подпорчены, например, сборками пакетов через make install, было решено создать свой «золотой образ», на основе которого разворачивались бы новые *nix сервера. Мы решили, что для наших целей лучше всего подходит дистрибутив CentOS, так как у него есть большое количество структурированных мануалов, срок поддержки, а также достаточно консервативная политика. Для администрирования этих серверов было решено использовать Spacewalk. Spacewalk — это система управления *nix операционными с системами с поддержкой проксирования репозиториев (как WSUS на Windows), управления конфигурационные файлами, установленными пакетами и возможностью выполнения комманд на подключенных серверах.

    В итоге, в VMware vSphere был создан шаблон (template) со скриптом, который вводит сервер в домен (для DNS и авторизации), настраивает конфигурацию сети и пользователей. Таким образом разворачивание новой системы свелось к следующему:
    1. создания виртуальной машины из шаблона в VMware vSphere;
    2. подключения к этой виртуальной машинке и запуск скрипта развертки (на bash), который назначает системе IP (на выбор статический или DHCP) и другие другие параметры (в т.ч. hostname), вводит сервер в домен AD, подключает сервер к Spacewalk, который сразу же устанавливает необходимые пакеты и разворачивает конфигурационные файлы;


    Таким образом, получается новый *nix сервер с доменными политиками доступа (вход до доменной учетной записи), автоматическим обновлением Errata, настроенным мониторингом Zabbix, центрально-управляемыми репозиториями и конфигурационными файлами (Spacewalk).

    Благодаря унификации дистрибутива сильно упростилось администрирование серверов (одинаковые команды, расположение конфигурационных файлов, единые репозитории и пакеты). А благодаря централизованный системе управления ОС Spacewalk конфигурационные файлы не теряются (и есть возможность обновления конфигурационных файлов сразу на всех серверах с подстановкой переменных), всегда видно какие сервера требуют обновления, а критические обновления автоматически устанавливаются.

    В настоящее время осуществляются работы по переносу приложений (в основном, веб-приложений) на новые сервера и по разворачиванию новых сервисов.


    HA MySQL DB


    Для непрерывной работы практически любого приложения требуется бесперебойная работа БД. А так как большинство существующих в компании приложений используют MySQL, то был развернут MySQL сервер (не MariaDB, так как в момент разворачивания у неё была какая-то ошибка, о который мне сообщил наш разработчик).

    Непрерывность работы БД обеспечивается master-master репликацией по стратегии Active-Passive (балансировка нагрузки пока не актуальна), т.е. один сервер всегда является основным (Active), но при его падении (или падении MySQL сервера на нем) все запросы переходят на Passive сервер. При поднятии Active сервера все запросы снова переходят на него.

    Такое переключение (failover) достигается благодаря использованию виртуального IP (VIP), которое обеспечивает демон keepalived. Использование данной технологии позволяет (в отличии от proxy-серверов) ограничивать доступ к схемам по IP и не создает лишнего хопа, следовательно и лишней задержки.

    Из основных настроек БД, на мой взгляд, осталась только настройка LDAP авторизации. Конечно, можно и SSL настроить, но это уже после разворачивания центра сертификации (CA).


    vCenter и бекапы


    Так же за прошедший год мы смогли мигрировать кластер VMware vSphere с более чем 100 рабочими виртуальными машинами и настроить функции HA, DRS, SDRS и DPM, а на все гостевые операционные системы было установлено ПО VMware Tools, что позволило использовать виртуальную инфраструктуру на полную мощность.

    В дальнейшем была настроена система бекапов с использованием средств Veeam Backup and Replication, которые на данный момент развернуты в триальном режиме, но уже настроены такие функции как автоматическая проверка бекапов в виртуальной лаборатории, служба VSS для Windows приложений. Как показала практика бекапы копии VM консистенты и стартует без проблем (тьфу, тьфу).

    Так теперь выглядит процентное соотношение вирутальных машин в нашем кластрере. До конца года мы планируем полностью вывести из эксплуатации Windows Server 2003, а так же заменить старые Debian и Ubuntu на CentOS 7.


    Защита рабочих станций и Windows серверов


    Для защиты рабочих станции мы используем антивирус ESET. За несколько лет эксплуатации достаточно хорошо себя зарекомендовал, а самое главное, что у него есть за хорошее централизованное управление на компьютерах вне домена. Мы развернули версию 5, так как примерно 400 компьютеров обращаются к managment-серверу ERA без установленных агентов (как это надо в версии 6), а для их установки желательно иметь домен для установки на них агентов ESET.


    Как мы решили проблему с кондиционированием серверной


    Мы создали в серверной холодные и горячие коридоры с минимальными затратами: стойки были накрыты монолитным поликарбонатом, а с помощью направляющих были сделаны двери для входа в коридоры.

    В результате температура в серверной понизилась до 18 градусов в холодном и до 23 — в горячем, а также на 40% снизилась нагрузка на кондиционеры.


    Создание авторизации для доступа к глобальной сети


    Для ограничения доступа в интернет сейчас развертываем систему авторизации в сети на базе Cisco ASA 5525-X и CDA сервера. Но пока все это в процессе. Конечно, хотелось бы сделать это с использованием IEEE 802.1X для всех устройств в сети, но как получится в итоге — неизвестно.


    Подводя итоги


    Как ни странно, но за этот год мы с другом смогли реализовать достаточно много крупных и интересных проектов, попутно закончив Университет. Сейчас идет процесс причесывания различных вещей, а так же написание регламентов и приказов по использованию сети, домена и т.д.

    После этого останется выбрать и внедрить решения для организации HelpDesk`a, а так же развернуть некоторые продукты из линейки System Center Configuration Manager, Operations Manager и, возможно, Service Manager. Тогда почти все проблемы будут решены, кроме отсутствия крупных финансовых вливаний в ИТ-департамент, которые влекут за собой отсутствие денег на модернизацию серверов, коммутаторов и т.д, и повышение зарплат, но это уже совсем другая история…

    Если вам будет интересно, то мы можем более подробно описать свой опыт внедрения для любых из вышеописанных программных продуктов, где уже будут конкретные технические подробности.
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 71

    • UFO just landed and posted this here
        +3
        Простите за нескромный вопрос, а все это как то повлияло на вашу зарплату?:-)
          +2
          Оклад за год не подняли, он как был, так и остался 13,3к (чистыми), но добавили ежемесячную надбавку 6к и 6,5к платит другое подразделение, за то, что я администрирую их сервера (2 соляриса, 4 WS 2003 и 2 WS2012 R2). Итого получаю на карту 26к
          Александр (который отвечает за линукс) получает 13к, но ходит день через день
            +12
            Мда. Мрак.
              0
              Не все то что ИТ будет default city :) для регионов это вполне достойно.
                +2
                Ну я вообщет в Челябинске живу и не особо понимаю как тут можно существовать на 26к.
                  0
                  :) ну то Челябинск… жизнь у вас будет немного дороже европейской части РФ… к примеру Белгород Воронеж и тд…
                    0
                    Да ладно, живу, снимаю квартиру на Теплотехе и работаю за 25к. У большинства и того хуже. Средняя з/п сисадмина 23к по городу.

                    У нас даже сипипишников с 2+ летним опытом хотят на 25к нанимать.
                    Вот, например: 74.ru/job/vacancy/1947249.html
                      0
                      А мы говорим о системном администраторе или энекейщике всё-таки? Мне крайне любопытно — соседний город, неужели такая большая разница? Или я просто не знаю зарплат в своём городе?..
                        0
                        Екат? Там средняя зп админа 30к. Разница весьма-таки ощутимая. И ИТ там в разы лучше развито.

                        В Челябинске потолок 35, дальше либо многоруких Шив ищут, либо очень узких спецов. Изредка в последнее время начали проскакивать вакансии на 45, что не может не радовать.
                          0
                          Видите ли, у меня хороший друг долго искал начинающего админа с мозгами за 25-30. Плюс оплата бензина, мобильной связи и т.д. Даже знания особые были не нужны, только желание учиться и способности это делать. Не нашёл. В смысле, было несколько попыток, но безуспешных. Поэтому я и удивлён, что есть подготовленные люди, которые готовы работать за такие деньги.
                            +1
                            Начинающий админ с машиной это редкость, по крайней мере до 25 лет, а после как правило на такую зарплату уже не идут. На машине даже без образования можно и больше зарабатывать.

                            За маленькие деньги работают либо выходцы из бюджетных компаний, когда после их 15к зарплаты, 25к в мелкой конторе раем покажутся. Либо самоучки, типа меня, которым без высшего образования тяжело нормальную работу найти. Ну и те, кто только перешел с эникейства и еще не уверен в своих силах. А также нельзя забывать ту прослойку админов без амбиций, которым важно только в игрушки на работе играть.

                            В-общем сложный вопрос и причин много.
                            Хорошего админа нелегко найти даже начинающего, это должны сойтись звезды и что Вам админ понадобится и что он свободен будет. Я 2 года назад приехал в Челябинск, на старом месте 5 лет не мог ни одну работу по профилю найти, а тут через 2 недели нашел первую официальную работу. Когда менял даже разрыва стажа не было, уложился в 2 недели. И за свое будущее я спокоен.
                              0
                              Вы сказали, что
                              Там средняя зп админа 30к.

                              Это означает, что должно быть достаточное количество людей, готовых за эту з\п работать. Хотя, конечно, понятие «средняя» такое… обманчивое. Может быть два админа за 40 т.р. и один — за 10. Средняя з\п у них будет 30 :)

                              А машина была опциональной (т.е. было бы плюсом, если бы она была).

                              Я, в общем, поэтому и уточняю, какие конкретно должности имеются ввиду, потому что общался с парой людей, так они, утверждая, что админы, не знали даже что такое IP-адрес и зачем нужна маска подсети. Это даже недоэникеи какие-то были.
                                0
                                Ну да, примерно так и считается. Вообще это средний показатель по вакансиям в общем доступе в единый момент времени, т.е. реальная может быть как выше, так и ниже. Число это достаточно стабильное, только за последний год примерно на 10% упало. В Че 25->23, в Екате 32->29.

                                Хыхы, рвутся в отрасль люди как могут. Я вот получил какое-никакое профильное образование «Оператор ЭВМ». Мы кодили на VB6+ADO, винду ставили, одноранговые сети тянули и поднимали.

                                Ну видимо вам не повезло, либо не там искали.

                                Вот покажу свое резюме(спец. очень широкого профиля) на денек
                                chelyabinsk.hh.ru/resume/4cbf336fff01d5e97c0039ed1f5a6f34594b4f

                                Считаю свои навыки и опыт вполне адекватными для зарплаты около 30к в Челябинске, с хардкорным энтерпрайзом дел еще не имел, но стараюсь хотя бы теоретические знания поддерживать. Сейчас работа голову не мучает, получаю 25, 90% рабочего времени самообразованием занимаюсь.
                                  +1
                                  Спасибо, крайне любопытно. Видимо, беда в «загрязнённости» рынка. Слишком много предложения. Рынок конкурентен, но вот из-за обилия народа, поставившего пару раз винду дома на своём компе и возомнившего себя спецами найти действительно способных\умеющих людей сложно.
                                    +2
                                    Именно, всякие левые люди попавшие в отрасль демпингуют, из-за чего страдают профессионалы. Да и начальству проще есть кактус и менять студентов работающих за 15-20к, чем держать профессионала за 40. Риск-менеджмент не в чести в этой стране.
                                  0
                                  [удалено]
                                0
                                del
                                +1
                                потолок 35-45, это потолок для фирм, которые работают на «локальный» рынок, хотите интерсней(и возможно больше) — ищите удаленку! у меня стажа официального лет 8 будет, из них порядка 5 это удаленная работа(в 3 разных фирмах). Хохма: за эти 5 лет, я только один раз видел свои сервера, съездив в англию на спор на машине

                                p.s работаю системным администратором(если так можно сказать) в Че
                          • UFO just landed and posted this here
                        0
                        Вы получаете в 2-2.5 раза меньше по региональным расценкам, и 3-4 по столичным.
                          0
                          Простите за еще один нескромный вопрос, но какова ваша мотивация в том, чтобы работать в этой организации за такую сумму и делать это столь добросовестно? Кажется очевидным, что вы достаточно компетентны, чтобы получать значительно большую зарплату в более адекватных организациях.
                            0
                            Во-первых, для меня это очень хороший опыт, во-вторых, очень приятно смотреть как на глазах инфраструктура преображается, в-третьих, отличная коллектив в котором высокая мотивация и которая так же заинтересована в результате. Да и хочется более, менее закончить начатое, чтобы была какая-либо целостность.

                            Да и сейчас мы решил с другом пойти в этом университет в магистратуру на ИТ-менеджмент :-)
                              0
                              Если Вы собираетесь работать там все время обучения, то смысл есть, а вот если нет, то не рекомендую
                                0
                                Да, данную работу я рассматриваю только на период обучения в связи с гибким графиком и понимающим руководством
                          • UFO just landed and posted this here
                          0
                          Не раскрыто управление сетевой частью — как бэкапите и проверяете конфиги, подключен ли RADIUS/TACACS, какова топология и т.д.
                          В целом — красивенькое резюме, как уже сказали, без грамма технических подробностей.

                          Но за такую зарплату даже это уже выглядит достижением.
                            0
                            Сеть у нас как я писал выше состоит из управляемых коммутаторов Cisco линейки Catalyst.

                            Примерно 39% от нее составляют WS-C3550, 22% — WS-C3548, WS-C3560 — 13%, и по 2 -3 штуки разных моделей WS-C2960 и 2950. Так же все это разбавляет десяток неуправляемых коммутаторов с различной плотностью портов от 4 до 48. Всем кроме гигабитных коммутаторов (96%), присвоен статус EOL.
                            Управляем мы этим всем через консоль без использования специального ПО (Cisco LMS, Prime и т.д). Так как их поддержки в новых версиях нет.

                            Бекапится это все с помощью нехитрого скрипта на баше который копирует конфиги на сервер и под гит.
                            Скрипт
                            #!/bin/sh
                            
                            hosts="/backups/hosts"
                            date=`date '+%Y.%m.%d'`
                            ndate=`date '+%d.%m.%Y'`
                            echo `sudo chown nobody:nogroup -R /backups/configs/`
                            cat "$hosts" | while read host; do
                            (
                                    echo "open $host 23"
                                    sleep 4
                                    echo "habr"
                                    sleep 3
                                    echo "habr\n"
                                    sleep 3
                                    echo "en"
                                    sleep 3
                                    echo "habr\n"
                                    sleep 3
                                    echo "copy run tftp"
                                    sleep 3
                                    echo "192.168.1.1"
                                    sleep 3
                                    echo "\n"
                                    sleep 10
                            ) | telnet
                            done
                            
                            echo `git --git-dir=/backups/configs/.git --work-tree=/backups/configs add /backups/configs/*`
                            echo `git --git-dir=/backups/configs/.git --work-tree=/backups/configs commit -m "Added configs from $ndate"`
                            echo `git --git-dir=/backups/configs/.git --work-tree=/backups/configs tag "$date"`
                            


                            Топология достаточно простая от коммутатора ядра и идет линк до доступа. Уровня распределения у нас как такого нет.
                              +1
                              Есть весьма старая штука — rancid, именно для этих целей. Там завернуто под cvs, сохраняются диффы, так что можно отслеживать историю изменений.
                              Посмотрите, может понравится.
                                0
                                Согласен, отличная штукенция
                                  0
                                  Будет время обязательно попробую, чтобы не делать очередные костыли
                                  0
                                  Попробуйте NOC Project — тут вам и конфиги, и управление, и inventory и еще куча всего-разного.
                                  Вы, конечно, молодец — я бы за такие деньги работать не стал
                                +1
                                Напрашивается вопрос «и чо?»
                                Действительно похоже на отчет для начальства
                                  +15
                                  Год назад люди просили написать, что у нас получится. Вот и решили создать данный пост, так сказать подводя итоги проделанной работы.
                                    0
                                    Сдаюсь
                                  +1
                                  Молодцы!
                                  Про техническую сторону тут еще могут и «полить» и похвалить. Я не о том/
                                  Полагаю, что основной бонус — опыт и реальная, практическая реализация в копилке «а что вы уже делали/сделали» :) На фоне «пионерии», размахивающей сертификатами и дипломами без практики и (самое главное) — без мозгов — это очень неплохо. Не останавливайтесь!
                                    +2
                                    Скажу что это отличный старт! Много опыта и практических навыков, есть от чего отталкиваться. Как раз того, чего многим «начинающим» не хватает. Отличный задел на будущее.
                                    И хорошо что не послушали тех кто предлагал «свалить», считая что разгрести существующее не удастся (И спасибо им за то что захотелось доказать обратное)
                                      +1
                                      Вы делаете хорошее дело! Описание выполненных задач и ИТ-инфраструктуры — впечатляют! Уровень финансирования университета дает о себе знать, даже завидую белой завистью.
                                      Но хотелось бы увидеть не только описание стандартных решений для крупных организаций, но и специфических для образовательной организации (если вы их затрагивали), а именно:
                                      1. введены ли в домен учебные ПК?
                                      2. как организована регистрация студентов или под какими логинами они получают доступ к ПК?
                                      3. как храните учебные материалы?
                                      4. используете ли LMS?
                                      5. решены ли вопросы по инвентаризации оборудования и ПО?
                                      6. как решен вопрос по соответствию ФЗ №149-ФЗ и №436-ФЗ( контентная фильтрация)?
                                      7. используете wi-fi? А запрет на анонимное использование Wi-Fi сетей в общественных местах соблюдаем? или он только для служебных ПК?

                                      Еще вопрос про «я администрирую их сервера»? Эти сервера физически находятся где? в серверной или в подразделении? И вы их администрируете один? другие ИТ-шники их не трогают? Если вы один — это минус для организации — при вашей болезни\увольнении\отпуске они останутся без админа…
                                      У себя я одной из целей сделал: ИТ-инфраструктура — обслуживается отделом ИТ, конечно назначены ответственные, но есть и дублирование функций (на случай недоступности сотрудника: болезнь\отпуск и т.п.), и даже в случае аутсорса — взаимодействие через отдел ИТ. Так мы держим руку на пульсе…
                                      Каков штат отдела ИТ сейчас? Надеюсь Вас не 3 человека.

                                      из предыдущего поста:
                                      На вопрос у руководства, почему никто не хочет работать, получаю ответ: “Что ты хочешь? Это же бюджетка!”, а при просьбе увеличить зарплату, получаю ответ: «Тебя тут никто не держит! Хоть сейчас можешь уходить...»

                                      Став руководителем, сталкивался с этим. Как говорят студенты «Всех не отчислят!», то же и в отделе «Всех не уволят!». Но после почти года работы оказалось, что не все готовы свалить (а тут еще и кризис на новый виток пошел!). Был разговор с отделом и уволены те кто явно тянул вниз! Этот как холодный душ для остальных! Главное правильно расставить акценты и ударения и интонацию выбрать верную! Из оставшихся выделены активисты — + к зарплате (не большой, но все же)! И жизнь начала налаживаться!
                                      Подведя итог скажу -это от руководителя отдела зависит! Если он захочет — все будут работать, если не захочет связываться, так все и зарастет мхом… (в вы профессионально выгорите, через пару лет...)

                                      Очень понравился пункт про печать данных из меню ADUC о пользователе. Если не сложно, напишите об этом подробнее.

                                      При написании регламентов -совет перечитывайте их не в одиночку. Очень высока вероятность закабалить себя неосторожной фразой или пунктом в документации. Как правило речь о том что «здесь имелось ввиду совсем другое, а не это, мы просто ошиблись, заложили на будущее» прокатывает очень редко, в основном в эти бумажки будут тыкать Вас… Это не повод откладывать в черный ящик разработку документации, но нужно быть внимательными.

                                      Еще вопросы: каков общий возможный объем хранения данных в СХД сейчас (сколько дисков и каких установлено в каком RAID'e) и реально используемый объем?

                                      Почему-то пропустил Ваши предыдущие два поста, перечитал, проникся, сочувствую (сам в схожей ситуации) и желаю удачи и терпения для новых достижений!
                                        0
                                        как решен вопрос по соответствию ФЗ №149-ФЗ и №436-ФЗ( контентная фильтрация)?
                                        используете wi-fi? А запрет на анонимное использование Wi-Fi сетей в общественных местах соблюдаем? или он только для служебных ПК?

                                        Тут, кстати, даёт знать о себе знать правовой вакуум и тотальная неграмотность законтворителей.
                                        Контентная фильтрация — а что фильтровать?
                                        1) Единый реестр свободно, насколько помню, не распространяется. Да и это вопрос к провайдерам связи, скорее.
                                        2) Если речь об экстремистских материалах, то, в принципе, ничего не стоит заблокировать все ресурсы, перечисленные в реестре на сайте минюста (да, с маленькой. К слову о степени уважения к этим всем структурам) РФ.
                                        3) Но при этом, если речь идёт именно о материалах, коих на зеркалах запрещённых сайтов найти можно, то как установить, тот ли это экстремистский материал, или другой с просто некоторой схожестью? Нужен эталонный экстремистский материал. А это получается сам настраивающий ознакамливается с этим материалом. Иначе как может it спец сказать, то ли он блокирует. Упс, нестыковочка.
                                        4) Wifi. Речь там об операторах связи. Опять вопрос о безграмотности законописателей. Они пользуются терминами «оператор универсального обслуживания», «оператор связи». А кого оператором связи считать? Определений ни по ссылке, ни в 149 ФЗ я не встречал.
                                        Там нет однозначной трактовки. То есть если организация бюджетная занимается оформлением документов, или образованием, а бесплатный wifi — есть, то её и считать вроде оператором связи и нельзя, потому как организация занимается другой деятельностью. А всё остальное — двоякое толкование закона.

                                        Понятное дело, что если придёт прокуратура с проверкой и скажет «блокировать, к вам закон применим, вы оператор связи, потому что бесплатный. А если нет, то покажите в законе, где не так», то тут ничего не попишешь. Даже с контраргументом, что в законе нет указания и того, кого считать оператором связи. Из спора с прокуратурой тяжело выйти победителем, сам же дураком и останешься, приходится заниматься вот такой вот шелухой. Потому что каждый проверяющий мнит себя самым-самым, заходит в гугл, пишет что-то из списка минюста, жмёт поиск, гугл выдаёт результат. А проверяющий говорит «ну вот, ищется же». На довод, что это, всё таки, вопрос к поисковику следует идиотское «но ищется же у вас». Это вкорне неправильно. Пока такая ситуация и синдром местного царка у нас цветут буйным цветом, у нас и будет получаться, что системы живут на энтузиазме отдельных работников, но будут начинать рассыпаться как только этот работник меняется. Потому что у следующего, вполне вероятно, может и не быть такого запала.

                                        Я со всем этим столкнулся. Очень не вдохновился ситуацией. Вместо реальных дел занимаешься тем, что пытаешься подвести соответствие какой-то шелухи каким-то законам, которые принимались «между прочим».
                                          0
                                          Так бы и сказали, что адекватного решения по этому вопросу на данный момент Вы не знаете.
                                          И либо надеетесь на «авось пронесет», либо просто этим особо не заморачивались и для вашей организации это не насущный вопрос…
                                          Или поделитесь решением.

                                          Между тем согласно статьи 10.1 ФЗ N 149-ФЗ (к вопросу о wi-fi)
                                          Организатором распространения информации в сети «Интернет» является лицо, осуществляющее деятельность по обеспечению функционирования информационных систем и (или) программ для электронных вычислительных машин, которые предназначены и (или) используются для приема, передачи, доставки и (или) обработки электронных сообщений пользователей сети «Интернет».

                                          т.е. это ОЧЕНЬ широкая формулировка… и хотя есть оговорки Роскомнадзора (легко найти в сети) у себя мы отказались от бесплатного wi-fi и реализацию доступа по wi-fi к служебным АРМ тоже не практикуем (это конечно не из-за закона, больше из-за особенностей инфраструктуры, но как дополнительный плюс к проводам).

                                          По поводу контентной фильтрации все ровным счетом так же: есть требования, но инструменты каждый ищет\выбирает сам.
                                          То, что знаю я:
                                          1. «Родительский контроль» на стороне провайдера.
                                          2. СКФ внутри организации+DNS фильтр (есть готовые решения позиционирующиеся как соответствующие ФЗ).
                                          3. Белые списки ресурсов.

                                          Согласно закону можем вообще никуда доступ не давать, тогда будем белыми и пушистыми. А Интернет — «Что у вас мобильников и планшетников нет? Вот ими и пользуйтесь, А здесь работать надо, а не в Интернетах сидеть...» (с).

                                          Независимо от «неграмотности», компетентности и осведомленности «законтворителей» закон придется соблюдать. К тому же он описывает достаточно правильные вещи. Игнорировать закон — себе во вред.

                                          Ждем, что ответит автор.
                                            0
                                            1. «Родительский контроль» на стороне провайдера.
                                            2. СКФ внутри организации+DNS фильтр (есть готовые решения позиционирующиеся как соответствующие ФЗ).
                                            3. Белые списки ресурсов.

                                            1. Прокуратуру, к сожалению, не устраивает степень фильтрации провайдера. Вот тут я чисто логически понять не могу. Не устраивает фильтрация у провайдера, но претензии предъявляют абоненту.
                                            2. Прокуратура настойчиво советовала пару решений. Отечественных! Гугление показало, что решения-то как-то уже с 30 клиентами в сети уходят в тормоза. Подозреваю лоббирование интересов.
                                            3. Не везде концепция белых списков применима.

                                            т.е. это ОЧЕНЬ широкая формулировка…

                                            Тото и оно. Захотел подвёл сюда фразу «оператор связи», захотел — не подвёл.

                                            У меня, в итоге, было решение сделано с Dansguardian.
                                            Пришлось, конечно, списки лопатить. В итоге получился словарь в несколько тысяч фраз (помимо стоп-листа), который пришлось ещё дублировать в разных кодировках. Итого, прогон идёт тысячам по 15 фраз. При этом ещё долго вылавливал ложные срабатывания.
                                            В целом, работает, но меня в последнее время не удовлетворяет. С сентября буду что-то менять. Не знаю, что, но вопрос этот себе я отметил.
                                          0
                                          Уровень финансирования университета дает о себе знать, даже завидую белой завистью.
                                          Это сарказм? За последние 2 года купили только жесткие диски для СХД, так как в ней полностью закончилось место и приходилось использовать жесткие диска «thin provision» и оперативку для 3 серверов. Антивирус взяли из за того, что сеть просто «кишила» вирусами и троянами. Когда поддержка Windows XP прекратилась MSE тоже перестал обновляться, после правок реестра на Windows XP для возобновления его работы системы часто работала нестабильно.

                                          введены ли в домен учебные ПК?
                                          На данный момент, не полностью, но планируется ввести в домен все компьютеры.

                                          как организована регистрация студентов или под какими логинами они получают доступ к ПК?
                                          Студенты тянутся из базы и так же добавляются в AD DS. Они получают доступ к ПК под своими учетками формата petr@edu.comp.ru

                                          как храните учебные материалы?
                                          Данный вопрос находится в зоне не моей компетентности. Скорее всего локально на рабочих станциях сотрудников.

                                          используете ли LMS?
                                          Да, еще за данный год внедрена БРС система нашими программистами. Решение было написано с нуля и исходный код которого находится на GitLab`е. Помимо этого некоторые подразделения используют Moodle

                                          как решен вопрос по соответствию ФЗ №149-ФЗ и №436-ФЗ( контентная фильтрация)?
                                          используете wi-fi? А запрет на анонимное использование Wi-Fi сетей в общественных местах соблюдаем? или он только для служебных ПК?
                                          Насколько я понимаю данные ФЗ относятся к сервис провайдерам, а мы таковыми не являемся. Но все равно доступ в сеть в ближайшее время будет закрыт с помощью ASA: IDFW.

                                          Очень понравился пункт про печать данных из меню ADUC о пользователе. Если не сложно, напишите об этом подробнее.
                                          Постараемся в ближайшее время написать данную статью.

                                          Еще вопросы: каков общий возможный объем хранения данных в СХД сейчас (сколько дисков и каких установлено в каком RAID'e) и реально используемый объем?
                                          Так как жесткие диски у нас 3ТБ (в СХД мало слотов под жесткие диски) мы используем RAID 10
                                            0
                                            Это сарказм? За последние 2 года купи...

                                            Не сарказм, обратил внимание на большой список дорогого оборудования закупленного ранее.
                                            + разговор о платных Office 365, ESET Node, внедрение Windows 8.1, System Center (не кризисный продукт)…
                                            и сделал не верные выводы. Значит все таки кризис Вас тоже не обошел. Печально.

                                            Студенты тянутся из базы и так же добавляются в AD DS. Они получают доступ к ПК под своими учетками формата petr@edu.comp.ru

                                            Заманчивое, но крайне прожорливое решение по объему памяти на жестких дисках… Нам это станет доступно только после реализации редиректа домашних папок на сервер и укоплектования СХД большим объемом HDD… Пока даже в планах этого нет. Стоит ли это того?

                                            Данный вопрос находится в зоне не моей компетентности. Скорее всего локально на рабочих станциях сотрудников.

                                            Странно, мы реализовали такой подход:
                                            к каждой учетке монтируется сетевой диск (DFS). В зависимости от прав пользователь видит только свое. У студентов три папки: учебные материалы, задания и выполнено. к первой доступ на чтение — там все материалы для учебы (курсы лекций, практики и прочее) доступна ото всюду, задания — доступны внутри аудитории (для каждой аудитории отдельная папка, только чтение у студентов), выполнено — так же внутри аудитории (+ запись для студентов).

                                            внедрена БРС
                                            не понял что это. Тоже пользуемся moodle, но внедрение еще не завершено.

                                            ФЗ №149-ФЗ и №436-ФЗ
                                            относятся не только к ИСП, посмотрите внимательнее.

                                            Постараемся в ближайшее время
                                            Спасибо!

                                            Так как жесткие диски у нас 3ТБ
                                            про рейд понял, про объем не понял. Всего 3 ТБ? а используемый объем? Если кол-во жестких ограничено, почему не перейти на зеркало? Настроить мониторинг состояния жестких дисков и иметь холодный резерв для замены HDD?
                                              0
                                              Не сарказм, обратил внимание на большой список дорогого оборудования закупленного ранее.
                                              + разговор о платных Office 365, ESET Node, внедрение Windows 8.1, System Center (не кризисный продукт)…
                                              и сделал не верные выводы. Значит все таки кризис Вас тоже не обошел. Печально.
                                              Office 365 полностью бесплатен для образовательных учереждений. Microsoft и ESET дают очень хорошие скидки вузам, а школам еще больше.

                                              Заманчивое, но крайне прожорливое решение по объему памяти на жестких дисках… Нам это станет доступно только после реализации редиректа домашних папок на сервер и укоплектования СХД большим объемом HDD… Пока даже в планах этого нет. Стоит ли это того?
                                              Это тестировали летом, на реальных студентах пока нет. Хороший вопрос кстати. Будем смотреть и думать возможные варианты. Вообще мы планируем, чтобы студенты хранили все в OneDrive (им доступен 1TB), а учетные записи на ПК удалять после недели бездействия например.

                                              БРС это система учета успеваемости студентов.

                                              Общий суммарный объем чистого места на СХД 21ТБ. RAID 10 был выбран для увеличения производительности, так как нам важна производительность СХД в связи с большим количеством VM и БД. До этого был RAID 5, но с ним не хватало IOPS`ов.
                                                0
                                                по Office 365 как я понимаю это здесь? Направьте почитать\ посмотреть, дельного ничего не нашел, но очень интересно!

                                                БРС — ясно. Мы пока смотрим Электронный Деканат на основе Moodle (еще не решились).

                                                ПО СХД больше вопросов нет! Действительно при таких объемах — RAID -10 это выход…
                                                Спасибо!
                                                  0
                                                  Да, Office 365 как раз у нас E1, отличное решение, хорошо интегрируется с AD, так же включает в себя корпоративную соц. сеть Yammer

                                                  Я слышал, что у нас смотрят на решение от 1С, но более подробной информации я не знаю. Я стараюсь не лезть в учебный процесс.
                                              0
                                              Насколько я понимаю данные ФЗ относятся к сервис провайдерам, а мы таковыми не являемся. Но все равно доступ в сеть в ближайшее время будет закрыт с помощью ASA: IDFW.

                                              Расскажите это Макдональдсу, и на кого там еще недавно наезжали…
                                              Это год назад все успокоились поверив, что «оператор связи» это оператор связи. А не то, что оказалось сейчас.
                                            +3
                                            давайте уже к конкретике переходите! :) А так да, — молодцы!
                                            Скрипты PowerShell интересно было бы посмотреть, конфиги HA failover cluster MySQL, Spacewalk…
                                              +4
                                              Давайте цикл статей, по порядку что и как внедряли, но уже с техническими подробностями.
                                                0
                                                Хотелось бы подробностей.

                                                А вообще да. Поднимать уже существующую структуру (как в заголовке указано, со дна) — это несколько сложнее, чем с ноля. Сам такой. Поскольку не только надо по новому рецепту пустить, но и ещё обеспечить бесперебойность работы подразделений организации, да и ещё, к тому же, есть вероятность, что в какой-то момент интересы поднимающего инфраструктуру начнут пересекаться с интересами пользователей (раньше было лучше) и тех, кому ничего менять не охото/боязно/лениво. Разгребание старой инфраструктуры — та ещё задача. Но и опыт. Не только в работе с ситемами и железом, но и с людьми (то, чего зачастую многим it'шникам не хватает), в том числе в случае, когда «вопреки, а не благодаря». После доведения всего до ума в некоторой степени всё пришло к «А чего ты в серверной? У нас что-то случилось?!». Хороший вопрос админу :D

                                                Хотя нерешённых вопросов, на самом деле, прилично до сих пор. Просто для внешних глаз они не видны.
                                                  0
                                                  Неблохо. А какова позиция руководства? Работать дают? Как принимаются решения, финансирование и вообще построено управление?
                                                    0
                                                    Впечатляет объем работ. Молодцы!
                                                      +1
                                                      >VMware vSphere с более чем 100 рабочими виртуальными машинами

                                                      А что на них запущено или какую роль они выполняют?
                                                        +1
                                                        15 веб серверов, около 10 БД, различные серверы авторизации, около 10 севреров бухов, около 10 библиотечных ресурсов, 10 серверов для программ для обучения студентов и по мелочи всякие WSUS, NTP, Zabbix, ESET, терминальные и т.д
                                                        0
                                                        А что с DR? Есть ли процедура? Критичность? Проводилось ли тестирование? Ну и просто интересно, сколько времени требуется на полное восстановление?
                                                          0
                                                          Особенно критичных приложений у нас нет, да и виртуальная инфраструктура у нас одно из самых отказоустойчивых мест в ИТ-инфраструктуре. Просто у нас 15 летнее ядро и один гигабитный коммутатор для всего кластера, так что, по-моему, мнению о DR стоит задумываться если хотя бы будут решены базовые задачи отказоустойчивости и плюс решения по DR стоят определенных денег, а у нас пока гром не грянет, никто не будет креститься.
                                                            0
                                                            Обычно это называется DRP (Disaster Recovery Plan) -это не просто какое-то заоблачное дорогое решение — это план действий на случай «Алес! Капут! Палундра! Вызовите скорую и пожарных!»

                                                            Причем отрепетированный план действий (с участием сотрудников, запасных частей, резервного оборудования и прочего).
                                                            Т.е. если начать планировать/составлять такой план вы поймете, что вам необходимо для восстановления (что резервировать, что взаимозаменяемо, где лучше хранить документацию и в каком виде и т.п.)

                                                            Это не значит, что через 15 минут все будет как было до аварии, план может учитывать поэтапное восстановление сервисов. Главное указано что, кто и как должен сделать, какие сервисы важные, что может подождать (в том числе и пока будет закуплена замена железу).
                                                            К слову полного DR у нас тоже нет, но репетиция отказа одной ноды кластера виртуализации раз в год проводиться.
                                                            И это, кстати, очень интересно и планирование и репетиция!
                                                              0
                                                              Есть некоторые, DRP, но они составлены исключительно IT-подразделением и действительны только для тех вещей где не требуются финансовые затраты, а бизнесу данный вопрос не особо интересен и, по их словам: «ИТ не является основной бизнес-единицей бюджетной организации. Рухнул сайт, не смогли граждане получить услугу через интернет, ничего, придут ножками, бумага то в организации движется, а значит работа идет, а значит все хорошо, а то что у вас что-то сломалось то это больше ваши проблемы». Просто трудно писать DRP, когда бизнес не знает своих бизнес-процессов…

                                                              А DRP с закупками, я составлять даже не собираюсь, так как новое руководство очень противится дорогим устройствам, например, хотят сейчас закупать неуправляемые D-Link на доступ взамен погоревших Цисок, но потом думают по-другому, а через неделю опять так же.

                                                              Крупные аварии обычно у нас раза два в год, например, полный blackout серверной (когда отказывают два кондиционера, и она встает по перегреву). Последний раз полное восстановление заняло около 24 минуты.
                                                                0
                                                                А китайские железки пока не требуют покупать?
                                                                  0
                                                                  Ну как… Сверху приказа нет, и мы не попадаем под какие-либо санкции США, но высшее руководство вуза само не прочь перевести всю сеть на «дешевый», по их мнению, Huawei и прочие китайские аналоги, не задумываясь о последствиях миграции.
                                                          0
                                                          Так как жесткие диски у нас 3ТБ (в СХД мало слотов под жесткие диски) мы используем RAID 10

                                                          Использовать SATA диски такого объема в RAID 10, конечно, очень плохая идея. SATA (NL-SAS) вообще не для производительности. Но я так понимаю, что на диски SAS 10k не выделяют деньги? Да и массив уже совсем старый, давно End of Sale и, если я не ошибаюсь, совсем скоро END of Support.
                                                          И не увидел информации о том, где хранятся бэкапы. Надеюсь, не на этой же СХД?

                                                          P.S. вообще опыт очень позитивный для дальнейшего роста, много технологий «потрогано» руками, будет на чем строить дальнейшую экспертизу=)
                                                            0
                                                            Да, как раз по этому и брали 3ТБ жесткие диски, даже пришлось вытащить некоторые 250ГБ диски, чтобы побольше места было и конечно же руководство хотело все подешевле и побольше.
                                                            К сожалению все бекапы так же кладутся на эту СХД, так как других мест нет.
                                                              0
                                                              даже пришлось вытащить некоторые 250ГБ диски

                                                              Можно же просто купить дополнительную полку. У вас СХД на поддержке у вендора?

                                                              кладутся на эту СХД

                                                              К сожалению, несмотря на двухконтроллерность, иногда массивы оказываются недоступны совсем, полностью. И если нет поддержки у вендора — то надолго. В такой ситуации бывает нелишним отресториться куда-нибудь на другой носитель, любой, чтобы восстановить работу критичных сервисов.
                                                              Может получится рассказать это начальству и выбить хотя бы ленточку?
                                                                0
                                                                СХД не на поддержке у вендора. Ели выбили деньги на диски, я думаю если бы мы решили покупать полку, то мы бы ее до сих пор покупали.

                                                                Да, планировали ленту, но потом и на нее бюджет урезали, а класть бекапы на харды хостов не вижу смысла, так как они по 120GB.
                                                                  +1
                                                                  Можно собрать кластер на ScaleIO или ceph из старого хлама для копии самых критичных данных.
                                                                    0
                                                                    из старого хлама для копии самых критичных данных.

                                                                    А вы знаете толк в развлечениях :)
                                                                    Хотя я могу понять этот соблазн.
                                                            0
                                                            Очень хотелось бы увидеть статью с расценками… У вас большой бонус, что учреждение образовательное.

                                                            Но вообще: Veeam, VMvare, Win 8/10 (у вас поди vl версии), локальный AD, и всё прочее. — Очень не дёшего выглядит. Хочется понять: кол-во пользователей, цена. Спасибо!
                                                              0
                                                              Если брать лицензирование Windows, то самое дорогое в нем это CAL-лицензии (около 3к рублей), но я могу ошибаться, так как я не занимаюсь закупками. Windows Server и SC покупался бандлом «ECI Datacenter». Veeam например дает скидку около 20% сразу, а затем уже как с партнером договоримся. Антивирус тоже получается не очень дорогой, около 500р. за штуку. Количество закупаемых лицензий всегда разное, для каких то продуктов покупаем побольше, чтобы раздать пользователям, каких то поменьше. А количество пользователей сложный вопрос на который я сам не знаю ответ, но примерно около 1`500 стационарных ПК и 2`000 WLAN клиентов (вкл. студентов).

                                                              • UFO just landed and posted this here
                                                                  0
                                                                  Возможно. Я просто помню мне про какие то наклейки рассказывали (похожие на OEM, но другие), что необходимо их приобретать, чтобы лицензия считалась действующей и они были одними из самых дорогих в закупке.
                                                              –1
                                                              Я просто оставлю это здесь:
                                                              МОЛОДЦЫ!

                                                              Only users with full accounts can post comments. Log in, please.