Соединяем филиалы в одну сеть. Снижаем затраты на интернет

    logo

    Приветствую тебя хабражитель, не так давно передо мною встала задача соединить в единую сеть филиалы одной крупкой компании, разбросанные по Сибири. Главная проблема была в том, что OpenVPN надо было заставить работать поверх нестабильного PPPoE попутно пустив весь трафик через OpenVPN


    Первоначальная цель была в экономии денег на Интернет трафике в филиалах т.к. в удалённых районах цена безлимитного ADSL с шириной в 256кб/с стоила порядка 7-10т.р. в месяц, а интернет был жизненно необходим.
    Вся радость была в том, что почти все филиалы имели подключения одного провайдера, в котором существовало понятие локального и пирингово трафика, а в Главном офисе был выделенный широкий Интернет (другой провайдер, но волей случая он был лоялен к провайдеру филиалов и у него был «пиринговый трафик» с ценой около 6 копеек за мегабайт).
    image

    1. proxy


    Самое быстрое решение это было обычный каскад proxy серверов, так и было сделано т.к. раньше все филиалы раздавали интернет у себя прямо модемом, то нужно было всем выделить по 1 системнику, который бы выполнял роль шлюза, системники были не подарки, кто даст 800й пень, кто 233, в общем у кого что было… Хотя сегодня за 4-7 т.р. можно собрать достойный шлюз, но хозяин-барин, хочу говорит без затрат!

    На эти шлюзы была установлена ubuntu 8.04 LTS настроена в виде шлюза, чтоб воткнул в локальную сеть, в модем и в розетку, и сразу всё работало т.к. во многих филиалах, админы могли только нажать «Any key» на клавиатуре пользователя, но не беда, дело шло, постепенно 7 филиалов перенастроило свои модемы, и воткнули шлюзы :)

    сразу же поднимали прокси каскадом, заруливали туда http трафик, но как мы все знаем, хттп трафик это всего некий % от общего трафика, перейдя на более простые тарифы, экономия была, но условная, ведь нерадивый админ или пользователь мог например через torrent стянуть что-то весомое, что сулило попаданием на деньги филиалу…

    Попутно появлялись другие задачи в центральном офисе — перенос компаративного почтаря, шлюза, портала настроенного году в 2002 и не тронутого с тех пор, но это заслуживает отдельной статьи…
    А нас пока интересует просто сеть…

    2. OpenVPN


    Эту штуку я видел в первый раз, был некий страх перед первым знакомством, далее чтение мануалов и интернетов, закатав рукава я полез ставить :)

    2.1 Сервер
    имеет 2 сетевых адаптера eth1 (192.168.5.x) — Локальная сеть и eth0 (real ip 111.111.111.111) Интернет с широким каналом.

    apt-get install openvpn

    Далее создаём файл конфигурации сервера
    touch /etc/openvpn/server.conf

    при загрузке системы автоматически поднимаются все VPN соединения, для которых в папке /etc/openvpn есть соответствующие файлы с расширением .conf

    у меня он получился примерно таким.

    port 1194 #Порт
    proto udp #Протокол
    dev tun #Название виртуального устройства
    ca /etc/openvpn/ca.crt
    cert /etc/openvpn/server.crt
    key /etc/openvpn/server.key # This file should be kept secret
    dh /etc/openvpn/dh1024.pem
    server 10.10.10.0 255.255.255.0 # vpn subnet
    ifconfig-pool-persist ipp.txt # Тут будут храниться ip адреса клиентов
    push "route 192.168.5.0 255.255.255.0" # home
    keepalive 10 120
    comp-lzo
    user nobody
    group nogroup
    persist-key
    persist-tun
    status openvpn-status.log
    log-append openvpn.log
    verb 4
    mute 20
    client-to-client
    client-config-dir /etc/openvpn/ccd # Тут будут настройки для каждого филиала
    route 192.168.0.0 255.255.255.0 # Маршрут от сервера до филиала 1
    route 192.168.1.0 255.255.255.0 # Маршрут от сервера до филиала 2


    Создаём каталог, в котором будут хранится индивидуальные настройки клиентов:

    mkdir /etc/openvpn/ccd

    Теперь необходимо создать ключи и сертификаты для шифрования и авторизации

    cd /usr/share/doc/openvpn/examples/easy-rsa/2.0
    source ./vars
    ./clean-all
    ./build-ca


    Теперь создадим сертификат и приватный ключ для сервера:

    ./build-key-server server

    Создаём ключ для клиента (если клиентов несколько, процедуру придётся повторить):

    ./build-key client1

    для каждого клиента должно быть указано своё уникальное имя (в данном случае client1).

    если новый клиент создаётся спустя некоторое время, процедура будет выглядеть следующим образом:

    cd /usr/share/doc/openvpn/examples/easy-rsa/2.0
    source ./vars
    ./build-key client2


    Генерируем параметры Диффи-Хеллмана:

    ./build-dh

    Помещаем следующие файлы в директорию /etc/openvpn/

    * ca.crt
    * server.crt
    * dh1024.pem
    * server.key


    Создаём файл /etc/openvpn/ipp.txt

    Конфигурационный файл клиентской машины /etc/openvpn/client.conf у меня получился примерно таким

    remote 111.111.111.111 1194
    client
    dev tun
    proto udp
    resolv-retry infinite # this is necessary for DynDNS
    nobind
    user nobody
    group nogroup
    persist-key
    persist-tun
    ca /etc/openvpn/ca.crt
    cert /etc/openvpn/client1.crt
    key /etc/openvpn/client1.key
    comp-lzo
    verb 4
    mute 20
    redirect-gateway
    #show-net-up
    verb 4


    Теперь необходимо скопировать с сервера в папку /etc/openvpn/ сгенерированные клиентские ключи и авторитарный сертификат сервера:
    * ca.crt
    * client1.crt
    * client1.key


    Если за клиентом скрывается сеть 192.168.1.х то, чтоб сервер видел её нужно добавить на сервер маршрут до неё.

    На сервере создаём файл /etc/openvpn/ccd/client1 такого содержания:

    iroute 192.168.1.0 255.255.255.0
    # роутинг на сеть филиала2, чтоб 2 филиала знали друг друга
    #push "route 192.168.100.0 255.255.255.0"
    #Заворачиваем весь трафик в OpenVPN
    push "redirect-gateway def1"

    Вот тут собственно и случилась самая злая проблема у меня.

    OpenVPN получив директиву
    push "redirect-gateway def1"
    (при наличии 'pull' в своей конфигурации), клиент не удаляет старый маршрут, а добавляет в таблицу маршрутизации записи вида:
    0.0.0.0/1 via 192.168.231.5 dev tun0
    128.0.0.0/1 via 192.168.231.5 dev tun0

    и если openvpn идёт по ethernet то всё работает и радует админа и пользователей, но великий ppp любит поднимать вот такой маршрут.
    0.0.0.0 0.0.0.0 0.0.0.0 U 0 0 0 ppp0

    И вот OpenVPN ругается примерно вот так
    Jul 2 19:28:53 ino ovpn-client[14465]: NOTE: unable to redirect default gateway -- Cannot read current default gateway from system

    Решение этой проблемы искалось долго и нудно, хотя оно на поверхности. если в этом «кривом» маршруте ppp указывать шлюз вместо 0.0.0.0 реальный шлюз, то ОpenVPN видит этот маршрут и добавляет свой без проблем.

    Поэтому я создал файл
    /etc/ppp/ip-up.d/routing
    В который прописал небольшой скрипт. (прошу ногами не пинать, я очень ленивый, и полноценный скрипт определения шлюза и правки маршрутов писать не стал, а сделал как простой костыль)
    Буду очень рад, если кто-то предложит более логичный, надёжный, и универсальный метод правки маршрутов на лету.
    Пока ещё нет уверенности, что всё будет на 100% работать при обрывах ppp, Но жизнь покажет, если что — поправлю топик.

    #! /bin/sh
    #Определяем выданный шлюз по умолчанию у меня он всегда разный но в сети 222.х.х.х
    gw1=`ip route show | grep 222 | awk '{print $1}'`
    # Удаляем 0.0.0.0 0.0.0.0
    route del default
    # Добавляем маршрут с верным шлюзом
    route add -net default gw ${gw1} dev ppp0


    Делаем его исполняемым
    chmod ug+x /etc/ppp/ip-up.d/routing

    После чего ребут, спустя некоторое время сервер перестал пинговаться по внешнему ипу, но стал отзываться по внутреннему — 10.10.10.26

    ЗЫ Прошу принять во внимание, что файрволл шлюза и сервера и клиента надо поправить, для того, чтоб у пользователей был жизненно важный интернет.
    Например я, сделал это так:
    -A POSTROUTING -s 192.168.0.0/255.255.0.0 -j MASQUERADE
    Тут не указана привязка ни к внешнему интерфейсу, ни ip :)
    когда по разным причинам у нас не будет openvpn то у пользователей будет прямой инет, а когда он появится, то весь трафик полетит через него.

    Заключение



    В жизни эта система собирается поэтапно, сначала запускается впн сервер и впн клиент, пингуют друг друга по адресам 10.10.10.х дальше добавляются маршруты до сетей, что стоят за сервером и клиентом, пингуются проверяются, когда всё будет стабильно и надёжно добавляем директиву
    push "redirect-gateway def1"
    И снова добиваемся работы и жизни, всё было проделано не выходя из офиса, на шлюзах филиалов, были подписаны сетевые интерфейсы, чтоб админ просто воткнул сетевые кабеля и питание, позвонил мне, а дальше я уже по ssh настраивал на рабочий лад.

    Ах да, чуть не забыл, о самом главном — profit


    Помимо того, что теперь вся сеть обращается к серверам и сервисам филиалов и центра по внутренним ip адресам, так ещё и финансовая экономия.

    Раньше каждый филиал тратил на интернет в среднем по 7 000р. в месяц, сейчас в месяц каждый из них платит по 550р. за доступ к пирингу, интернет не расходуется (кроме центрального), для начала было запущено 7 филиалов, дальше будет больше.
    получается, что за год при старой схеме компания тратила бы на интернет 588 000р., а при текущей схеме в год будет потрачено 46 200р.

    Что дальше?


    А теперь, на этой всей хе… мы попробуем взлететь! я попробую развернуть IP Телефонию, чтоб минимизировать расходы на Телефонные междугородние переговоры между филиалами, связать софтАТС с аппаратными в филиалах, о чём обязательно напишу. Удачи

    update1 Много вопросов возникло к термину «Крупная компания» попробую прояснить.

    Крупная она в Сибири, центр имеет штат 200 сотрудников, филиалы от 20 до 60, к каждому филиалу ещё крепятся 10-20 объектов. по 5-15 человек. филиалов менее 30ти.

    Компания крайне не поворотлива, основной контроль идёт от государства, оборудование, компания делает некие шаги в сторону ИТ развития :)

    Update2
    И так, после тестирования выявилось, что если надолго опустить сервер управы, то клиенты не охотно поднимают openvpn и трафик может пойти прямо в дорогой инет.
    Также если принудительно рвётся ADSL канал, то опенвпн вроде и пытается стартануть заново, но что-то у него это не получается, так и ходит по кругу.
    пробовал всякие опции и keepalive и ping-restart и прочее… не помогало…

    Поэтому пишем небольшой скрипт, который будет проверять состояние дел.
    touch /usr/bin/vpn_keepalive.sh

    C содержанием.

    #! /bin/sh
    # Нужна ли нам отладка, рас комментировать нужное
    #debug_out=/dev/null
    debug_out=/dev/stdout
    #NEXTHOP Это хост внутри ВПН сети
    # я взял внутренний ип OpenVPN сервера
    NEXTHOP=192.168.5.1
    # Комманда перезапуска Опенвпн
    OPEN_VPN_CMD="sudo /etc/init.d/openvpn restart"
    PING=/bin/ping

    logger_opts="-t $0"
    if [ "$debug_out" = "/dev/stdout" ]
    then
    logger_opts="$logger_opts -s"
    fi
    pckts_rcvd=`$PING -c 8 -q -W 2 $NEXTHOP | grep transm | awk '{print $4}'`
    echo "host: $NEXTHOP, pckts_rcvd: $pckts_rcvd" >$debug_out
    if [ $pckts_rcvd -eq 0 ]
    then
    echo "Connection with $NEXTHOP lost, resetting" | logger $logopts
    $OPEN_VPN_CMD > $debug_out
    else
    echo "Connection with $NEXTHOP up, no action" | logger $logopts
    fi

    Делаем его исполняемым
    chmod ug+x /usr/bin/vpn_keepalive.sh

    Скрипт пингует хост, и если 0 пакетов вернулось, то выполнит команду рестарта.
    после чего всё гарантированно поднимается, вливаются верные маршруты, и трафик идёт через ВПН трафик

    Кидаем этот скрипт в крон
    crontab -e

    например каждые 2 минуты.
    0-59/2 * * * * /usr/bin/vpn_keepalive.sh

    И всё если дебаг включен, то в логах (syslog) будет отмечено вот так.
    logger: Connection with 192.168.5.1 up, no action

    Удачи!
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 84

      +15
      Нужно было сразу ко второй части переходить, первую сократив до
      «Поднимем openvpn-соединение с филиалами»

      Да и вообще, «крупная компания» и «убунта на старом системнике вместо шлюза» — взаимоисключающие параграфы.
        +1
        Да, соглашусь со старыми системниками, но когда результат оправдался, то пошло движение и в этом направлении, новые системники можно сказать в пути.
          +13
          а вместо этого в пути должны быть нормальные специализированные железки, Checkpoint Edge, например или любого другого вендора, специализирующегося на сетевых решениях. Не следует строить корпоративную филиальную сеть «на коленке», вы же сами потом огребёте кучу проблем с поддержкой этих разнообразных системников. Компьютеры общего назначения не слишком надежны и громоздки, спец железка обойдется вам в 200-300 баксов, на стороне ЦО ставите ответную железку того же вендора, получаете надежное, масштабируемое решение + централизованное управление сотнями и тысячами устройств. Такая сеть, коме того, что работать будет стабильно, её и передать кому-то не стыдно будет, кода пойдете на повышение после того, как большие боссы оценят ваш системный подход и грамотное построение надежной распределенной архитектуры.
            +5
            Мы живём в реалиях России, когда чтоб под что-то выбить деньги, нужно сначала показать, что да мои слова что-то значат, а не простое желание поиграться с новыми железками.

            Я не работаю в той организации, кто там работает тому и так хорошо, есть зарплата, ничего делать не надо, сдвинуть с места прикормленных сотрудников сложно, вы не представляете какое сопротивление было от каждого админа филиала, когда все их внутренние косяки сваливаются на меня и т.п.

            Раньше я работал в крупной компании, где купить что-то было очень сложно, всё обязательно заявками через Дефаулт сити и прочая бумажная волокита, когда ушёл в мелкую как было приятно просто пойти и купить нужную железяку услышав устное согласие директора.

            Я понимаю, что нужно было купить железки пусть даже от dlink они бы справлялись с задачей, были более просты в настройке и поддержке, и до них я думаю дойдём ;)
            Но всёравно спасибо :)
              +3
              Мы живём в реалиях России, когда чтоб под что-то выбить деньги, нужно сначала показать, что да мои слова что-то значат, а не простое желание поиграться с новыми железками.
              Это никак не связано с «реалиями России», везде нужно доказать необходимость того или иного нововведения, особенно затратного. Моя работа, кстати, как раз связана непосредственно с «толканием жопой паровоза», т.е. я генерирую идеи по внесению изменений в архитектуру корпоративной сети, порой весьма радикальные. И каждую идею приходится доказывать и отстаивать. Одна из последних идей, средней революционности, находится в процессе доказательства и медленного внедрения вот уже на протяжении двух лет(!) подряд. А вы говорите…
                +2
                Вы, уважаемый, видимо в Москве живете?
                И на работе чем-то очень интересным занимаетесь — «я генерирую идеи по внесению изменений в архитектуру корпоративной сети, порой весьма радикальные».

                Есть весьма определенные типы организаций, где установка «наколенных роутеров» экономически оправдана. Причем, при этом действительно экономятся средства, не в ущерб общей надежности. Могу по пунктам пояснить как это происходит.
                  0
                  Привет сибирякам!
                  Да, работа у меня весьма интересная, не жалуюсь.

                  А для «определенных типов организаций» есть вполне определенные, недорогие решения, которые будут стоить дешевле компа, работать тише, гораздонадежнее, потреблять меньше энергии и требовать минимальных усилий по первичной инсталляции и сопровождению.

                  Да, можно всё сделать «забесплатно на старом P233», не спорю. Но если посмотреть немного вперёд, то это решение при подкупающем минимальном CAPEX'е, выльется в гораздо более высокие показатели OPEX'а.
                    +1
                    Сколько стоит недорогое решение, способное гонять шифрованый трафик по дсл, в случае надобности переключаться на CDMA или GPRS модем?

                    Чтобы там еще была так любимая многими папочка «common files», по которой время от времени пробегался бы локальный антивирус, ну и какой-нибудь небольшой сквид тоже бывает полезен.

                    Дешевле это решение точно не будет, так как П233 _уже_ _есть_ и другой такой же можно всегда вытащить из под какого-нибудь бухгалтера в случае необходимости, а не ждать пока привезут замену сдохшей спец железке.

                    Грамотный админ (с з/п 25 т.р./мес +премия), который уже и так есть, всё это настроит и будет в состоянии давать ЦУ эникейшикам на местах, а если не настроит, то у него будет "- премия".

                    Вот так вот выглядит экономика решения задачи «сократить расходы на связь без доп.инвестиций». И начальник, принимающий подобные решения вовсе не идиот. Он просто уже на собственной шкуре выяснил, что в тех случаях, когда большая часть отказов связи случалась по причине тривиального отсутствия электричества или обрыва кабеля, нет смысле вкладываться в повышение надежности некоторых железок с 99% до 99.5%.
                      +1
                      ок, здравые аргументы бессильны перед желанием «покустарить». Но всё же попробую:
                      Сколько стоит недорогое решение, способное гонять шифрованый трафик по дсл, в случае надобности переключаться на CDMA или GPRS модем?
                      Любой роутер, поддерживающий l2tp/pptp — соединения. Из головы первый пример — архаичный Dir-320 от длинка, стоил когда-то 1300рэ, в штатной прошивке есть функционал проверки канала на живость и переключение на USB-модем. По надежности даст фору вашему P233 запросто. Хочется чуть надежнее — берем 3com, LinkSys, Checkpoint, etc.
                      папочка «common files»
                      В топике речь про сеть, а не про сервер. Ну и харды под старый сервер найти непросто, или вы будете городить USB-диск? )) А нет, не так — вы еще и серваки собрались делать из старых десктопов, стоящих под столом у буха??? Это печально… Вызывает как приступы ржача, так и слёзы.
                      небольшой сквид
                      LOL, я как-то к большим и средним кальмарам привык, не знал, что они небольшие бывают ))
                      Доступ в Интернет в КИС должен быть централизован (о чем, кстати, разумно пишет автор топика), городить на местах кеши-прокси — добавлять еще одну точку отказа, не получив никакой выгоды (выгода от кеширования сомнительна в реалиях современного динамичного веба, в том виде, что ее реализуют типичные прокси, есть канальные кеш-девайсы, но они стоят очень дорого, но работают очень эффективно).
                      Вот так вот выглядит экономика решения задачи «сократить расходы на связь без доп.инвестиций». И начальник, принимающий подобные решения вовсе не идиот.
                      Если он не идиот, то он либо некомпетентен, либо ему насрать, «лишь бы забесплатно!», что также говорит о некомпетентности и отсутствии опыта и видения перспективы. Я бы боялся работать на такого начальника.
                      нет смысле вкладываться в повышение надежности некоторых железок с 99% до 99.5%.
                      Цифры, как всегда, исключительно из головы. Попробуйте настроить мониторинг доступности таких ваших серверов-шлюзов и не забудьте подсчет значений SLA сделать. Если вы за год добьётесь от такого самопального парка значения доступности в 95% — то я пожму вам руку, и преклоню колено в знак почтения.
                        +1
                        bondbig, вы забыли добавить, что DIR-320 без проблем перешивается на dd-wrt или аналогичные прошивки...!!!
                          0
                          ага, это тоже возможно. Но возможностей штатной обновленной прошивки достаточно для решения задачи, dd-wrt — шикарная вещь, но это тоже из области кустарничества. Но да, тот же openvpn лучше пускать на таком девайсе, чем на старом Р233.
                          +1
                          Ваши «здравые аргументы» гроша ломаного не стоят, так как Вы пытаетесь советовать что-то не вникая в детали.
                          Можно ржать сколько угодно и критиковать начальников, но еще бывают факты.
                          Например, самое древнее работающее и поныне «наколенное» решения, к которому я имел отношение датируется 2002 годом (в 2006 системник просто выкинули и поставили другой, чуть менее древний).

                          Из того, что мне доступно сейчас вижу аптаймы 375, 85, 149, 36 дней. Кое-где, знаете ли, с электричеством перебои бывают, и именно в них упирается надежность, а вовсе не в железки.

                          Если Вы не в курсе, то в сквидах кроме кэша бывает еще такая полезная функция, как delay pools. Папочка «общие файлы» тоже бывает весьма полезна, и это не прихоти, а реальные потребности, в которых возникала надобность и которые приходилось решать.

                          Я на самом деле не сисадмин, а разработчик ПО (teamlead, architect). Видимо по этому я более гибко подхожу к разного рода задачам.

                          Религия вполне позволяет мне успешно использовать Dlink'и в повседневной жизни, и я немного представляю себе статистику по их отказам, зависам и т.п.

                          Насчет «лишь бы забесплатно» можно будет подискутировать, когда Вы будете начальником, иметь персонал на ставках, планировать собственный бюджет и т.п.
                          Юношеский максимализм и страсть к новым железкам сменяется более прагматичным подходом — и это я могу сказать не только по своему личному опыту.
                            0
                            Вы не поверите, я в течение пары лет был зам. начальника ИТ на предприятии средней руки (300+ сотрудников) у меня в подчинении было два десятка человек, так что не стоит делать пустые выводы о наличии у меня подобного опыта. Сейчас я тружусь в компании с 15000+ сотрудников, но принципиально не претендую на начальствующую должность, люблю работать своими руками и мозгами, а не дёргать за ниточки и раздавать кнутопряники.
                            А вам я рекомендую (в пику моему «юношескому максимализму») позабыть свой пенсионерный старперизм и начать движение вперёд. Суть не в «страсти к новым железкам», суть построения масштабируемой, отказоустойчивой, надежной сетевой инфраструктуры в том, чтобы выбирать наиболее подходящие средства и для каждой задачи выбирать наиболее оптимальное решение. И уж поверьте, с колокольни опыта работы (и проектирования) с очень крупной, сильно распределенной (по трем континентам и паре островных государств) сетью, я могу делать однозначные выводы о том, какие средства годятся для построения надежных сетей, а какие, извините — нет.
                            Если речь идет о том, что нужно «хоть как-то ехать», то можно и на велосипеде пересечь всю Россию. Но я предпочту, пусть более дорогие, но более быстрые, надежные и комфортные средства: автомобиль, современный автобус, поезд, самолет. Выбирайте из бюджета.
                            Автор же заявил про «крупную компанию», именно это и вызвало такую реакцию, никакой уважающий себя CIO никогда не одобрит построение КИС на старом барахле. OPEX такого решения мигом сожрёт всю выгоду от его CAPEX'а.
                            Да и вообще, я привел множество аргументов, а у вас, кроме бытового нытья, не нашлось ни одного приличного (лепет про delay pools не засчитан)… Грустно, скучно и неинтересно беседовать. Пожелаю вам лишь огромной удачи (она вам очень пригодится) в работе с такой ужасной сетью, если у вас в конторе нет средств и мудрости построить приличную КИС.
                              0
                              Да наверное я погорячился с Крупной компанией, крупная она в сибири, центр имеет штат 200 сотрудников, филиалы от 20 до 60, к каждому филиалу ещё крепятся 10-20 объектов. по 5-15 человек. филиалов менее 30ти.

                              Компания тугая, оборудование 50х годов, сильно не оптимальные расходы на связь. делает первые шаги на пути к ИТ миру.
                                0
                                Вот! Именно этого я и ждал. Именно так и надо было написать в статье, тогда она сразу была бы достойна лишь аплодисментов.
                                Всё сказанное мной выше, тем не менее, по-прежнему актуально и для этой вашей тугой компании, нужно просто постараться объяснить боссам, что текущий вариант — временный, первый шажок к построению надежной и современной КИС с нацелом на централизацию управления, сопровождения и контроля.
                                  +1
                                  «нужно просто постараться объяснить боссам, что текущий вариант — временный» — а откуда взялась мысль, что боссы про это не в курсе?

                                  Для них существует достаточное и дешевое решение, они его используют. Всё!

                                  Попытайтесь понять, что существует масса контор, для которых покупка, например, грузовика дает в разы больше, чем апгрейд доморощенной ИТ системы на самый современный уровень.
                                    –1
                                    пусть эта «масса контор» не называет себя «крупными», автор, кстати, уже исправил эту свою оплошность.
                                    Построение ИТ-инфраструктуры по остаточному принципу — самый неблагоприятный вариант. Да, этот подход дёшев, суров, и многих устраивает. Я совсем не против, огромное количество шарашек так и работает, и годами, принося доход, просто нужно называть всё своими именами.
                                      0
                                      У Вас то есть имеется свое единственно верное определение понятия «крупная компания»?

                                      А всякая «мелочь» в несколько тыс. человек с производственными площадями равными небольшому московскому микрорайону под него не подходит.
                                0
                                Вам бы не помешало как-нибудь ознакомиться с теми компаниями, которые производят ВВП в России и их реалиями, а потом уже рассказывать про мегакорпорации, которые могут себе позволить нормальные бюджеты опираясь на этот самый ВВП.
                                  0
                                  я работал на производстве (типография, офсетная и динамическая печать, миллионные тиражи), и как раз переделывал колхозную сеть в приличный вид. Потратил два года, завершил замысел на 80%, сейчас преемники продолжают этот путь, мой проект завершили, развиваются дальше. И именно наша инфраструктура стала одним из конкурентных преимуществ перед другими предприятиями, мы неоднократно выигрывали тендеры (в т.ч. и гос.), будучи равными по цене с конкурентами, но представители заказчика любили приезжать в гости на предприятия и смотреть, как всё организовано, от станков до серверных помещений и рабочих мест сотрудников (особенно заказчики из банков и госстуктур.). Например, эта типография вот уже четыре года подряд монопольно изготавливает все задания ЕГЭ, для всей страны. Неоднократные слова инспекторов заказчиков «У вас так всё организовано, аккуратные серверные стойки, надежное оборудование, грамотное сегментирование сети и отлично построена безопасность. В основном в типографиях нам показывают „каморку рядом с туалетом“, где стоит десктопный системник на палетте и с гордостью говорят, что это серверная комната».

                                  Сейчас я тружусь в «мегакорпорации», да, но в такой, от которой благосостояние экономики зависит не меньше, чем от производства.
                                    0
                                    Ну так вот, а еще существует немалое количество полноразмерных предприятий (в плоть до градообразующих), деятельность которых никак не упирается в их существующую ИТ инфраструктуру.

                                    И абсолютно правильно с точки зрения их руководства добиваться уменьшения расходов на неё без дополнительных инвестиций.

                                    Разные заезжие гастролёры-интеграторы это вообще отдельная тема — одни приезжают с проектами в духе «длинк — отстой! давайте вам везде циски поставим», другие «длинк наше все — он дешевый и удобный», третьи навяливают сторидж от EMC по цене, как половина томографа.

                                    Все гордо ходят со знамёнами «это инновации! передовые технологии», но никто из них почему-то не может ответить на элементарный вопрос — как же это все поможет нашей системе, если основное время простоя из-за того, что электричества не было или на крыше антенну сдуло.

                                    У меня подобных фактов просто куча, так как я вольнонаемный программер, но время от времени консультирую разных людей по смежным вопросам.
                                      –1
                                      в каком же захолустье вы живёте, что у вас градообразующие предприятия строят сеть на старых десктопах и длинках? Ах да, Иркутсткая область. Не знал, что так всё плохо на просторах Родины… Я бывал на разных крупных и в т.ч. градообразующих предприятиях (таких как Технология в г. Обнинск, наример) и в некоторых других в городах поменьше, нигде колхозные сети не встречал, всё давно очень приличное. Ах да, на АЭС в Курчатове, там да, тоже захолустье, но станция небольшая, работает вяло, хотя и градообразующее предприятие. А вот на Игналинской АЭС всё в шоколаде, хоть она и в стадии закрытия, там недавно перешли с FDDI-кольца на 10G Ethernet топологии «звезда».
                                      Насчет отсутствия электричества и антенны я вам могу сказать, что это и есть те самые болезни колхозной инфраструктуры, с головы до пят. Почему нет бесперебойников? Дизель-генераторов? Резервных каналов связи? Если этого нет, значит время простоя настолько дешево, что все эти меры не окупятся годами, а значит опять, называть такие конторки «крупными» можно лишь условно, по «площадям» и количеству сотрудников, чей простой гроша не стоит. Грустно, что такое творится в нашей стране.
                                        0
                                        Скажу по секрету — большая часть страны живет еще веселее!
                                        Наверно только москвичи у нас могут называть город образованный АЭС захолустьем :)

                                        Вот уж про что, а про болезни инфраструктуры и недостаток федерального финансирования можно рассказывать бесконечно. Представьте, например, что на федеральной автотрассе Москва — Владивосток есть такие места, называются «железнодорожные переезды», так там движение перекрывается такой большой палкой (шлагбаум называется) пока проходят поезда.
                                        Еще там есть такой весьма не асфальтированный участок чуть меньше 100 км длиной, который иногда местами смывает весенним паводком, т.е. пару недель дороги нет совсем.

                                        В областном центре есть районы, где люди хотят за водой с ведрами через квартал на колонку зимой и летом, чтобы помыться, сварить еду, полить огород (видели наверно в каких-нибудь старых фильмах про такое?). Одна из проблемных радиоантенн находится как раз в подобном районе. Её поставили в медучреждении по какому-то гранту в 2004-м году на её замену никаких денег нет и до сих пор, и вплоть до буквально прошлого года альтернативой связи был диалап модем (!) или gprs по весьма коммерческой цене.

                                        Справедливости ради стоит сказать, что как раз в Иркутске-то всё не так плохо. Всё-таки, область экспортирует за валюту заметный %% леса, Транснефть тоже сейчас развернулась, хотя из этих денег вряд ли что останется здесь. И с электричеством у нас более-менее неплохо — в свое время удалось не отдать Иркутскэнерго московским бизнесменам. По крайней мере, когда я жил в пригороде San Jose (CA) там blackdown случался чаще, чем у нас сейчас :)

                                        Кстати, у энергетиков в результате и с технологиями все в порядке — у них стабильная сеть, растянутая по магистралям (многие тысячи км), поставлен процесс подготовки специалистов, EMCшники у них пасутся на постоянной основе и еще кто-то серьезный.

                                        Не в обиду будет сказано (Вы тут ни коим образом не виноваты), но в стране, огромная часть экономики которой базируется на экспорте сырья регионов, а большая часть финансовых потоков завёрнута через default city, высказывания жителей околмкадья про то, как надо жить выглядят порой очень наивно.

                                        p.s. Ого-го опус получился! :)
                                        чилийское вино, однако, располагает к беседам :)

                                        Позвольте на этом завершить обсуждение тезиса —
                                        «новое, конечно, хорошо,
                                        но иногда и старого бывает достаточно на какой-то период времени».
                                          –1
                                          я не москвич, в Нерезиновой я лишь по работе обитаю. Вырос я в деревне, где и вёдра с водой из колонки за 300 метров от дома таскал, и дрова пилил-рубил, и коров с козами-овцами пас и огород копал лопатой и на зайца ходил в лес зимой. Про интернет моя деревня узнала лишь пару лет назад, и то, безальтернативный Домолинк (adsl), а до моих родителей до сих пор даже телефонная линия не протянута, только мобильники и выручают.

                                          Всё это не помешало нам с отцом построить двухэтажный дом, пробурить собственную скважину, оборудовать ее насосной станцией, поставить двуконтурный котел (горячая вода+отопление) и подключить спутниковое ТВ + интернет хотя бы по gprs.

                                          Кто хочет — ищет возможность, кто не хочет — ищет оправдание.
                                            –1
                                            Да, забыл — дизельгенератор у нас тоже есть ) Потому как свет выключается довольно часто.
                                  –1
                                  И что-то я не понял, а что 300 сотрудников это у нас уже среднее предприятие? И еще как тому же в нем 20 чел в ИТ отделе?

                                  Какой-то явный перебор с ИТ-шниками.
                                    0
                                    для типографии — да, это среднее, даже средне-крупное предприятие. А ИТ-шники делают там очень много работы (в основном обработка клиентских БД и подготовка шаблонов для динамической печати), инфраструктуру сопровождает два человека.
                      +3
                      Я в деле настройки сетевых решений не специалист, но вроде знающий человек написал что
                      спец железка обойдется вам в 200-300 баксов

                      200-300 долларов это примерно цена среднего системника, т.е. деньги выбивать н пришлось бы — чем покупать системник за те же деньги можно взять спец оборудование (системник то взяли же)
                      +1
                      Как по мне, там бы с клиенской стороной (в филиалах) с легкостью справились бы просто роутеры типа АСУСа WL-500GP. Цена — до 200 и за эти деньги еще и WiFi во всех фелиалах :) Я лично подымал на таком роутере openVPN клиента и он работал до безобразия стабильно.
                        +4
                        да, конечно. Но тогда нужно убрать слова «крупная компания» из статьи, заменив на «среднемелкая». Крупные компании не строят сети на SOHO-железках, а среднемелким это вполне позволительно, риски ниже.
                          0
                          Ну насчет «крупная компния» — с описанным подходом к построению сети компания может быть не так крупная, как распределенная по площяди. «Делаем всё на том что есть» — согласитесь, подход не свойственный действительно крупным компаниям.
                            +1
                            ага, именно об этом я и говорю. «Делаем всё на том что есть» изредка случается и в крупных компаниях, но только в авральной ситуации, когда железо боевое ждать 6-8 недель, а бизнес требует запустить хоть как нибудь, но вчера. Да и то, «то что есть» — обычно нормальное железо (сервера предыдущих поколений, тестовые железки, аналогичные боевым или чуть попроще и т.п.), а не старый системник.
                              +1
                              Действительно крупные компании обычно просто нанимают аутсорсеров, или имеют в штате хороших сисадминов, которые занимаются сетью, а не дают такое дело на откуп человеку, который первый раз видит некоторые из применяемых решений.

                              Статья от этого правда ничего не теряет, и опыт очень интересен, вопрос только в формулировке «крупная компания» :)
                                +1
                                Действительно крупные, сильно распределенные компании с множеством поднаправлений бизнеса И нанимают аутсорсеров И имеют в штате толковых админов.
                                А своё «фи» этой формулировке в статье я уже высказал, да. )
                        +1
                        Ну и зачем ставить себе черный ящик, который непонятно как работает и в случае если понадобится какой-нибудь дополнительный функционал придется доплачивать или вообще кусать локти? Я видел шлюзы, через которые проходит траффик более чем от 15000 компьютеров. И да, они были сделаны на Linux. Админы еще тихо посмеивались со словами «вы все еще используете дорогие маршрутизаторы?»:)
                          +3
                          Старый добрый замес на тему «промышленное железо против опенсорца»…
                          Если уйдет тот админ, который в свое время настроил шлюз, обслуживающий 15000 хостов, то он станет настоящим черным ящиком для последователя. Свой тюнинг, свой стиль конфигов и пр. А на те же Cisco мануалы и документы по дизайну одни для всех. Лучше иметь стандартный черный ящик с саппортом производителя, чем на коленке сделанный с саппортом мега-админа Пети.
                          Это в случае крупных компаний и высоких требований к надежности, конечно.
                            0
                            А не сыкотно новому админу смотреть на чёрную коробочку, что настроили до него? тем более если за ней стоит 1500 хостов?

                            Я к тому, что в 80% новый админ перекраивает кухню на новый лад
                              +1
                              Это если новый админ идиот. Или если старый админ был идиотом, и новый это осознал.
                              –1
                              Зачем уходить админу когда у него такие цацки под боком)? А вообще админ там не один сидел, а целая бригада. Так что с этим вопросов тоже нет. И циски тоже использовались, только для другого немного.
                                –1
                                мда, доводов нет, одни бытовые рассуждения… Скучно.
                                0
                                В защиту системников могу сказать, что их гораздо проще в экстренном порядке привести в рабочее состояние, если что-то ломается, то запасную деталь для системника найти много легче, чем найти быстро под замену туже циску.
                                  +1
                                  сразу вспомнилась аналогия «Жигуль VS Нормальный автомобиль». Да, жигуль можно проволокой подкрутить, с толкача завести и переставить запчасти от МТЗ-80. В военное время это выгодно да. Ну или при полном отсутствии финансов при необходимости хоть как-то ехать. Ровно так же и с «колхозной» сетью VS нормальной сетью.
                                    0
                                    Согласен, но и «Нормальный автомобиль» и сетевая железка имеет свойство ломаться, пусть и значительно реже, достаточно часто приходится ждать запчастей по несколько недель. Во всяком случае в замкадье )
                                      0
                                      для этого достаточно иметь «запасничок» из пары-тройки девайсов, заменил поломанный, заказал возобновление запаса. Кроме того, если брать девайсы у приличного вендора, то в течение гарантийного срока их меняют бесплатно безо всяких вопросов.
                                    0
                                    Вот-вот, стоял у меня на одной из предыдущих работ когда-то такой шлюз из «системника» и в один прекрасный день отказался стартовать. Работал то, долго… лет 10… Память на замену мы найти не смогли… Купили Микротик(не реклама!)…
                                      0
                                      В вышеприведенном варианте я рассматриваю старые системники только в режиме «сломалось — выкинули».
                                      И только потому, что они как правило уже есть и их не надо покупать.
                                +1
                                В качестве дистра вместо убунты могу посоветовать Виатту тогда.
                                Это стрипнутый дебиан с удобными централизованными настройками всего сетевого добра. Сами активно используем — всё шоколадно.
                              –4
                              тысячапервая статья на эту тему
                                –1
                                может иногда стоит читать не только заголовок?
                                  –3
                                  Почитал, реализовывал подобное же году эдак в 2007 и что?
                                    –1
                                    Ну вы круты, пишите!
                                      +1
                                      для чего? если это написано уже 1001 раз?
                                  • UFO just landed and posted this here
                                      –1
                                      При построение были перечитаны все статьи по тегу openvpn
                                  –1
                                  fastvpn.ru…
                                    +1
                                    Как уже говорилось ранее это решение подходит для небольших компаний с несколькими офисами или офисом и складом, у которых нет возможности или желания под эти нужды.
                                      0
                                      Это у вас на сайте написано :)))
                                        –2
                                        (отправилось случайно раньше). Поему вы скопировали строчки с этого сайта :D (отгадайте чей он, лол). А по тему VOIP — все получится, но надо с ALTQ помучаться — отдать весь канал на пиринг-фэйсе под нужды овпна, а в ovpn-фэйсе под voip (а вот ту начинается игры с опртами по которым собстно VOIP бегает). dh1024 вам не подойдет если тазик старый — максимум 512 — на моем не слабом тазике — ovpn хавает больше чем CPU time. Так же — комперссию в топку. Also, у вас нет ta-key — не секурно!
                                      0
                                      мой вариант: infostart.ru/public/18885/
                                        0
                                        а зачем маскарадить, если ip клиенту всегда будет выдаваться один и тот же?
                                          0
                                          ололо.
                                          во всех вилиалах были разные внутренние сетки?
                                            0
                                            По мере роста впн сети, подсети филиалов правились, а то было 3 коллизии
                                              0
                                              такчто вам повезло ещё раз — что филиалы мелкие и перенумеровать сетку было довольно просто.
                                                –1
                                                10-40 Компов в филиалах, смена подсети 15-40 минут занимала.
                                            +1
                                            принимая во внимаине стиль статьи, позволю совет:

                                            при настройке IP телефонии (если это действительно «попробовать», а не горит сделать уже вчера) — советую поставить астериск БЕЗ веб-конфигурялок, и настроить простую сеть руками, по мануалам.
                                            а на конфигурялки перелезть, когда уже станет влом рисовать руками всякие навороты.
                                              +2
                                              Глюки, подвисания, для более-менее сложных систем требуется просто чудовищный конфиг…

                                              Когда-то довелось испытать безмерное счастье, заменив это поделие на циски.
                                                +1
                                                Дык можно же было обойтись без системников, OpenVPN прямо в модеме.
                                                Хотя смотря какой. Есть разные альтернативные прошивки.
                                                  –1
                                                  Да, находил ADSL железки с опенВПН, но как-то обошлось без них, пока не знаю к лучшему или худшему, время покажет
                                                    +3
                                                    Кстати в фразе про «бесплатность» старых системников совсем не учитывается месячное их энергопотребление.
                                                  +2
                                                  надо было ставить кошек
                                                    0
                                                    я бы роутинг между офисами настраивал через iroute на стороне ovpn сервера. как-то удобей.
                                                      0
                                                      Так оно и сделано

                                                      Если за клиентом скрывается сеть 192.168.1.х то, чтоб сервер видел её нужно добавить на сервер маршрут до неё.

                                                      На сервере создаём файл /etc/openvpn/ccd/client1 такого содержания:

                                                      iroute 192.168.1.0 255.255.255.0
                                                      +1
                                                      Статью пока не читал, но судя по схеме, не лучше ли сделать Multipoint GRE, чтобы трафик между филиалами шёл в обход центра, экономя канал?
                                                        0
                                                        и да, динамическая маршрутизация — нашё всё! || google quagga ospf
                                                          0
                                                          А как же доступ к внутренним ресурсам филиалов(ам)?
                                                            0
                                                            Очень плохо что не читали, т.к.
                                                            а) как раз и есть необходимость через центр гонять весь трафик для экономии
                                                            б) в конце филиалы выхода в интернет не имеют вообще.
                                                              0
                                                              Имеется в виду, что если траффик между двумя споками идет не через центр, а непосредственно (он же все равно локальный для провайдера) — то это экономия канала цетра.
                                                            0
                                                            В принципе, выстраивал такую же систему на предыдущей работе, тоже на старом системнике с сервачной убунтой вместо шлюза. В этой схеме можно многое доработать и отточить, а так, в качестве велосипеда само то!)))
                                                              0
                                                              Можно подробнее узнать про «пиринговый трафик»?
                                                              Я так понимаю это трафик который «ходит» между провайдером главного офиса и провайдером филиалов… Нужно заключать какие-то дополнительные договоры?

                                                              И ещё — можно ли было организовать такую же схему обмена трафиком без использования OpenVPN?

                                                              Прошу не ругать за столь примитивные вопросы, я пока только осваиваюсь в сфере администрирования сетей…
                                                                0
                                                                Можно использовать любой вид впна: pptp, gre тунели, ipsec, l2tp. Автор выбрал опенвпн как самое популярное решение.
                                                                  0
                                                                  Смотри тарифную сетку провайдеров, у многих есть понятие внутреннего, городского, или иного дешевого трафика, в моём варианте был просто произведён переход на другой тариф…

                                                                  Загнать можно любой трафик между серверами, способов много, смотря что вам требуется, если просто гонять http трафик, то достаточно просто сквид натравить на родительскую проксю.

                                                                  Например для squid3 это будет так

                                                                  http_port 3128 transparent
                                                                  cache_peer 89.89.89.89 parent 3128 3130 no-query default
                                                                  never_direct allow all

                                                                  и всё весь HTTP трафик полетит по локальной сети в сервер 89.89.89.89
                                                                    0
                                                                    Можно даже пробросить через тунели одну локалку во все филиалы. Будут пользователи в одном бродкаст домене, например 192.168.0.0/24, винда будет сетевые папочки видеть в других офисах =)
                                                                    0
                                                                    В блог Системное администрирование…
                                                                      0
                                                                      очень интересно! жду продолжения!
                                                                      спасибо!

                                                                      Only users with full accounts can post comments. Log in, please.