• Приборы с балансировкой нагрузки в системах сетевого мониторинга или «что такое Network Packet Broker»

    Недавно, в ходе работы над 100GE анализатором трафика передо мной была поставлена задача по изучению такого типа приборов, как Network Packet Broker (также встречается название Network Monitoring Switch), или, если просто и по-русски, «балансировщик».

    Используется этот прибор преимущественно в системах сетевого мониторинга. Постепенно, углубляясь в тему, накопилось достаточное количество информации, разрозненной по различным уголкам интернета и документациям. Так и родилась идея статьи, в которой я решил собрать всю найденную информацию воедино и поделиться с хабросообществом.

    Для тех, кому стало интересно, что же такого особенного в этом типе приборов, как они используются и почему именно «балансировщик» — прошу под кат.
    Читать дальше →
    • +12
    • 11.7k
    • 4
  • Увеличиваем производительность с помощью SO_REUSEPORT в NGINX 1.9.1

    • Translation
    В NGINX версии 1.9.1 появилась новая возможность, позволяющая использовать сокетную опцию SO_REUSEPORT, которая доступна в современных версиях операционных систем, таких как DragonFly BSD и Linux (ядра 3.9 и новее). Данная опция разрешает открывать сразу несколько слушающих сокетов на одном и том же адресе и порту. При этом, ядро будет распределять входящие соединения между ними.
    Читать дальше →
  • Как и почему следует разбивать диск в никсах

      Один из довольно частых вопросов на различных околониксовых ресурсах — вопрос о том, какую схему разбивки дисков использовать. С виду простой вопрос на самом деле таит в себе множество подводных камней. Если, конечно же, дело касается серверов. На десктопах все гораздо скучнее и серее.

      Универсального решения в данном вопросе нету, просто есть некоторые аспекты, которыми следует руководствоваться при выборе схемы разбивки.
      Читать дальше
    • А вы хотите программировать вверх тормашками?



      Всем добрый вечер/день/утро, кому, что ближе в данный момент. Давненько читаю данный ресурс и всегда с особенной любовью относился к статьям, которые так или иначе мотивировали меня, заставляли задуматься и подталкивали что-нибудь изменить в моей жизни. Поэтому, решил попробовать вдохновить или так сказать, морально помочь тем, кто чего-то хочет, но, как и все нормальные люди сомневается. А конкретно рассказать о моей иммиграции в страну Оззи. Сразу оговорюсь, тем кто любит писать что-то вроде: «многобукв»,«неосилил»… заранее приношу извинения, потому как сам «многобукв» люблю, а когда не люблю иду в твиттер, чего и Вам советую.
      Читать дальше →
    • N+4 полезных книг



        Привет! В посте блиц-обзор книг, которые будут полезны IT-специалистам, бизнесменам и тем, кто просто любит читать интересные технические вещи. Рядом с каждой – пояснения, чем оно может быть нужно. Этот обзор, в отличие от других ежегодных, более технически-прикладной.

        Начнём со «Справочника по инженерной психологии» Вудсона и Коновера.

        «Справочник по инженерной психологии» — Вудсон, Коновер


        Книга о том, какие бывают кнопки и рычаги, как на них нажимают люди. И как проектировать так, чтобы люди работали с системой эффективно. Радует тем, что рассматривает пользователя как базовую систему ввода-вывода, замеряя его среднюю скорость передачи информации (около 20 бит в секунду на кнопочные интерфейсы), скорости ввода и вывода.
        Читать дальше →
        • +52
        • 77.8k
        • 8
      • Самые надежные SSD: результаты эксперимента продолжительностью в полтора года



          Современные SSD-накопители достаточно надежные, а с учетом того, что цена за 1 ГБ (в долларах) постепенно падает, то использовать SSD во многих случаях даже более рационально, чем работа с HDD. Но какой SSD выбрать?

          Полтора года назад журналист Tech Report решил провести эксперимент по выявлению наиболее надежных SSD. Он взял шесть моделей накопителей: Corsair Neutron GTX, Intel 335 Series, Kingston HyperX 3K, Samsung 840, Samsung 840 Pro, и поставил все шесть на цикличный процесс чтения/записи. Объем памяти каждого накопителя составлял 240-256 ГБ, в зависимости от модели.
          Читать дальше →
        • Загрузочный сервер — как загрузочная флешка, только сервер и по сети

            Загрузочная флешка с набором нужного софта — замечательный инструмент системного администратора. Казалось бы, что может быть лучше? А лучше может быть загрузочный сервер!

            Представьте, вы выбрали в BIOS загрузку по сети и можете установить ОС/вылечить компьютер от вирусов/реанимировать диски/протестировать ОЗУ/etc с PXE Boot сервера, ведь это куда удобнее, нежели бегать с флешкой от машины к машине.
            А в случае большого компьютерного парка, такой инструмент и вовсе незаменим.

            Вот такое меню встречает нашу команду инженеров при загрузке с PXE



            Под катом вас ждет описание всех настроек, а так же небольшой сюрприз.
            Поехали!
          • Rally: Тестировать OpenStack с помощью Tempest стало просто (проще)

              Автор: Андрей Курилин

              В современном мире, при построении облачных сервисов ограничиться лишь установкой платформы не удается, приходится модернизировать компоненты, интегрировать новые аппаратные средства, заниматься масштабированием и вносить множество изменений в настройки. Но как при этом оставаться уверенным в том, что после всех этих изменений ваше облако продолжит исправно работать и служить на благо империи заказчикам?
              Читать дальше →
              • +10
              • 3.4k
              • 2
            • MyTOTP — полностью своя* двухфакторная авторизация по rfc6238

              • Tutorial
              Итак, вы решили внедрить двухфакторную авторизацию для своего проекта, и решили не следовать примеру Яндекса и изобретать свой новый стандарт, а воспользоваться существующим, а именно TOTP по rfc6238
              Алгоритмы генерации и валидации одноразовых кодов достаточно подробно описаны как в самом RFC, так и многочисленных имплементациях для всех языков и платформ.

              Примеры реализации есть как для серверной части, так и для клиентской (в случае если для TOTP используется не аппаратный ключ, а мобильное приложение). К сожалению, очень часто в команде может не оказаться ресурсов для создания своего мобильного приложения для генерации одноразовых паролей (имею ввиду как отсутствие мобильных разработчиков чтобы сделать самим или финансов для outsource).

              В этом случае наиболее распространенным выходом из положения является использование «чужого» приложения (например того же Google Authenticator-а), но в этом случае решение будет не полностью свое (вот на что намекает звездочка в заголовке).

              А хотите двухфакторную авторизацию полностью свою и за минимум вложений? Тогда вам под кат
              Читать дальше →
            • Observium — больше, чем система мониторинга

              Network monitoring with intuition

              Уже давно являюсь читателем Хабра, но написать статью заставило желание ответить на вопросы и, вероятно, диалог из первых уст. Прошу простить за возможную спутанность статьи — «чукча не писатель».

              На Хабре уже есть несколько статей, посвященных данной системе («Мониторинг сетевого оборудования Cisco в системе Observium», «Observium — установка системы мониторинга») и мне хотелось бы их дополнить. В статье нет инструкций по установке или настройке, все это есть в официальной документации и по ссылкам, указанным выше.

              В статье много картинок, некоторые спрятаны под спойлерами.
              Читать дальше →
            • GHOST(dot)WEB: Первая кровь

                Несмотря на скептические прогнозы сообщества Metasploit о перспективах массовой эксплуатации уязвимости CVE-2015-0235, появились первые жертвы. Исследователи компании Positive Technologies сообщают о наличии «боевого» эксплойта для этой уязвимости в популярном форуме phpBB. Также уязвимы Wordpress и ряд других популярных приложений.

                image

                Использование уязвимости в функции gethostbyname позволяет злоумышленнику получить полный контроль над операционной системой уязвимого сервера.
                Читать дальше →
                • –19
                • 7k
                • 5
              • Новая уязвимость GHOST угрожает популярным дистрибутивам на базе Linux

                  image

                  Уязвимость в распространенных дистрибутивах Linux может позволить злоумышленнику получить удаленный контроль над системой. Под ударом оказались пользователи Debian 7 (wheezy), Red Hat Enterprise Linux 6 & 7, CentOS 6 & 7, Ubuntu 12.04. Также уязвимы Zend Framework v2, Wordpress и ряд других популярных приложений.

                  Информация о новой уязвимости (CVE-2015-0235) в библиотеке glibc (GNU C Library) впервые была опубликована во французской рассылке. Некоторые специалисты считают, что это было сделано по ошибке, так как к тому моменту никто не успел подготовить обновления.

                  Подробное техническое описание уязвимости и эксплойт для уязвимости можно найти на Openwall, а первые описания были опубликованы в сообществе Rapid 7.
                  Читать дальше →
                • GHOST — уязвимость gethostbyname() в glibc

                    Специалисты Qualys сообщили о наличии уязвимости в gethostbyname() и gethostbyname2() в GNU
                    C Library (glibc), которая, как минимум в одном случае, способна привести к удаленному выполнению кода. Уязвимость позволяет перезаписать до 4 байт на 32-битных системах и до 8 байт на 64-битных системах в куче числами (0…9), точкой (.) и NULL-символом (0x00).

                    Уязвимость появилась в версии glibc-2.2 от 10 ноября 2000 года и была закрыта в версии 21 мая 2013 года с glibc-2.18, поэтому уязвимы только LTS-дистрибутивы Linux: Debian 7, Red Hat Enterprise Linux 6 и 7, CentOS 6 и 7, Ubuntu 12.04.

                    Уязвимым является код, который отвечает за получение hostname. Для перезаписи кучи, имя хоста должно удовлетворять следующим условиям:
                    • Содержать в себе только цифры и точку
                    • Первый символ должен быть цифрой
                    • Последний символ не должен быть точкой
                    • Быть достаточно длинным, чтобы переполнить буфер (>1КБ)
                    Читать дальше →
                  • Динамическая миграция в OpenStack

                      Динамическая миграция – это перенос работающего инстанса с одного вычислительного узла на другой. Будучи крайне востребованной среди администраторов облачных сервисов, эта функция используется в основном для обеспечения нулевого времени простоя при обслуживании облака, а также может быть полезной для поддержания работоспособности, т.к. позволяет перенести работающие инстансы с сильно загруженного вычислительного узла на менее загруженный.
                      Читать дальше →
                      • +14
                      • 7.7k
                      • 8
                    • Хранение объектов для облака OpenStack: сравнение Swift и Ceph

                        Автор: Дмитрий Уков

                        Обзор



                        Многие люди путают объектно-ориентированное хранение с блочным хранением, например, на основе iSCSI или FibreChannel (Storage Area Network, SAN), хотя на самом деле существует много различий между ними. В то время как в сети SAN система видит только блочные устройства (хороший пример имени устройства -/dev/sdb linux), доступ к хранилищу объектов можно получить только с помощью специализированного клиентского приложения (например, клиентского приложения box.com).

                        Блочное хранилище представляет собой важную часть инфраструктуры облака. Основными способами его использования являются хранение образов виртуальных машин или хранение файлов пользователя (например, резервных копий разных видов, документов, изображений). Основным преимуществом объектного хранения является очень низкая стоимость реализации по сравнению с хранилищем корпоративного уровня, одновременно с обеспечением масштабируемости и избыточности данных. Существует два наиболее распространенных способа реализации объектного хранилища. В этой статье мы сравним два способа, интерфейс к которым предоставляет OpenStack.

                        OpenStack Swift



                        Архитектура сети Swift



                        Объектное хранилище OpenStack (Swift) предоставляет масштабируемое распределенное объектное хранилище с резервированием, которое использует кластеры стандартизированных серверов. Под “распределением” понимается, что каждый фрагмент данных реплицируется по кластеру узлов хранения. Число реплик можно настроить, но оно должно составлять не менее трех для коммерческих инфраструктур.

                        Доступ к объектам в Swift осуществляется по интерфейсу REST. Эти объекты можно хранить, получать или обновлять по требованию. Хранилище объектов можно с легкостью распределить по большому числу серверов.

                        Путь доступа к каждому объекту состоит из трех элементов:
                        Читать дальше →
                        • +13
                        • 27.5k
                        • 5
                      • Xargs: многообразие вариантов использования

                          xargs

                          Об утилите xargs написано очень много — что можно написать еще? Но если, что называется, копнуть поглубже, то выясняется, что во многих публикациях излагаются лишь самые основы, но нет главного: не объясняется, как можно применять xargs в реальной практике. Статей с разбором сложных и нетривиальных вариантов применения этого весьма полезного для системного администратора инструмента, к сожалению, очень мало. Именно поэтому мы написали свою статью и постарались включить в нее как можно больше примеров использования xargs для решения различных проблем.

                          Сначала мы рассмотрим принцип работы xargs и разберем примеры попроще, а затем перейдем к разбору сложных и интересных кейсов.
                          Читать дальше →
                        • Сети для самых маленьких. Часть десятая. Базовый MPLS

                            Сеть нашей воображаемой компании linkmeup растёт. У неё есть уже магистральные линии в различных городах, клиентская база и отличный штат инженеров, выросших на цикле СДСМ.
                            Но всё им мало. Услуги ШПД — это хорошо и нужно, но есть ещё огромный потенциальный рынок корпоративных клиентов, которым нужен VPN.
                            Думали ребята над этим, ломали голову и пришли к выводу, что никак тут не обойтись без MPLS.

                            Если мультикаст был первой темой, которая требовала некоторого перестроения понимания IP-сетей, то, изучая MPLS, вам точно придётся забыть почти всё, что вы знали раньше — это особенный мир со своими правилами.



                            Сегодня в выпуске:


                            А начнём мы с вопроса: «Что не так с IP?»

                            Читать дальше →
                          • Обзор бесплатных инструментов для пентеста web-ресурсов и не только v2

                              Как-то давно я уже писал об этом, но немного скудно и сумбурно. После я решил расширить список инструментов в обзоре, добавить статье структуры, учесть критику (большое спасибо Lefty за советы) и отправил ее на конкурс на СекЛаб (и опубликовал ссылку, но по всем понятным причинам ее никто не увидел). Конкурс закончен, результаты объявили и я с чистой совестью могу ее (статью) опубликовать на Хабре.

                              Бесплатные инструменты пентестера веб-приложений


                              В данной статье я расскажу о наиболее популярных инструментах для пентестинга (тестов на проникновение) веб-приложений по стратегии «черного ящика».
                              Для этого мы рассмотрим утилиты, которые помогут в данном виде тестирования. Рассмотрим следующие категории продуктов:

                              1. Сетевые сканеры
                              2. Сканеры брешей в веб-скриптах
                              3. Эксплойтинг
                              4. Автомазация инъекций
                              5. Дебаггеры (снифферы, локальные прокси и т.п.)

                              Читать дальше →
                            • Открытый рекурсивный DNS-сервер. Часть 2



                                Практически 4 месяца назад я открыл свой рекурсивный DNS-сервер для всех пользователей интернет (см. предыдущую статью). Накопленный объем данных на первом этапе теста был достаточно большим, для его визуализации я загнал данные в БД и построил динамические изменяющиеся графики и карту. Записанное видео можно посмотреть под катом. Результат получился достаточно интересным, поэтому полностью закрывать DNS-сервер я не стал, а ограничился включением зон (используемых для атак) в списки RPZ (что такое RPZ можно прочитать в этой статье). «Расслабившись» на «небольших» атаках (не более 100 запросов в секунду), я не заблокировал ответы по двум DNS-зонам и получил первый abuse-репорт. Abuse-репорт был отправлен в дата-центр моего провайдера от «робота». Нагрузка на его сеть с моего сервера была небольшой и периодически доходила до 100 запросов в секунду. С учетом того, что могли использоваться миллионы открытых ресолверов, то максимальная нагрузка на его сеть могла быть значительной. Abuse-репорт и замотивировал меня перейти к второй части теста. Отключив открытый рекурсивный DNS и продолжил наблюдать за поведением атакующих.
                                Читать дальше →
                                • +15
                                • 17k
                                • 4
                              • Как показать самые опасные уязвимости

                                  По долгу службы мне часто приходится проводить инструментальный аудит безопасности различных предприятий. Процедура составления итогового отчета содержит одну неприятную особенность, от которой мне давно хотелось избавиться. Помимо наиболее опасных уязвимостей системы клиенту всегда надо показывать ссылки на общедоступные эксплойты для этих ошибок. И эти ссылки приходилось искать вручную.

                                  В большинстве случаев заказчик принимает какие-либо серьезные меры по защите — только если знает о хакерских инструментах, которые автоматизируют атаки через найденные у него уязвимости. Обнаруженные дыры сами по себе не пугают, а такие программы — очень даже: благодаря им натянуть черные шляпы может целая армия школьников, кулхацкеров, недовольных экс-сотрудников и диверсантов из конкурирующих организаций. Создатель Grsecurity Брэд Шпенглер говорил, что только публичные эксплойты производят изменения в общественном понимании уровня существующей безопасности, и мой опыт полностью подтверждает эту мысль.

                                  image

                                  В какой-то момент я понял, что поиск ссылок на эксплойты — работа хотя и важная, но настолько рутинная и механическая, что просто грех ее не автоматизировать. Вначале был написан простенький консольный скрипт, который постепенно обзавелся GUI и научился понимать различные форматы отчетов систем поиска уязвимостей. Все доработки и улучшения PT Exploit Explorer в дальнейшем проводились исходя из пожеланий пользователей, и этот процесс продолжается до сих пор.
                                  Читать дальше →
                                  • +23
                                  • 25.9k
                                  • 1