• MongoDB как средство мониторинга LOG-файлов

      В этой статье я расскажу об использовании нереляционной базы MongoDB для мониторинга журнальных файлов. Для мониторинга log-файлов существует множество инструментов, от мониторинга shell-скриптами, завязанными на cron, до кластера apache hadoop.



      Подход с мониторингом скриптами текстовых файлов удобен только в простейших случаях, когда, например, проблемы выявляются наличием в журнальном файле строк «ERROR», «FAILURE», «SEVERE» и т.п. Для мониторинга больших файлов удобно использовать систему Zabbix, где Zabbix Agent (active) будет считывать только новые данные и с определённой периодичностью отправлять их на сервер.
      Читать дальше →
    • Видео докладов Badoo с конференции Highload 2015

        Наконец-то у нас появились видео выступления наших спикеров на Highload 2015, которые мы с удовольствием выкладываем.

        Если у вас появятся вопросы к докладчикам, задавайте их в комментариях. Ребята на них обязательно ответят.

        1. «Near-realtime аналитика событий в высоконагруженном проекте», доклад Александра Крашенинникова



        Еще 3 отличных доклада
        • +23
        • 12.2k
        • 1
      • Сетевая безопасность, Часть 2. Next-Generation Firewall

          Если посмотреть на интерактивную карту текущих кибер-атак, происходящих в мире, в режиме реального времени, то становится очевидно, что единственное место, где нет криминальной кибер-активности на Земле – это Антарктида. 2014 год был богат на громкие взломы и утечки данных. Взлом Apple iCloud с последующим выкладыванием в сеть интимных фотографий разных известных людей, утечка данных 80 миллионов клиентов из JP Morgan, троян в Regin на компьютерах администрации ЕС, взлом eBay, взлом Home Depot, DDoS-атака на сайт Кремля, взломы сети Московского метро и т.д. Однако взлом Sony Entertainment замечателен тем, что за последние три года инфраструктура компании взломана уже как минимум третий раз. Поэтому, прежде чем говорить о современных средствах сетевой защиты, я кратко опишу стратегию реализации сетевой атаки на примере одной из самых известных атак последнего времени – атаки на Sony Pictures Entertainment 2014.

          Несколько слов о том, что, собственно, произошло. В пятницу, 21 ноября 2014 года, руководители Sony получили письмо с предложением заплатить определённую сумму за то, чтобы ИТ-инфраструктура Sony избежала «массированной бомбардировки». Письму не придали значения, у многих руководителей оно попало в спам, но уже 24 ноября 2014 года сотрудники Sony, придя в понедельник утром на работу, увидели у себя на мониторах следующую картинку:


          Большинство компьютеров и ИТ сервисов компании было неработоспособно. Как утверждают некоторые источники, в течении нескольких следующих дней сотрудники Sony не пользовались рабочими компьютерами и работали при помощи ручки и бумаги. По ходу этой атаки (считают, что скрытая фаза атаки развивалась от нескольких месяцев до года) из Sony утекли данные (по некоторым оценкам, общим объёмом до 100 терабайт) на миллионы долларов. Впоследствии хакеры выложили в сеть несколько новых, ещё не выпущенных на экраны фильмов и большое количество конфиденциальной информации, включая личные данные сотрудников. По разным оценкам, примерный совокупный ущерб от этой атаки составил порядка 100 миллионов долларов.

          Как это произошло и, главное, почему?
          Читать дальше →
          • +9
          • 34.9k
          • 8
        • Самозащита антивирусов

            Как показывает практика, любой антивирус по дизайну уязвим, и реализовать очередной метод обхода в отношении него не является большой проблемой.

            Нашему исследовательскому центру было интересно проверить, как разработчики антивирусных решений следят за наличием описаний методов атак на просторах интернета. И всегда ли для атаки на антивирус необходимо обнаружить в нем 0-day уязвимость или достаточно просто найти полезную информацию на форумах?
            Читать дальше →
          • Сбор и анализ логов с Fluentd

              fluentd

              Любому системному администратору в своей повседневной деятельности приходится иметь дело со сбором и анализом логов. Собранные логи нужно хранить — они могут понадобиться для самых разных целей: для отладки программ, для разбора инцидентов, в качестве подспорья для службы техподдержки и т.п. Кроме того, необходимо обеспечить возможность поиска по всему массиву данных.
              Читать дальше →
              • +19
              • 37.5k
              • 6
            • Официальный гайд по лучшим практикам в Symfony

              • Tutorial
              Fabien Potencier, ментейнер Symfony несколько дней назад представил черновую версию гайда лучшх практик, для разработки приложений с использованием Symfony, как фреймворка (напомню, что также это набор независимых компонентов).
              Мы знаем, как сложно отучиться от старых привычек и некоторые советы шокируют вас, но следуя им вы сможете разрабатывать приложения быстрее, сделать их менее сложными и в то же время более качественными.
              В любом случае стоит помнить, что это всего лишь рекомендации и ваша команда не обязана им следовать. Вы можете продолжать использовать свои подходы, Symfony достаточно гибок для любых нужд и это никогда не изменится.

              Под катом я выписал основные тезисы, большинство из них подробно аргументируется внутри книги, в некоторых «шокирующих» местах помимо тезиса есть небольшое объяснение.
              Читать дальше →
            • В поисках идеального мониторинга

                В этой небольшой статье я хотел бы рассказать о средствах мониторинга, использующихся для анализа работы DWH нашего банка. Статья будет интересна всем, кого не устраивают существующие готовые системы мониторинга и кого посещали мысли собрать таковую «под себя» из отдельных кусочков. Большое внимание в статье уделяется дашборду Grafana, который, по моему мнению, незаслуженно обделён вниманием на Хабре. По большинству компонентов системы мониторинга будет вкратце рассмотрен процесс инсталяции (под RedHat).


                Тёплый ламповый дашборд
                Читать дальше →
              • OVAL® или «миф об идеальном сканере»

                  imageПриветствую, коллеги.
                  Вопрос автоматических сканеров безопасности стоит весьма остро на «корпоративном» рынке услуг.
                  Конечно, кому же хочется проверять тысячи хостов вручную?
                  Поскольку спрос рождает предложение, вы можете найти их на любой вкус, цвет и бюджет.
                  Они призваны решать одни и те же цели: комплайнс-менеджмент.
                  Тем самым сэкономить корпорации огромное количество денег при массовой стандартизации PCI DSS и подобным стандартам.
                  Они все такие разные, но все же у них есть одна общая черта: полнейшая анархия и разброд в формате отчетов, результатов инвентаризации и контента для обновления. Как каждая группа программистов придумала, так и было сделано. Такая ситуация привод к тому, что сравнить сканеры безопасности становится чрезвычайно трудоемко. А разговора о том, что бы использовать накопившиеся за время использования продукта «А» данные при переходе на продукт «Б» не может быть и речи. Как же: куда не сунься, везде «коммерческая тайна» да «интеллектуальная собственность». Решение, уважаемый мой читатель, очевидно: стандартизация входных и выходных форматов на всех этапах деятельности сканера. Именно это и описано в стандарте Open Vulnerability and Assessment Language (OVAL)
                  Читать дальше →
                • Введение в XCCDF

                    XCCDF (The Extensible Configuration Checklist Description Format, Расширяемый формат описания контрольных листов настроек) — это спецификационный язык на основе XML для описания контрольных листов настроек безопасности (security configuration checklists) и других подобных документов. XCCDF является одним из языков Протокола автоматизации контента безопасности (Security Content Automation Protocol, SCAP). XCCDF — важный инструмент для специалистов, связанных с автоматизацией процессов информационной безопасности. На этом языке описаны, к примеру, обязательные требования по настройке рабочих станций федеральных агентств США и их контрагентов (программа FDCC/USGCB). В этой статье мы рассмотрим, каким образом описываются контрольные листы настроек безопасности на языке XCCDF — на примере USGCB-контента для RedHat Enterprise Linux.
                    Читать дальше →
                  • Установка, настройка и использование сканера уязвимостей chkrootkit

                    • Tutorial
                    В предыдущей моей публикации про сканер уязвимостей rkhunter в комментариях хабрапользователем Indexator был упомянут сканер chrootkit. При схожем функционале c rkhunter, есть ряд отличий, который будет интересно рассмотреть в этой статье. Интересно также то, что совсем недавно была выпущена новая версия сканера, разработка которого казалась замороженной c 2009 года.


                    Читать дальше →
                  • Планирование аварийного восстановления. Часть первая

                      Определяем места, где стоит подстелить соломку




                      Отказы в работе информационных систем – события, которые невозможно исключить полностью. Вне зависимости от причин случившегося сбоя, в момент его возникновения на системного администратора ложится груз ответственности по оперативному восстановлению работоспособности не только ИТ-систем, но и бизнеса в целом.

                      В цикле из трех коротких статей я постараюсь доступно описать процесс формирования плана аварийного восстановления, который позволяет перевести задачи по восстановлению работоспособности систем в разряд заранее согласованных с руководством мероприятий, имеющих свой график, ресурсы и бюджет.

                      В первой статье речь пойдет об определении зоны планирования, или поиске тех инфраструктурных элементов, отказ в работе которых негативно влияет на частоту пульса системного администратора. Итак, по порядку:
                      Читать дальше →
                    • Мониторинг PostgreSQL + php-fpm + nginx + диска с помощью Zabbix

                      Много информации в сети по Zabbix, много и шаблонов самописных, хочу представить на суд аудитории свои модификации.
                      Zabbix — очень удобный и гибкий инструмент мониторинга. Хочешь — сотню мониторь, хочешь — тысячу станций, а не хочешь — следи за одним сервером, снимай сливки во всех разрезах. Буду не против отдать на github, если кто коллекционирует схожие.

                      image

                      Так случилось, что решили мы выложить на хостинг базу данных с оберткой из php-fpm+nginx. В качестве БД — postgres. Мысли собирать данные о работе машины были еще до покупки хостинга — это нужно, это полезно! Волшебным пенделем к внедрению системы послужили тормоза жесткого диска на нашей VDS станции — в начале скриптом каждую минуту кладем время и замерянную скорость в файл, а потом в экселе строим графики, сравниваем как было/стало, снимаем количественную статистику. И это всего один параметр! А вдруг виноват не VDS, а наши приложения, которые на нем работают. Вобщем, мониторить надо много, мониторить надо удобно!
                      Читать дальше →
                    • Организовываем работу небольшой команды программистов на opensource

                        Хотели бы Вы знать, кто и когда поменял строчку n в одном из файлов исходного кода вашей программы или сайта? Хотели бы Вы иметь возможность отменить изменения в коде, сделанные неделю назад, уже после того, как была готова новая фича? Хотели бы Вы сделать работу двух или более программистов над одним проектом прозрачной, простой и легко контролируемой? А может Вы хотите иметь возможность иметь доступ к исходникам строй версии программы при этом, не заботясь о своевременных бэкапах?
                        Хорошие новости: все это, возможно, более того, это просто и бесплатно. В данной статье я расскажу, как это сделать.
                        Читать дальше →
                      • Внутренний сайт университета — каким он должен быть?

                          Здравствуйте. Появилась идея создать внутренний сайт университета, который был бы полезен как студентам, так и преподавателям, и мне захотелось посоветоваться с Вами, уважаемое хабрасообщество, на счет того, что Вы на таком сайте хотели бы видеть.
                          Начну с того, что уже придумал я:
                          Читать дальше →
                        • Сайт ССУЗа

                            Около года назад к нам обратился техникум с задачей создания сайта для учреждения. В этом посте я хочу познакомить вас с общей концепцией ресерса. Моей целью является узнать ваше мнение (желательно учащихся) о сайте. А также услышать ваши предложения.

                            Особенности системы:
                            • Доступ извне только по персональным учетным записям
                            • Уникальный дизайн
                            • Расписание занятий
                            • Ученики
                            • Электронная библиотека
                            • Вопросы и ответы
                            • Новости и фоторепортажи
                            • Памятные даты
                            • Доска почета
                            • Рассылки
                            • Система тестирования

                            Читать дальше →
                          • Веб 2.0 в помощь студенту и преподавателю

                              Практически все американские тинейджеры являются участниками онлайновых социальных сетей и активно общаются со своими сверстниками в интернете. Проблема компьютерной грамотности попросту не существует в США. Неудивительно, что там появились сотни веб-инструментов специально для студентов и школьников.
                              Читать дальше →
                            • Курсы этичного хакинга и тестирования на проникновение

                                Курсы этичного хакинга и тестирования на проникновение.


                                Если вы увлекаетесь информационной безопасностью и хотите усовершенствовать свои навыки в короткое время — предлагаем ознакомиться с обновленными программами обучения в области практической ИБ от Pentestit.

                                Разрабатывая уникальные по своему формату и методике обучения курсы этичного хакинга: «Zero Security: A» (начальная подготовка) и «Корпоративные лаборатории» (профессиональная подготовка), мы стараемся сделать обучение не только эффективными, но и удобными. Основное отличие программ обучения заключается в том, что первая рассчитана на базовую подготовку в области этичного хакинга, а вторая — на профессиональную подготовку не только этичного хакинга, но и построения эффективных систем ИБ. В любом случае, даже опытные специалисты, посетившие первую программу, открывают для себя что-то новое, не говоря уже о «Корпоративных лабораториях», включающих материал, по уровню сравнимый с докладами на профессиональных хакерских конференциях. Кроме этого, каждый набор пополняется новым материалом, что позволяет передать специалистам, проходящим обучения, наиболее актуальную на момент обучения информацию.

                                Уникальность программ обучения заключается в симбиозе формата обучения (полностью дистанционное, не требующее отрыва от работы и учебы), качества материала и специализированных ресурсов, на которых производится обучение.


                                Читать дальше →
                              • Батники против эксплойтов (версия для Windows XP)

                                Как-то мне на глаза попалась публикация на Хабре — «Батники против эксплойтов». В ней рассказывалось, как одним движением запускать браузер из под специально созданного юзера, у которого нет прав запускать приложения. По замыслу автора это может защитить от эксплойтов и Drive-by атак.

                                Эта, несомненно полезная статья, имела один недостаток — она была написана для Windows 7 (о чём в ней честно было написано).

                                После того как Windows XP сняли с поддержки — у меня остался нетбук с хрюшей и идея усилить безопасность системы, адаптировав решение, показалась вполне естественной.
                                Читать дальше →
                                • +19
                                • 20k
                                • 8
                              • Батники против эксплойтов

                                  Доброго времени суток, многоуважаемый %USERNAME%. Меня зовут Голованов Сергей, и я всё еще являюсь ведущим вирусным аналитиком в «Лаборатории Касперского». Я понимаю, что название этого поста в корпоративном блоге компании может вызвать смех, грусть, а у некоторых даже эпилептический припадок, но дайте мне всё объяснить.

                                  Я понимаю, что для всех батники выглядят как нечто очень простое и со времен AUTOEXEC.BAT уже практически забытое, в то же время эксплойты, если вы конечно не профессиональный исследователь уязвимостей, выглядят очень сложно и практически неправдоподобно, особенно для некоторых разработчиков. Но! В данном посте я постараюсь перевернуть эти представления и рассказать, что всё как будто наоборот. Батники чуть легче и сильнее по функционалу brainfuck'а, а эксплойты не страшнее сортировки пузырьком на basic'е.

                                  image

                                  (Осторожно! 3 МБ иллюстрированного потока сознания и куча скриптов)
                                  Читать дальше →
                                • Простой способ дополнительной защиты: SSH — ALERT

                                    image

                                    Администрирование большого количества “чужих” серверов, влечет за собой ответственность за защиту данных наших клиентов. Что бы надежно контролировать список лиц с ssh доступом к серверовам было решено продумать систему авторизации с ограниченого набора хостов.

                                    Читать дальше →