• «Внедрение Splunk 7» — первая книга по Splunk на русском языке

      Привет, Хабр!

      Мы сегодня хотим рассказать о первой книге по Splunk на русском языке! «Внедрение Splunk 7» Джеймса Д. Миллера была выпущена в декабре 2018 года издательством ДМК Пресс при поддержке нашей компании.

      Под катом вы найдете описание книги, небольшой фрагмент, а также ссылку на розыгрыш книги, который мы устраиваем для своих подписчиков.
      Читать дальше →
    • Авторизация в ESIA на сервере терминалов с ЭЦП по ГОСТ-2012

      • Tutorial
      Добрый день, Хабровчане.

      Коллеги работающие в сфере гос. закупок уже успели испытать на себе обязательное требование правительства касательно использования носителей с электронно цифровой подписью ГОСТ Р 34.10-2012. Использование ЭЦП по новому ГОСТу является обязательным с 1 января 2019 года, и для работы на порталах zakupki.gov и gosuslugi.ru выпустить ЭЦП по ГОСТ 2001 уже невозможно, а после 1 января 2020 года поддержка ЭЦП по старому ГОСТ будет прекращена полностью.

      Как часто это бывает гос. сайт к 1 января 2018 оказался готов но не полностью.

      Для работы с ЭЦП по ГОСТ 2012 необходимо установить “плагин для работы
      с порталом государственных услуг” версии 3.0.3.0 или 3.0.6.0, но в отличии от версии плагина 2.0.6.0 новые версии не поддерживают работу с UNC путями (это мы выяснили в процессе многочисленных нездоровых экспериментов с разными версиями плагинов), и если вы как и мы используете перемещаемые профили, то авторизация на сайте работать у вас не будет; причем работать она не будет ни в одном браузере: IE, Google Chrome, Mozilla Firefox и даже Crypto Fox.

      Длительные переписки с поддержкой гос. услуг, крипто про и контур.экстерн к сожалению ничем не помогли, специалисты технической поддержки сайта государственных услуг так вообще оказались крайне не компетентны.
      Читать дальше →
    • Конференция DEFCON 19. Взламываем MMORPG ради веселья и прибыли. Часть 2

      • Перевод
      Конференция DEFCON 19. Взламываем MMORPG ради веселья и прибыли. Часть 1

      Джош Филлипс: как мы говорили, все хаки довольно просты, и их использование иногда не требует никаких навыков, достаточно просто творческого подхода к делу. Для использования «суперсилы» вам не обязательно нужно быть богом реверс-инжиниринга, но это определенно помогает таким вещам, как целочисленное переполнение или недостаточное наполнение, и вы с легкостью сможете изменять нужные значения от 0 до максимума, например, чтобы нанести смертельный ущерб противнику.



      Майк Доннелли: да, всё сводится к способности мастерить хаки, например, максимально усилить свои доспехи. Такое происходит в World of Warcraft — у нас был парень, который, сидя в столице орков Оргриммаре, 100 раз снял и одел свой шлем, накачав этим свою силу со 2 до 32 уровня.

      Джош Филлипс: это действительно произошло, или может быть, он просто использовал редактор памяти и сделал скриншот?

      Майк Доннелли: возможно, ты прав!

      Джош Филлипс: мой любимый режим – GM Mode. Некоторые компании выпускают игры с открытой возможностью реверс-инжиниринга, так что вы, став «хозяином игры» GM, сможете телепортироваться к людям, уничтожать вещи, отдавать команды и делать прочие интересные штуки. Существует ещё такой интересный хак, так кража предметов у неигровых персонажей NPC. Игра Age of Conan была одной из первых, в которой имелась уязвимость, позволяющая убить GM, и я не думаю, что её разработчиков это осчастливило.
      Читать дальше →
    • Начинаем работу с Azure Machine Learning service

        Сегодня рассмотрим нашу пятую итерацию по созданию продукта для машинного обучения. Чтобы подойти к этой теме, кратко напомним о предыдущих продуктах и их состоянии на текущий момент. Рассмотрим только полностью интегрированные решения, которые позволяют пройти путь от расчета модели до использования в реальных кейсах в одном полноценном продукте.

        Читать дальше →
      • Шардинг в Блокчейне

        • Перевод

        Всем привет, я один из разработчиков Near Protocol, который, среди прочего, реализует шардинг, и в этой статье хочу подробно рассказать что вообще такое шардинг в блокчейне, как он работает, и коснуться ряда проблем, которые возникают при попытке его построить.


        Хорошо известно, что Ethereum, самая популярная dApps платформа, обрабатывает меньше чем 20 транзакций в секунду. Из-за этого ограничения цена транзакций и время на их подтверждение очень высоки: несмотря на то, что блок в Ethereum публикуется раз в 10-12 секунд, согласно ETH Gas Station время между отправкой транзакции и тем как она действительно попадает в блок в среднем 1.2 минуты. Низкая пропускная способность, высокие цены и долгое подтверждение транзакций не позволяет запускать на Ethereum какие-либо высокопроизводительные сервисы.


        Основная причина того, что Ethereum не может обрабатывать больше 20 транзакций в секунду заключается в том, что каждая нода в Ethereum должна проверить каждую транзакцию. За пять лет с выхода Ethereum было предложено много идей как решить эту проблему. Эти решения можно грубо разбить на две группы: те, которые предлагают делегировать выполнение транзакций небольшой группе нод с очень хорошим железом, и те, которые предлагают каждой ноде обрабатывать только подмножество всех транзакций. Пример первого подхода — это Thunder, в котором блоки создаются только одной нодой, что позволяет, по утверждениям разработчиков, получать 1200 транзакций в секунду, что в 100 раз больше чем у Ethereum. Другие примеры из первой категории — это Algorand, SpaceMesh, Solana. Все эти протоколы улучшают разные аспекты протокола и позволяют выполнять больше транзакций чем в Ethereum, но все ограничены скоростью одной (пусть и очень мощной) машины.

        Читать дальше →
        • +16
        • 1,8k
        • 4
      • Отказоустойчивая балансировка VoIP-трафика. Переключение нагрузки между дата-центрами в пик-тайм

          Несколько слов о том, чем мы занимаемся. DINS участвует в разработке и поддержке UCaaS сервиса на международном рынке для корпоративных клиентов. Сервис используют как малые компании и стартапы, так и большой бизнес. Клиенты подключаются через интернет по SIP протоколу поверх TCP, TLS или WSS. Это создает довольно большую нагрузку: почти 1,5 миллиона соединений от оконечных устройств — телефонных аппаратов Polycom/Cisco/Yealink и софт-клиентов для PC/Mac/IOS/Android.


          В статье я рассказываю о том, как устроены VoIP точки входа в систему.

          Читать дальше →
          • +11
          • 2,3k
          • 5
        • Тренды кибербезопасности от BI.ZONE

            По самым скромным оценкам в 2017 году общемировой ущерб от кибератак составил триллион долларов, говорится в годовом исследовании BI.ZONE за 2017-2018 год. Оценить реальный ущерб почти невозможно, поскольку 80% компаний скрывают случаи взломов и утечек. Эксперты прогнозируют, что, если ничего не предпринять, через несколько лет размер ущерба вырастет до $8 трлн.



            Мы в Binary District составили краткий пересказ исследования BI.ZONE, посвященного новым вызовам цифрового мира. Выбрали основные тренды в сфере киберпреступности и интересные факты из исследования, которые привлекли наше внимание: как быстро киберпреступный мир узнает об уязвимостях в MS Office, в чем проблема интернета вещей и почему выстраивание защиты своей инфраструктуры еще не гарантирует полную безопасность компании.
            Читать дальше →
          • «Облака»: в чем преимущество перед корпоративным сервером

              Несмотря на большое распространение облачных сервисов, которыми уже редко кого удивишь, многие до сих пор задаются вопросом: «Чем это лучше сервера, находящегося в моем офисе»?

              Национальный институт стандартов и технологий США описывает облачные вычисления следующим образом: это такая модель сетевого доступа к общему набору настраиваемых вычислительных ресурсов (например, сетевых каналов, процессоров, памяти, устройствам хранения данных, приложениям и сервисам), которые могут быстро выделяться по запросу пользователя при минимальных усилиях со стороны облачного провайдера. При этом главная особенность облачных вычислений и их отличие от корпоративных IT-систем заключается в том, что пользователь, запрашивая и получая информацию или другие сервисы облака со своего ПК, совершенно не представляет где они физически расположены и каким способом выполняются.


              Читать дальше →
            • Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс

                Это первая часть статьи, в которой я расскажу о том, как мы построили процесс работы над большим проектом по миграции БД: про безопасные эксперименты, командное планирование и кросс-командное взаимодействие. В следующих статьях подробней расскажу про технические проблемы, которые мы решали: про масштабирование и отказоустойчивость PostgreSQL и нагрузочное тестирование.



                Долгое время основной базой данных в RealtimeBoard был Redis. Мы хранили в нём всю основную информацию: данные о пользователях, аккаунтах, досках и т.д. Всё работало быстро, но мы столкнулись с рядом проблем.

                Проблемы с Redis

                1. Зависимость от сетевой задержки. Сейчас в нашем облаке она составляет порядка 20 мск, но при её увеличении приложение начнёт работать очень медленно.
                2. Отсутствие индексов, которые нужны нам на уровне бизнес-логики. Их самостоятельная реализация может усложнить бизнес-логику и привести к неконсистентности данных.
                3. Сложность кода также усложняет обеспечение консистентности данных.
                4. Ресурсоёмкость запросов с выборками.

                Эти проблемы вместе с ростом количества данных на серверах послужили причиной для миграции БД.
                Читать дальше →
              • Innovate Cloud Technology: облако с защитой от катастроф

                  Рынок облачных сервисов быстро растет как в мире, так и в России. Все больше компаний переносят свои приложения и данные, в том числе и критичные для бизнеса, в облачную среду. Как утверждают маркетологи, это позволяет бизнесу использовать самые современные инновационные облачные решения, сокращая капитальные затраты (переводя CAPEX в OPEX), быстрее выводить на рынок новые продукты и запускать новые услуги. И подобные доводы не оставляют равнодушными потенциальных клиентов. Не случайно темпы роста российского облачного рынка существенно опережают рост рынка традиционной, классической ИТ-инфраструктуры.

                  Читать дальше →
                • MPLS повсюду. Как устроена сетевая инфраструктура Яндекс.Облака

                    Пост подготовили: Александр Вирилин xscrew — автор, руководитель службы сетевой инфраструктуры, Леонид Клюев — редактор

                    Мы продолжаем знакомить вас с внутренним устройством Яндекс.Облака. Сегодня поговорим о сетях — расскажем, как устроена сетевая инфраструктура, почему в ней активно применяется непопулярная для дата-центров парадигма MPLS, какие ещё сложные решения нам приходилось принимать в процессе построения облачной сети, как мы ей управляем и какие мониторинги используем.

                    Сеть в Облаке состоит из трёх слоёв. Нижний слой — уже упомянутая инфраструктура. Это физическая «железная» сеть внутри дата-центров, между дата-центрами и в местах присоединения к внешним сетям. Поверх сетевой инфраструктуры строится виртуальная сеть, а поверх виртуальной сети — сетевые сервисы. Эта структура не является монолитной: слои пересекаются, виртуальная сеть и сетевые сервисы напрямую взаимодействуют с сетевой инфраструктурой. Поскольку виртуальную сеть часто называют overlay, то сетевую инфраструктуру мы обычно называем underlay.
                    Читать дальше →
                  • Можно ли использовать Redux на сервере?

                    • Перевод
                    Redux — это отличное средство для управления состоянием сложных фронтенд-приложений. Автор материала, перевод которого мы сегодня публикуем, собирается найти ответ на вопрос о том, можно ли воспользоваться возможностями Redux в серверной среде.
                    image
                    Читать дальше →
                  • Конференция DEFCON 19. Взламываем MMORPG ради веселья и прибыли. Часть 1

                    • Перевод
                    Меня зовут Джош Филлипс и я хочу представить вам особого гостя, которого нет в списках выступающих, его зовут Майк Доннелли. Позже я дам ему возможность представить себя. Обычно я выступаю на конференции последним, поэтому надеюсь, что наше выступление не сыграет для вас роль колыбельной. Если кто-то ещё собирается выступить после нас, я ему не завидую, но ничего не могу с этим поделать. Ну что же, давайте начнём.



                    Я слышал, что всем сегодняшним докладчикам не везло, потому что у них возникали проблемы с показом слайдов, но надеюсь, что у нас с всё получится. Итак, в реальной жизни я исследую вредоносное программное обеспечение в лаборатории Касперского. Я также работал аналитиком вредоносного ПО в компании Microsoft и вопреки расхожему мнению или тому, что можно найти в Википедии, название вируса Conficker не является немецким или датским эквивалентом английского слова «assfucker», это всего лишь придумана мной игра слов. Так что придумывание названия для этого компьютерного червя можно считать самым большим достижением в моей жизни. Я являюсь «золотым фармером» и в качестве хобби я написал несколько ботов для компьютерных игр, попробуйте догадаться, для каких именно. Теперь я предоставлю слово Майку, чтобы он рассказал о себе.

                    Майк Доннелли: я Майк Доннели, известный под ником Mercury, создавший интернет-бота Glider для игры World of Warcraft. Установлением прав собственности на этого бота, 100000 копий которого были распроданы третьей стороной за 4 миллиона долларов, занимался суд. Мне удалось обжаловать решение суда первой инстанции, и апелляционный суд постановил возместить мне, как истинному владельцу, ущерб в размере 6,5 миллионов долларов, однако в любом случае судебное дело не доставило мне особого удовольствия.

                    Читать дальше →
                    • +14
                    • 6,6k
                    • 9
                  • Байт-машина для форта (и не только) по-индейски (часть 4)

                      Байт-машина для форта (и не только) по-индейски

                      И снова я несколько переоценил объем статьи! Планировал, что это будет заключительная статья, где сделаем компилятор и выполним тестирование. Но объем оказался велик, и я решил разбить статью на две.

                      В этой статье мы сделаем практически все основные функции компилятора. Он уже оживет, и можно будет писать, компилировать и выполнять достаточно серьезный код. А тестирование сделаем в следующей части. (Кстати, предыдущие части: раз, два, три).

                      Я впервые пишу на Хабре, возможно, получается не всегда все хорошо. На мой взгляд, статьи 2, 3 получились довольно сухими, много кода, мало описания. В этот раз я постараюсь сделать по другому, сосредоточиться на описании самих идей. Ну а код… код, конечно будет! Кто захочет разобраться досконально, такая возможность будет. В многих случаях я помещу код под спойлер. И, конечно, всегда можно заглянуть в полный исходник на гитхабе.

                      Компилятор продолжим писать некоторое время на ассемблере, но потом перейдем на форт и продолжим писать компилятор на самом себе. Это будет напоминать барона Мюнхаузена, который вытаскивал сам себя за волосы из болота. Но, для начала, я расскажу в общих чертах, как устроен компилятор на форте. Добро пожаловать под кат!
                      Читать дальше →
                    • Быстрое и надежное резервное копирование данных в облако 2

                      • Tutorial
                      В моей предыдущей статье я описал пример скрипта, который может заархивировать и закинуть в облако определенный объем файлов пользователя без его участия, тем самым обеспечив простейшее резервное копирование файлов пользователя. Скрипт обеспечивает закрытие следующих вопросов:

                      • быстрое (идеально в фоне);
                      • сохраняло бы как актуальную версию файлов, так и предыдущие;
                      • хранилище файлов было бы недоступно вирусам или стихийным бедствиям типа уничтожения носителя или его воровства;
                      • содержимое резевной копии было бы доступно только пользователю, т.е. паролировалось.

                      Естественно, простота скрипта обернулась и его недостатками, а именно:

                      • Хранение паролей в теле скрипта. Да, многие программы хранят пароли незашифрованными в текстовых файлах, и защита этих данных происходит через контроль доступа к файлам, но все таки вынести пароль из кода — это признак хорошего тона и минимальной защиты на случай, если каким то образом рабочий скрипт попадет в чужие руки.
                      • Отсутствие проверки успешного завершения операции, и откат к предыдущему состоянию в случае если операция не была успешно завершена.
                      • Отсутствие логирования и оповещения пользователя об успешности операции, если скрипт запускается через планировщик заданий.

                      В связи с этим код скриптов полного и инкрементного архива был дополнен необходимым функционалом. Общее описание см. предыщущую статью, здесь я хочу остановиться лишь на изменениях.
                      Читать дальше →
                    • Бэкап для Linux не пишет писем

                        Всем привет!

                        Сегодня хочу поведать о том, как управлять Veeam Agent for Linux с помощью командной строки, и о том, какие возможности она открывает в умелых руках программиста.

                        На написание статьи меня подтолкнул комментарий к предыдущей статье. Перефразирую удивление пользователя: «Ну как же так? Cервер не пишет писем о том, что он забэкапился!». Причём, со слов аналитиков, он не один такой, иначе бы не появился тред на форуме. А раз люди пишут — значит, это кому нибудь нужно!

                        В статье я поясню, почему этой функции в продукте нет. Но на этом мы не остановимся, мы эту функцию добавим! Мы ж программисты, так что напишем письмо и сгенерируем отчёт в виде html страницы.


                        Кроме того, покажу наиболее полезные, на мой взгляд, команды, которые смогут облегчить труд администратора.

                        Приготовьтесь: много кода, картинок нет.
                        Читать дальше →
                      • Ботоводство



                          С начала 2000-х годов с завидной периодичностью появляются новости о внедрении в работу чат-ботов. В этой статье я расскажу с чего начать и приведу обзор существующих решений, а также поделюсь опытом создания бота для компании Selectel.

                          Сфера применения


                          Развитие бизнеса зачастую сопровождается не только масштабированием основной деятельности, но и отладкой поддерживающих процессов. Чат-боты — только часть деятельности бизнеса в рамках автоматизации рутины. Коммуникация и выполнение простых однотипных заданий лежат в основе работы чат-бота. С его помощью можно выполнять не только повторяющиеся задачи, но и такие, которые человек выполнить не в состоянии, например, мониторинг активности в социальных сетях.
                          Читать дальше →
                        • Как мы решили проблему с памятью в PostgreSQL, не добавив ни байта

                          • Перевод


                          Короткая история о «тяжелом» запросе и изящном решении проблемы


                          Недавно нас по ночам стали будить алерты: на диске не хватает места. Мы быстро разобрались, что проблема в ETL-задачах.


                          ETL-задача выполнялась в таблице, где хранятся двоичные записи, дампы. Каждую ночь эта задача должна была удалять повторяющиеся дампы и освобождать место.

                          Читать дальше →
                        • OTRS: LDAP аутентификация, авторизация и синхронизация (FreeIPA, AD)

                          • Tutorial
                          image

                          OTRS — система обработки заявок с открытым кодом (Open-source Ticket Request System), написанная на Perl.

                          Существует в двух вариантах:


                          Перечислю немного из того фукционала, который поддерживает эта система:

                          • модуль ITSM (Service Level Management, Change Management, Configuration Management, CMDB)
                          • адаптивный веб-интерфейс
                          • API
                          • SLA и сервисы
                          • мультитенантность
                          • эскалации
                          • аутентификация: DB, LDAP, HTTPBasicAuth, Radius
                          • поддержка MySQL, MariaDB, PostgreSQL, Oracle

                          И если искать в ней недостатки — так это непривычность интерфейса и сложность в настройке. Под катом — об основах авторизации (группы, RBAC, поддержка нескольких компаний-клиентов), аутентификации и синхронизации метаданных (ФИО, телефона и прочего), используя различные каталоги LDAP
                          Читать дальше →
                        • Новые голосовые приложения на C# в 3CX v16

                            3CX v16 уже на подходе, и у нас есть отличные новости о нашем приложении для разработчиков Call Flow Designer. В новом релизе CFD использует новый скриптовый «движок», интегрированный в ядро сервера 3CX. Благодаря выполнению скриптов в ядре АТС, производительность голосовых приложений значительно возросла. Кроме того, такой подход открывает доступ к множеству внутренних «продвинутых» функций SIP-ядра. В результате вы получаете эффективный инструмент для создания еще более функциональных голосовых приложений.
                            Читать дальше →

                          Самое читаемое