Привет! Хочу рассказать простым языком о механике возникновения steal внутри виртуальных машин и о некоторых неочевидных артефактах, которые нам удалось выяснить при его исследовании, в которое мне пришлось погрузиться как техдиру облачной платформы Mail.ru Cloud Solutions. Платформа работает на KVM.

CPU steal time — это время, в течение которого виртуальная машина не получает ресурсы процессора для своего выполнения. Это время считается только в гостевых операционных системах в средах виртуализации. Причины, куда деваются эти самые выделенные ресурсы, как и в жизни, весьма туманны. Но мы решили разобраться, даже поставили целый ряд экспериментов. Не то чтобы мы теперь всё знаем о steal, но кое-что интересное сейчас расскажем.

Docker контейнеры — самая популярная технология для контейнеризации. Изначально она использовалась в основном для dev и test окружений, со временем перешла и в production. Docker контейнеры начали плодиться в production среде, как грибы после дождя, однако мало из тех, кто использует данную технологию, задумывался о том, как же безопасно публиковать Docker контейнеры.

Основываясь на OWASP, мы подготовили список правил, выполнение которых позволит значительно обезопасить ваше окружение, построенное на Docker контейнерах.

Сколько раз в неделю вы слышите от домашних и коллег слова «хочу выспаться» и «не могу проснуться»? Как часто по утрам вы стонете «Ну еще бы часок!» или «Когда уже пенсия?»

Проблемы, так или иначе связанные со сном, обсуждают на ТВ и в YouTube, на форумах и в пабликах. Говорят об этом и у нас в Plarium Krasnodar. Хотя утренняя очередь к кофемашинам заменяет тысячи слов.

Мы решили провести мини-исследование и рассказать вам, как обстоят дела со сном у игроделов. Также под катом вы найдете выжимку из лекции, которую подготовил один из наших сотрудников: что нужно, чтобы выспаться, «скорая помощь» при недосыпе и другие советы.

В первой статье мы с Атласом рассказали, что такое микробиота кишечника, как устроена толстая кишка, откуда там появляются бактерии и зачем они нам. А в этот раз делимся, какие роды бактерий живут в кишечнике россиян по статистике наших пользователей, чем они там питаются и какие функции выполняют.


Автор иллюстраций Rentonorama

«Безопасная оболочка» SSH — сетевой протокол для установления защищённого соединения между хостами, стандартно по порту 22 (который лучше поменять). SSH-клиенты и SSH-серверы доступны для большинства ОС. Внутри SSH работает практически любой другой сетевой протокол, то есть можно удалённо работать на другом компьютере, передавать по шифрованному каналу звуковой поток или видео и т.д. Кроме того, через SOCKS-прокси на удалённом хосте можно подключаться к другим хостам уже от имени этого удалённого хоста.

Аутентификация происходит по паролю, но разработчики и системные администраторы традиционно применяют SSH-ключи. Проблема в том, что секретный ключ могут украсть. Добавление парольной фразы теоретически защищает от кражи секретного ключа, но на практике при форвардинге и кэшировании ключей они всё равно могут использоваться без подтверждения. Двухфакторная аутентификация решает эту проблему.

Производители оборудования часто говорят о необходимости и важности заводских испытаний продуктов для их дальнейшей безопасной эксплуатации. А если речь идет не об одном продукте, а о сложном решении, сочетающем в себе более десятка инженерных систем, то испытания становятся не просто важной, а неотъемлемой частью производственного процесса. Проведение заводского тестирования позволит убедиться в надежности готового решения и избежать многих временных задержек при запуске МЦОДа на площадке заказчика и дальнейших проблем в процессе эксплуатации.

Тестирование предсобранного на производстве МЦОД, произведенного в России…

Концовка в лучших традициях Джеки Чана.

Наша компания с 2008 года занимается преимущественно управлением инфраструктурами и круглосуточной технической поддержкой веб-проектов: у нас более 400 клиентов, это порядка 15% электронной коммерции России. Соответственно, на поддержке очень разнообразная архитектура. Если что-то падает, мы обязаны в течение 15 минут это починить. Но чтобы понять, что авария произошла, нужно мониторить проект и реагировать на инциденты. А как это делать?

Я считаю, что в организации правильной системы мониторинга происходит беда. Если бы беды не было, то мой спич состоял из одного тезиса: «Установите, пожалуйста, Prometheus + Grafana и плагины 1, 2, 3». К сожалению, теперь так не работает. И главная проблема заключается в том, что все продолжают верить во что-то такое, что существовало в 2008 году, с точки зрения программных компонентов.

В отношении организации системы мониторинга я рискну сказать, что… проектов с грамотным мониторингом не существует. И ситуация настолько плохая, если что-то упадёт, есть риск, что это останется незамеченным — все ведь уверены, что «всё мониторится».
Возможно, всё мониторится. Но как?

Все мы сталкивались с историей наподобие следующей: работает некий девопс, некий админ, к ним приходит команда разработчиков и говорит — «мы зарелизились, теперь замониторь». Что замониторь? Как это работает?

Ок. Мониторим по старинке. А оно уже изменяется, и выясняется, что ты мониторил сервис А, который стал сервисом B, который взаимодействует с сервисом C. Но команда разработчиков тебе говорит: «Поставь софт, он же должен все замониторить!»

Так что изменилось? — Всё изменилось!

13 марта в рабочую группу RIPE по борьбе со злоупотреблениями поступило предложение рассматривать BGP-перехват (hijack) в качестве нарушения политики RIPE. В случае принятия предложения интернет-провайдер, атакованный с помощью перехвата трафика, получал бы возможность отправить специальный запрос для вывода злоумышленника на чистую воду. Если экспертная группа соберет достаточно подтверждающих доказательств, то такой LIR, являющийся источником BGP-перехвата, считался бы нарушителем и мог быть лишен статуса LIR. Были и некоторые аргументы против такого изменения.

В данной публикации мы хотим показать пример атаки, когда не только настоящий злоумышленник был под вопросом, но и весь список пострадавших префиксов. Более того, такая атака вновь поднимает вопросы по поводу мотивов будущих перехватов трафика такого типа.

«Матрица» — фильм братьев сестёр Вачовски — насыщен смыслами: философскими, религиозными и культурными, а иногда в нем находят теории заговора. Есть еще один смысл — командный. В команде есть матёрый тимлид и молодой специалист, которого нужно быстро обучить, влить в команду и отправить выполнять задачу. Да, присутствует специфика с кожаными плащами и солнцезащитными очками в помещении, но в остальном кино про командную работу и знания.



На примере «Матрицы» расскажу, зачем управлять знаниями в команде, как вписать управление ими в рабочий процесс, что такое «компетентность» и «модели компетенций», как оценивать экспертность и передавать опыт. А еще разберу кейсы: уход ценного сотрудника, хочу больше получать, управление знаниями в процессе разработки.

Управление временем – это на самом деле не решение, а часть проблемы

Автор статьи: Адам М. Грант, американский ученый-психолог и писатель; профессор Уортонской школы бизнеса; автор трёх бестселлеров Нью-Йорк Таймс, а также книги «В работу с головой. Паттерны успеха от IT-специалиста».

Несколько лет назад во время перерыва в занятиях по лидерству, преподавателем на которых был я, ко мне с неуверенным видом подошёл менеджер Майкл. Его босс сказал, что ему нужно быть более продуктивным, и он провёл несколько часов, изучая, на что тратит своё время. Он уже урезал все необязательные собрания. Он не смог найти задач, которые можно было бы выбросить из календаря. Он не видел очевидного способа сделать их эффективнее.

«Это прозвучит, как шутка, но на самом деле всё серьёзно, — признался он. – Единственное, что мне пришло в голову – пить меньше воды, чтобы не бегать так часто в туалет».

Не так давно прописывала записи DKIM, DMARC и SPF для своего домена. Это оказалось сложнее, чем я думала, потому что мне не удалось нигде найти полный синтаксис всех этих записей. Тогда вместе с Яной Лыновой мы собрали материал. Фактически, эта статья дополняет несколько статей с Хабра (внизу вы найдете ссылки).

Для того, чтобы прописать необходимые записи, нам нужен доступ к DNS. DNS расшифровывается как Domain Name System. Обычно доступ к DNS в компании имеют системные администраторы или, на крайний случай, программисты. Для них вы должны написать ТЗ, по которому они смогут добавить записи в DNS.

Итак, что же такое DKIM?

DKIM (Domain Keys Identified Mail) — это цифровая подпись, которая подтверждает подлинность отправителя и гарантирует целостность доставленного письма. Подпись добавляется в служебные заголовки письма и незаметна для пользователя. DKIM хранит 2 ключа шифрования — открытый и закрытый. С помощью закрытого ключа формируются заголовки для всей исходящей почты, а открытый ключ как раз добавляется в DNS записи в виде TXT файла.

Проверка DKIM происходит автоматически на стороне получателя. Если домен в письме не авторизован для отправки сообщений, то письмо может быть помечено подозрительным или помещено в спам, в зависимости от политики получателя.

Введение

О проекте

Проект “Абсолютный курс валют” занимается анализом парных валютных курсов, выделением из них абсолютных валютных курсов и их анализом. В рамках проекта получена методика преобразования от парных курсов к абсолютным валютным курсам. Для этого определена абсолютная валюта ABS. Курсы всех имеющихся валют выражаются в отношении к ABS.

Детальное описание технологии приводится в статье “От валютных пар к абсолютным курсам валют”.

О проблеме

В настоящей статье затрагивается проблема качественного анализа связанности курсов валют.
Необходимость исследования связи между валютами обусловлена требованиями по подбору финансовых инструментов в инвестиционный портфель и возможностью прогнозировать поведение валют на основании данных о связанных с ними других валют.

В инвестиционный портфель желательно включать инструменты с высокой разнонаправленной связанностью. Это позволяет снижать общий риск портфеля.

И, если найти инструменты с высокой степенью связанности, то на основе поведения одних можно предсказывать поведение других.

Анонс

Коллеги, в середине лета я планирую выпустить еще один цикл статей по проектированию систем массового обслуживания: “Эксперимент VTrade” — попытка написать фреймворк для торговых систем. В цикле будет разобрана теория и практика построения биржи, аукциона и магазина. В конце статьи предлагаю проголосовать за наиболее интересные вам темы.

Это завершающая статья цикла по распределенным реактивным приложениям на Erlang/Elixir. В первой статье можно найти теоретические основы реактивной архитектуры. Вторая статья иллюстрирует основные шаблоны и механизмы построения подобных систем.

Сегодня мы поднимем вопросы развития кодовой базы и проектов в целом.

При использовании социальных сетей имеют место разнообразные проблемы, выходящие за рамки темы этой статьи. Но есть две проблемы, о которых обыкновенно забывают. Социальные сети периодически посылают своим пользователям письма о недавних событиях: публикациях друзей, ответах, лайках, личных сообщениях и т.д. Вот с этими-то письмами и связаны две проблемы.



Во-первых, письмо может быть прочитано кем-то ещё. Скажем, вы приняли участие в обсуждении, а сегодня в нём появилось новое высказывание. Или кто-то сообщил вам конфиденциальную информацию. А соцсеть прислала вам по электронной почте письмо с текстом сообщения. Или вы запросили ссылку для сброса забытого пароля (или её запросил злоумышленник). Письмо по пути к вам пройдёт через разные узлы всемирной сети, и его сможет прочитать любой, у кого есть доступ к какому-либо из этих узлов.

Во-вторых, злоумышленник может прислать вам письмо, имитирующее письмо социальной сети (например, чтобы побудить вас ввести ваш пароль к социальной сети на мошенническом сайте или послать деньги будто бы другу). Да, присмотревшись к письму повнимательнее, вы можете понять, что оно ненастоящее; но всякое ли полученное электронное письмо вы внимательно исследуете?

А теперь представьте, что социальная сеть посылает вам свои письма зашифрованными, а на вашем компьютере они автоматически расшифровываются: вы читаете эти письма, а больше никто прочитать их не может. Представьте также, что социальная сеть подписывает свои письма вам, и вы, открыв подписанное письмо, видите над текстом краткое уведомление, настоящая подпись или поддельная. Не правда ли, было бы здо́рово? Что касается наличия такой функциональности у разных социальных сетей, у меня для вас три новости. Плохая новость: у Хабра такой функциональности нет. Ещё одна плохая новость: у большинства социальных сетей такой функциональности тоже нет. И, наконец, хорошая новость: у одной из социальных сетей такая функциональность есть; эта социальная сеть — Фейсбук.

Один из топовых сайтов Alexa (центральный кружок), защищённый HTTPS, с поддоменами (серым) и зависимостями (белым), среди которых есть уязвимые (штриховая заливка)

В наше время значок защищённого соединения HTTPS стал стандартным и даже необходимым атрибутом любого серьёзного сайта. Если сертификат отсутствует, почти все последние браузеры показывают предупреждение, что соединение с сайтом «не защищено» и не рекомендуют передавать на него конфиденциальную информацию.

Но оказывается, что наличие «замочка» в адресной строке не всегда гарантирует защиту. Проверка 10 000 ведущих сайтов из рейтинга Alexa показала: многие из них подвержены критическим уязвимостям протоколов SSL/TLS, обычно через поддомены или зависимости. По словам авторов исследования, сложность современных веб-приложений многократно увеличивает поверхность атаки.

Выборы, выборы, кандидаты — хостинги.

«Нам нужен новый хостинг», — осенило нашего шефа в начале весны. Это не было весенним обострением, это было объективной необходимостью, потому что старая кобра пережила свой яд предыдущий почему-то решил, что раз клиенты из-за 152-ФЗ идут сами, то можно предоставлять услуги кое-как и забить на SLA. И тут я узнал новое: хостингов очень много, а вот хостингов с приемлемыми характеристиками — поискать. И это я ещё не читал отзывы клиентов — вот где портал в ад!

Итак, я вооружился мозгом, Google, нашими требованиями и стал выбирать лучший VPS хостинг, с которым мы, вероятно, продолжим свою жизнь. В процессе выбора получилась неплохая аналитика, и я решил её частично выложить на Хабр — вдруг поможет такому же админу-страдальцу? Enjoy my work, как говорится.

В наше время шифрование актуально как никода. Общение перемещается в мессенджеры, люди продолжают шифровать электронные сообщения цифровыми сертификатами, но иногда это может потребовать дополнительных усилий, включая обмен ключами через сеть доверия. В таких условиях даже некоторые давние приверженцы криптографии вынуждены отказаться от PGP. Для защищённого обмена сообщениями гораздо удобнее мессенджеры с открытым исходным кодом и надёжным end-to-end шифрованием, такие как Signal (см. руководство от Фонда электронных рубежей).

В то же время PGP по-прежнему используется в «машинных» операциях: для подписи пакетов, шифрования файлов на диске и т. д. Но и здесь PGP постепенно выходит из использования. Например, в сообществе Go предлагают прекратить поддержку пакета OpenPGP, из-за «древнего протокола, который до сих пор вызывает серьёзные уязвимости», а также из-за нерешённой проблемы обмена ключами и, главное, из-за устаревшей реализации самого протокола.

Не секрет, что интернет — очень враждебная среда. Как только вы поднимаете сервер, он мгновенно подвергается массированным атакам и множественным сканированиям. На примере ханипота от безопасников можно оценить масштаб этого мусорного трафика. Фактически, на среднем сервере 99% трафика может быть вредоносным.

Tarpit — это порт-ловушка, который используется для замедления входящих соединений. Если сторонняя система подключается к этому порту, то быстро закрыть соединение не получится. Ей придётся тратить свои системные ресурсы и ждать, пока соединение не прервётся по таймауту, или вручную разрывать его.

Чаще всего тарпиты применяют для защиты. Технику впервые разработали для защиты от компьютерных червей. А сейчас её можно использовать, чтобы испортить жизнь спамерам и исследователям, которые занимаются широким сканированием всех IP-адресов подряд (примеры на Хабре: Австрия, Украина).

Мы уже рассмотрели механизм индексирования PostgreSQL и интерфейс методов доступа, а также один из методов доступа — хеш-индекс. Сейчас поговорим о самом традиционном и используемом индексе — B-дереве. Глава получилась большой, запасайтесь терпением.

Btree

Устройство

Индекс btree, он же B-дерево, пригоден для данных, которые можно отсортировать. Иными словами, для типа данных должны быть определены операторы «больше», «больше или равно», «меньше», «меньше или равно» и «равно». Заметьте, что одни и те же данные иногда можно сортировать разными способами, что возвращает нас к концепции семейства операторов.

Предисловие

В этой серии статей речь пойдет об индексах в PostgreSQL.

Любой вопрос можно рассматривать с разных точек зрения. Мы будем говорить о том, что должно интересовать прикладного разработчика, использующего СУБД: какие индексы существуют, почему в PostgreSQL их так много разных, и как их использовать для ускорения запросов. Пожалуй, тему можно было бы раскрыть и меньшим числом слов, но мы втайне надеемся на любознательного разработчика, которому также интересны и подробности внутреннего устройства, тем более, что понимание таких подробностей позволяет не только прислушиваться к чужому мнению, но и делать собственные выводы.

За скобками обсуждения останутся вопросы разработки новых типов индексов. Это требует знания языка Си и относится скорее к компетенции системного программиста, а не прикладного разработчика. По этой же причине мы практически не будем рассматривать программные интерфейсы, а остановимся только на том, что имеет значение для использования уже готовых к употреблению индексов.

В этой части мы поговорим про разделение сфер ответственности между общим механизмом индексирования, относящимся к ядру СУБД, и отдельными методами индексного доступа, которые в PostgreSQL можно добавлять как расширения. В следующей части мы рассмотрим интерфейс метода доступа и такие важные понятия, как классы и семейства операторов. После такого длинного, но необходимого введения мы подробно рассмотрим устройство и применение различных типов индексов: Hash, B-tree, GiST, SP-GiST, GIN и RUM, BRIN и Bloom.