Привет, Хабр! Я инженер компании «Миран», которая занимается выдачей в аренду различных серверов, размещением клиентского оборудования в своих дата-центрах и прочими подобными делами.



Меня продолжительное время уговаривали написать обзорную статью о нашей инженерной инфраструктуре и о том, как мы ее мониторим. Статья долго и упорно не хотела появляться на свет, но все же родилась. Поздравьте меня с почином!

Осторожно, много картинок!

Продолжение публикации, здесь первая часть



В этой заключительной части я расскажу о программной составляющей нашей системы мониторинга.

И снова здравствуй, Хабр! Открываем цикл статей-фотоотчетов о строительстве нашего нового МЦОДа Модуль №3!



Начнем с отчета об установке ВРУ и щитов потребителей.

Achtung! Много дрянных фото под катом!

Сегодня мы бы хотели проговорить основные плюсы и минусы партнерских программ хостинг-провайдеров средних размеров. Актуально это, потому что все больше и больше компаний отказываются от собственной монолитной инфраструктуры где-то в подвале офиса и предпочитают платить хостеру, вместо того, чтобы самим возиться с железом и держать под это дело целый штат специалистов. А основная проблема партнерок хостинг-рынка в том, что тут нет единого стандарта: каждый выживает, как может и устанавливает свои правила, ограничения и размеры вознаграждений. Ну и еще мы бы хотели узнать мнение потенциальных участников этих программ.

Три типа современных партнерских программ

Человеку, не знакомому с понятием «партнерская программа хостинг-провайдера» может показаться, что речь идет о каких-то преференциях для клиентов или акциях и скидках, но на деле «партнерская программа» — это просто модель продаж услуг хостера через третьи руки. Если отбросить высокие формулировки, то все партнерки сводятся к одному простому тезису: приведи к нам клиента и получи свой гешефт с его чека.

Мы помним, что у каждого хостера свои правила и тараканы, так что условно можно выделить три основных типа партнерских программ:

SLA, оно же «service-level agreement» —соглашение-гарантия между заказчиком и поставщиком услуг о том, что получит клиент в плане обслуживания. Также в нем оговариваются компенсации в случае простоев по вине поставщика и так далее. По сути SLA — это верительная грамота, с помощью которой дата-центр или хостинг-провайдер убеждает потенциального клиента в том, что он будет всячески обласкан и вообще. Вопрос в том, что в SLA можно написать все что угодно, да и события, прописанные в этом документе, наступают не слишком часто. SLA — это далеко не ориентир в подборе дата-центра и надеяться на него уж точно не стоит.

Все мы привыкли подписывать какие-то договоры, которые возлагают определенные обязательства. Не исключением является и SLA — обычно самый оторванный от реалий документ, который можно вообразить. Более бесполезен, наверное, только NDA в юрисдикциях, где понятия «коммерческой тайны» толком не существует. А вся проблема в том, что SLA никак не помогает клиенту в правильном выборе поставщика, а только пускает пыль в глаза.

Что чаще всего пишут в публичной версии SLA хостеры, которую показывают публике? Ну, первой строкой идет такой термин, как «надежность» хостера — это обычно цифры от 98 до 99,999%. По сути, эти цифры — лишь красивая выдумка маркетологов. Когда-то, когда хостинг был молодым и дорогим, а облака только снились специалистам (как и широкополосный доступ для всех и каждого), показатель аптайма хостинга был крайне и крайне важен. Сейчас же, когда все поставщики используют плюс-минус одно и тоже оборудование, сидят на один и тех же магистральных сетях и предлагают одни и те же пакеты услуг, показатель аптайма абсолютно непоказателен.

За последнюю неделю компания Intel анонсировала сразу несколько процессоров новой линейки Intel Xeon W-2200 для профессионального использования на рабочих станциях и в серверах.



Если кратко, то:

• младшая модель 4 ядра/8 потоков, старшая — 18 ядер/36 потоков.
• Минимальная частота 3,0 GHz.
• Заводские буст-частоты средних и старших моделей до 4,7 и 4,8 GHz соответственно*.
• Поддержка 1 TB оперативной памяти всей линейкой.
• TDP от 105 W на младшей и 165 W на старшей модели CPU**.
• Сокет LGA2066.
• Низкая цена***.

_{* — тут есть подвох, см. под катом.
** — старшая модель Intel Xeon W-2200 серии имеет индекс W-2295. Сейчас в сети активно индексируется, что старшая модель имеет индекс W-2285, но такого процессора не существует в природе, что подтверждает официальный перечень процессоров W-серии на сайте производителя. Эту ошибку запустил какой-то невнимательный журналист (процессор W-2285 уже гуглится даже на японском).
*** — по сравнению с предыдущими линейками процессоров этого семейства.}

Схема компьютера CS-1 показывает, что большая часть отведена для питания и охлаждения гигантского «процессора-на-пластине» Wafer Scale Engine (WSE). Фото: Cerebras Systems

В августе 2019 года компания Cerebras Systems и её производственный партнер TSMC анонсировали крупнейшую микросхему в истории компьютерной техники. С площадью 46 225 мм² и 1,2 триллиона транзисторов микросхема Wafer Scale Engine (WSE) примерно в 56,7 раз больше, чем самый большой GPU (21,1 млрд транзисторов, 815 мм²).

Скептики говорили, что разработать процессор — не самая сложная задача. Но вот как он будет работать в реальном компьютере? Каков процент брака на производстве? Какое потребуется питание и охлаждение? Сколько будет стоить такая машина?

Похоже, инженерам Cerebras Systems и TSMC удалось решить эти проблемы. 18 ноября 2019 года на конференции Supercomputing 2019 они официально представили CS-1 — «самый быстрый в мире компьютер для расчётов в области машинного обучения и искусственного интеллекта».

За последние два десятилетия не так часто появлялись CPU, которые можно назвать «революционными». Но компании AMD в ноябре 2019 года удалось сделать это. Первые тесты процессоров Ryzen Threadripper 3960X и 3970X (24 и 32 ядра, 7 нм, Zen 2) показывают, что это совершенно новый уровень производительности практически во всех приложениях, см. тесты Phoronix, тесты ExtremeTech, бенчмарки AnandTech, тесты Hot Hardware и др.

В тот же день 25 ноября Intel выпустила 18-ядерный Core i9 10980XE (Cascade Lake, минус тысяча долларов к цене). Впервые в истории Intel и AMD выпустили процессоры в один день.

С результатами тестов у нас теперь есть полная картина, и можно сделать вывод: Intel и AMD поменялись местами на рынке. Теперь уже AMD выпускает самые быстрые и дорогие процессоры. Intel не может сравниться с ними по производительности, поэтому вынуждена конкурировать со вторым эшелоном процессоров от AMD. Вот почему Intel пришлось кардинально снижать цены.

Примечание от переводчика: это первая часть монументальной (на самом деле монументальной) статьи о Vim и его возможностях от разработчика из Миннеаполиса и автора проекта PostgREST Джо begriffs Нельсона.

Первая часть статьи отводится на знакомство с историей Vim как редактора и автор рассказывает ряд интересных фактов и о возможностях Vim. Во второй части перевода будут сконцентрированы все фишки и лайфхаки, которыми Джо решил поделиться с аудиторией, там повествование, как таковое, затухает и остается лишь набор руководств к действию. Так как оригинал текста обладает совершенно неприемлемыми габаритами, мы разделили эту историю на две примерно равные по размерам статьи. Сегодня — первая из двух публикаций. Приятного чтения.

---

Эта статья основана на исследовании истории Vim и прочтении его руководства пользователя от корки до корки. Надеюсь, эти заметки помогут вам открыть (или переоткрыть?) для себя основные функциональные возможности этого редактора, а также позволят отказаться от использования предупакованных файлов vimrc и более вдумчиво использовать плагины.

Список литературы

Чтобы выйти за границы привычных тем, я бы порекомендовал обзавестись бумажной копией этого руководства и емким карманным справочником. Я не смог найти печатную копию руководства пользователя для Vim, так что в итоге просто распечатал идущий вместе с редактором PDF-файл с помощью printme1.com. Он идет вместе с софтом в $VIMRUNTIME/doc/usr_??. В качестве удобного списка команд могу посоветовать справочник «Vi and Vim Editors Pocket».

Содержание

• История
• Иерархия конфигурации
• Сторонние плагины
• Бекапы и откаты
• Include и path
• Редактирование и компиляция цикла
• Диффы и патчи
• Буфер ввода / вывода
• Типы файлов
• Не забывайте про мышь
• Разное

История

Рождение vi

Команды и функции Vi существуют уже более пятидесяти лет, начиная с редактора QED. Вот его таймлайн:

Существует масса вариантов для шифрования дисков, разделов и отдельных документов. На случай компрометации одного устройства есть даже федеративное распределение ключа, где для доступа требуется участие нескольких сторон (см. схему разделения секрета Шамира). Опции шифрования файловой системы предлагают широкий выбор возможностей, которые можно считать стандартной практикой для защиты статичных данных.

Другое дело — данные в оперативной памяти. Они хранятся в открытом виде и так же открыто передаются между памятью и CPU. В виртуализированной среде, если злоумышленник нашёл способ считать память с соседних виртуальных машин, он может получить доступ к данным других VM на сервере. Физические атаки возможны путём копирования чипов памяти или перехвата данных на шине. Угроза ещё более серьёзная в случае постоянной памяти, где данные сохраняются даже после отключения питания.

Технологии шифрования RAM направлены на устранение некоторых из этих атак. Хотя есть опасения, что на персональных компьютерах проявятся неожиданные «побочные эффекты» — например, невзламываемый DRM.

В последнем обновлении популярный среди безопасников и хакеров дистрибутив Kali Linux получил любопытный режим «Undercover» — «под прикрытием», суть которого сводится к визуальной мимикрии под графическую оболочку Windows.


Привет, я Kali Linux!

Сами разработчики объяснили необходимость новой фичи Kali достаточно просто: «Undercover» нужен для работы в публичных местах, чтобы при этом не смущать окружающих и не вызывать подозрений. Ведь что может быть безобиднее, чем человек, который ковыряется в ноутбуке под управлением Windows?

TL;DR. Многие стремятся к «тихому успеху» — делать работу, которая «говорит сама за себя». К сожалению, это неправильный ход в современном театре труда. Зачастую верно обратное — для офисного информационного сотрудника представление работы и есть работа. Да, внутренняя политика компании действительно несправедлива. Но посмотрим, как эффективнее сыграть свою роль в этом спектакле. Хотя статья содержит советы для консультантов, она даёт пищу для размышлений и работникам других профессий. По крайней мере, даёт возможность понять мотивы консультанта — прим. пер.

Недавно я прочитал книгу Кита Джонстона «Импровизация и театр». Восхитительная книга об импровизационном театре и, главное, как этому научить.

Книга вдохновила меня на несколько аналогий между импровизирующим актёром и консультантом, поэтому я написал серию из четырёх статей, вот первая из них:

Глава 1. Офис — это театр работы. В статье рассматривается центральная проблема — акт «представления» работы, перфоманса, и насколько он важен для современного интеллектуального труда, особенно для консультанта. Предлагается несколько идей о том, как думать на ходу, не скатившись в бред сивой кобылы (bullshit, BS).

В последние дни компания Toshiba анонсировала выпуск сразу двух новых серий своих HDD-накопителей: DT02-V, ёмкостью от 2 до 6 TB для систем видеонаблюдения (Digital Video Recorder/Network Video Recorder) и P300, ёмкостью от 4 до 6 TB для домашнего использования.

Также японская компания заявила об ориентации на корпоративный сегмент с 2020 года и планирует наращивать количество 20 TB дисков в enterprise-решениях. А пока этого не произошло, Toshiba дорабатывает существующие линейки продуктов, предлагая пользователям большую надежность, размер буфера и функции.

Так, серия HDD DT02-V для систем видеонаблюдения, которую условно можно отнести к бизнес-сегменту, не получила значительных обновлений по сравнению с ранее выпущенной линейкой MD04ABA-V, но все же имеет некоторые отличия.

Материнcкая плата SynQuacer E-Series для 24-ядерного ARM-сервера на процессоре ARM Cortex A53 с 32 ГБ оперативной памяти, декабрь 2018 года

Много лет процессоры ARM с сокращённым набором команд (RISC) доминируют на рынке мобильных устройств. Но им так и не удалось пробиться в дата-центры, где по-прежнему властвуют Intel и AMD с набором инструкций x86. Периодически появляются отдельные экзотические решения, такие как 24-ядерный ARM-сервер на платформе Banana Pi, но серьёзных предложений пока нет. Точнее, не было до этой недели.

На этой неделе AWS запустила в облаке собственные 64-ядерные ARM-процессоры Graviton2 — это система-на-кристалле с ядром ARM Neoverse N1. Компания утверждает, что Graviton2 намного быстрее, чем ARM-процессоры предыдущего поколения в инстансах EC2 A1, а вот и первые независимые тесты.

Самка трубкозуба с детёнышем. Фото: Scotto Bear, CC BY-SA 2.0

Вы пишете программу для обработки данных, она отлично проходит тест на небольшом файле, но падает на реальной нагрузке.

Проблема в нехватке памяти. Если у вас 16 гигабайт ОЗУ, вы не сможете туда загрузить стогигабайтный файл. В какой-то момент у ОС закончится память, она не сможет выделить новую, и программа вылетит.

Что делать?

В 2019 году на рынке десктопных процессоров стало интересно. Много лет здесь доминировала Intel, но AMD выпустила Ryzen 7 — прямых конкурентов моделям Intel i7. Потом серия ударов Ryzen 3 и 5 против Intel i3 и i5 — и добивание конкурента кувалдами Ryzen Threadripper 3960X и 3970X. Впрочем, эти монстры не для игрового рынка, а для иных приложений HEDT.

С 24/32-ядерными Threadripper компания AMD стала технологическим лидером. Intel ничего не может ответить на самые быстрые процессоры AMD, но пытается конкурировать во втором эшелоне более дешёвых CPU. Для этого Intel пришлось сильно снизить цены. Intel также продолжает манипуляции со своим компилятором, который замедляет выполнение программ на альтернативных процессорах (см ниже в разделе «Читерство компилятора Intel»).

Что же теперь? Какие лучшие игровые CPU в разных ценовых категориях? В конце ноября-начале декабря 2019 года свои рекомендации опубликовали AnandTech, WePC, PC Gamer, Digital Trends, Tom's Hardware, PC World. Посмотрим, что происходит на игровой сцене?

Воскресным вечером возникает особое чувство. Ты проводишь время с семьей после заслуженного отдыха, и наступает конец выходных, конец этого приятного перерыва. Завтра опять на работу. В такие моменты я часто засиживаюсь на кухне в одиночестве и мечтаю о лучшем будущем, где не надо подчиняться догмам и расписанию. Где не заставляют ставить жизнь на паузу и продавать своё время за копейки.

Хочется проснуться в понедельник без будильника и отправиться на прогулку в красивые калифорнийские горы. Посидеть на пляже, глядя на людей и вдыхая солёный воздух.

Шесть лет назад в один такой воскресный вечер я понял, что сил больше не осталось. Работа довела до полного изнеможения. По какой-то причине я был совершенно измотан. Хотя не напрягался физически, но зубы отчего-то сжимались до боли.

Я включил компьютер и сделал что-то невероятное для себя. Попросил помощи. Зашёл на HN и запустил новый тред. Я не знал, что и как сказать, но пальцы сами стучали, пока проблема не вылилась на страницу. Вот что я тогда написал: «Нас могут уволить, и я не знаю, что делать» (тред в разделе 'Ask HN', 114 комментариев).

Меня как фулстек-разработчика раньше всё устраивало. Коллеги обращались за советом. Я знал все входы и выходы из всех проектов моего отдела и некоторых других. В компании из тысячи человек все знали меня по имени. Я написал десятки инструментов, которые используются в компании по сей день.

Исследователи из трёх европейских университетов раскрыли детали первой известной атаки на SGX.

Набор инструкций SGX (Software Guard eXtensions) позволяет приложению создавать анклавы — области в виртуальном адресном пространстве, защищённые от чтения и записи извне этой области другими процессами, включая ядро операционной системы. Анклавы изолированы на аппаратном и программном уровне: эта память физически отделена от остальной памяти процессора и зашифрована.

Атака Plundervolt (CVE-2019-11157) использует интерфейс ОС для управления напряжением и частотой процессора Intel — тот же интерфейс, который используется для разгона CPU при оверклокинге. Изменяя напряжение CPU, она за несколько минут извлекает данные из анклава, в том числе ключи шифрования.

Код демонстрационного эксплоита опубликован на GitHub. Уязвимые процессоры:

• Intel Core 6, 7, 8, 9 и 10 поколений
  
• Intel Xeon E3 v5 и v6
  
• Intel Xeon E-2100 и E-2200

Корпорация ICANN прислушалась к протестам общественности — и приостановила продажу доменной зоны .ORG, запросив дополнительную информацию о сделке, включая информацию о владельцах сомнительной фирмы Ethos Capital.

Напомним, что в ноябре 2019 года закрытое акционерное общество Ethos Capital, специально созданное для этих целей, договорилось о покупке некоммерческой организации The Internet Society (ISOC), в том числе оператора Public Interest Registry (PIR), управляющего реестром .ORG.

О сделке было объявлено 13 ноября 2019 года, а закрыть её планировалось в I кв. 2020 года. Таким образом, реестр из 10 миллионов доменных имен. org и управление финансовым потоками решили отдать коммерческой фирме. Что самое интересное, за пять месяцев до этого ISOC с разрешения ICANN сняла любые ограничения на максимальную цену доменов .ORG, а в руководстве Ethos Capital нашлись бывшие влиятельные чиновники ICANN.

Но ICANN имеет право заблокировать передачу контракта на обслуживание .ORG. Это предусмотрено разделом 7.5 соглашения о реестре между Public Interest Registry и ICANN.

Утечка данных по всем машинам «Ситимобила» позволяет отслеживать конкретный автомобиль по его координатам. Мы не знаем фамилии водителя или номера, но видим его перемещения. Можете посмотреть в окно — и проверить, откуда приехало конкретное такси и куда оно повезёт следующего пассажира. Представитель компании не считает это проблемой.

На иллюстрации слева — маршрут таксиста, которого отследили по открытым анонимизированным данным. Krupnikas, статья «Как я нашел способ отследить всех водителей ”Ситимобил”»

Сейчас сбором таких данных через мобильные приложения занимаются десятки компаний. Только они отслеживают перемещения не такси, а людей. Всех людей. Совершенно легально.

Вероятно, о большинстве этих фирм вы никогда не слышали, но для их клиентов ваша жизнь — открытая книга. Они видят, куда вы ходите в течение дня, с кем встречаетесь и с кем спите, посещаете ли метадоновую клинику, кабинет психиатра или тайский массаж.

Это не спецслужбы, не корпорации, а обычные компании с обычными клиентами. Не за горами то время, когда вы тоже за скромную сумму в районе $20 сможете заказать полное информационное досье на своего соседа (и наоборот). Давайте посмотрим, какая информация есть у этих фирм.