Самка трубкозуба с детёнышем. Фото: Scotto Bear, CC BY-SA 2.0

Вы пишете программу для обработки данных, она отлично проходит тест на небольшом файле, но падает на реальной нагрузке.

Проблема в нехватке памяти. Если у вас 16 гигабайт ОЗУ, вы не сможете туда загрузить стогигабайтный файл. В какой-то момент у ОС закончится память, она не сможет выделить новую, и программа вылетит.

Что делать?

В 2019 году на рынке десктопных процессоров стало интересно. Много лет здесь доминировала Intel, но AMD выпустила Ryzen 7 — прямых конкурентов моделям Intel i7. Потом серия ударов Ryzen 3 и 5 против Intel i3 и i5 — и добивание конкурента кувалдами Ryzen Threadripper 3960X и 3970X. Впрочем, эти монстры не для игрового рынка, а для иных приложений HEDT.

С 24/32-ядерными Threadripper компания AMD стала технологическим лидером. Intel ничего не может ответить на самые быстрые процессоры AMD, но пытается конкурировать во втором эшелоне более дешёвых CPU. Для этого Intel пришлось сильно снизить цены. Intel также продолжает манипуляции со своим компилятором, который замедляет выполнение программ на альтернативных процессорах (см ниже в разделе «Читерство компилятора Intel»).

Что же теперь? Какие лучшие игровые CPU в разных ценовых категориях? В конце ноября-начале декабря 2019 года свои рекомендации опубликовали AnandTech, WePC, PC Gamer, Digital Trends, Tom's Hardware, PC World. Посмотрим, что происходит на игровой сцене?

Материнcкая плата SynQuacer E-Series для 24-ядерного ARM-сервера на процессоре ARM Cortex A53 с 32 ГБ оперативной памяти, декабрь 2018 года

Много лет процессоры ARM с сокращённым набором команд (RISC) доминируют на рынке мобильных устройств. Но им так и не удалось пробиться в дата-центры, где по-прежнему властвуют Intel и AMD с набором инструкций x86. Периодически появляются отдельные экзотические решения, такие как 24-ядерный ARM-сервер на платформе Banana Pi, но серьёзных предложений пока нет. Точнее, не было до этой недели.

На этой неделе AWS запустила в облаке собственные 64-ядерные ARM-процессоры Graviton2 — это система-на-кристалле с ядром ARM Neoverse N1. Компания утверждает, что Graviton2 намного быстрее, чем ARM-процессоры предыдущего поколения в инстансах EC2 A1, а вот и первые независимые тесты.

В последние дни компания Toshiba анонсировала выпуск сразу двух новых серий своих HDD-накопителей: DT02-V, ёмкостью от 2 до 6 TB для систем видеонаблюдения (Digital Video Recorder/Network Video Recorder) и P300, ёмкостью от 4 до 6 TB для домашнего использования.

Также японская компания заявила об ориентации на корпоративный сегмент с 2020 года и планирует наращивать количество 20 TB дисков в enterprise-решениях. А пока этого не произошло, Toshiba дорабатывает существующие линейки продуктов, предлагая пользователям большую надежность, размер буфера и функции.

Так, серия HDD DT02-V для систем видеонаблюдения, которую условно можно отнести к бизнес-сегменту, не получила значительных обновлений по сравнению с ранее выпущенной линейкой MD04ABA-V, но все же имеет некоторые отличия.

TL;DR. Многие стремятся к «тихому успеху» — делать работу, которая «говорит сама за себя». К сожалению, это неправильный ход в современном театре труда. Зачастую верно обратное — для офисного информационного сотрудника представление работы и есть работа. Да, внутренняя политика компании действительно несправедлива. Но посмотрим, как эффективнее сыграть свою роль в этом спектакле. Хотя статья содержит советы для консультантов, она даёт пищу для размышлений и работникам других профессий. По крайней мере, даёт возможность понять мотивы консультанта — прим. пер.

Недавно я прочитал книгу Кита Джонстона «Импровизация и театр». Восхитительная книга об импровизационном театре и, главное, как этому научить.

Книга вдохновила меня на несколько аналогий между импровизирующим актёром и консультантом, поэтому я написал серию из четырёх статей, вот первая из них:

Глава 1. Офис — это театр работы. В статье рассматривается центральная проблема — акт «представления» работы, перфоманса, и насколько он важен для современного интеллектуального труда, особенно для консультанта. Предлагается несколько идей о том, как думать на ходу, не скатившись в бред сивой кобылы (bullshit, BS).

В последнем обновлении популярный среди безопасников и хакеров дистрибутив Kali Linux получил любопытный режим «Undercover» — «под прикрытием», суть которого сводится к визуальной мимикрии под графическую оболочку Windows.


Привет, я Kali Linux!

Сами разработчики объяснили необходимость новой фичи Kali достаточно просто: «Undercover» нужен для работы в публичных местах, чтобы при этом не смущать окружающих и не вызывать подозрений. Ведь что может быть безобиднее, чем человек, который ковыряется в ноутбуке под управлением Windows?

Существует масса вариантов для шифрования дисков, разделов и отдельных документов. На случай компрометации одного устройства есть даже федеративное распределение ключа, где для доступа требуется участие нескольких сторон (см. схему разделения секрета Шамира). Опции шифрования файловой системы предлагают широкий выбор возможностей, которые можно считать стандартной практикой для защиты статичных данных.

Другое дело — данные в оперативной памяти. Они хранятся в открытом виде и так же открыто передаются между памятью и CPU. В виртуализированной среде, если злоумышленник нашёл способ считать память с соседних виртуальных машин, он может получить доступ к данным других VM на сервере. Физические атаки возможны путём копирования чипов памяти или перехвата данных на шине. Угроза ещё более серьёзная в случае постоянной памяти, где данные сохраняются даже после отключения питания.

Технологии шифрования RAM направлены на устранение некоторых из этих атак. Хотя есть опасения, что на персональных компьютерах проявятся неожиданные «побочные эффекты» — например, невзламываемый DRM.

Примечание от переводчика: это первая часть монументальной (на самом деле монументальной) статьи о Vim и его возможностях от разработчика из Миннеаполиса и автора проекта PostgREST Джо begriffs Нельсона.

Первая часть статьи отводится на знакомство с историей Vim как редактора и автор рассказывает ряд интересных фактов и о возможностях Vim. Во второй части перевода будут сконцентрированы все фишки и лайфхаки, которыми Джо решил поделиться с аудиторией, там повествование, как таковое, затухает и остается лишь набор руководств к действию. Так как оригинал текста обладает совершенно неприемлемыми габаритами, мы разделили эту историю на две примерно равные по размерам статьи. Сегодня — первая из двух публикаций. Приятного чтения.

---

Эта статья основана на исследовании истории Vim и прочтении его руководства пользователя от корки до корки. Надеюсь, эти заметки помогут вам открыть (или переоткрыть?) для себя основные функциональные возможности этого редактора, а также позволят отказаться от использования предупакованных файлов vimrc и более вдумчиво использовать плагины.

Список литературы

Чтобы выйти за границы привычных тем, я бы порекомендовал обзавестись бумажной копией этого руководства и емким карманным справочником. Я не смог найти печатную копию руководства пользователя для Vim, так что в итоге просто распечатал идущий вместе с редактором PDF-файл с помощью printme1.com. Он идет вместе с софтом в $VIMRUNTIME/doc/usr_??. В качестве удобного списка команд могу посоветовать справочник «Vi and Vim Editors Pocket».

Содержание

• История
• Иерархия конфигурации
• Сторонние плагины
• Бекапы и откаты
• Include и path
• Редактирование и компиляция цикла
• Диффы и патчи
• Буфер ввода / вывода
• Типы файлов
• Не забывайте про мышь
• Разное

История

Рождение vi

Команды и функции Vi существуют уже более пятидесяти лет, начиная с редактора QED. Вот его таймлайн:

Схема компьютера CS-1 показывает, что большая часть отведена для питания и охлаждения гигантского «процессора-на-пластине» Wafer Scale Engine (WSE). Фото: Cerebras Systems

В августе 2019 года компания Cerebras Systems и её производственный партнер TSMC анонсировали крупнейшую микросхему в истории компьютерной техники. С площадью 46 225 мм² и 1,2 триллиона транзисторов микросхема Wafer Scale Engine (WSE) примерно в 56,7 раз больше, чем самый большой GPU (21,1 млрд транзисторов, 815 мм²).

Скептики говорили, что разработать процессор — не самая сложная задача. Но вот как он будет работать в реальном компьютере? Каков процент брака на производстве? Какое потребуется питание и охлаждение? Сколько будет стоить такая машина?

Похоже, инженерам Cerebras Systems и TSMC удалось решить эти проблемы. 18 ноября 2019 года на конференции Supercomputing 2019 они официально представили CS-1 — «самый быстрый в мире компьютер для расчётов в области машинного обучения и искусственного интеллекта».

Бывшая угольная шахта, в которой размещатся хранилище Arctic World Archive. Фото: Guy Martin / Bloomberg Businessweek

Свободное программное обеспечение — краеугольный камень современной цивилизации и общее наследие всего человечества. Миссия программы GitHub Archive — сохранить этот код для будущих поколений, чтобы история Александрийской библиотеки никогда не повторилась.

Для этого GitHub заведёт много резервных копий на разных носителях, в том числе долгосрочное хранилище Arctic Code Vault на Шпицбергене. Оно размещается в бывшей угольной шахте на глубине 250 метров в вечной мерзлоте и рассчитано на срок хранения минимум 1000 лет.

Снимок программного кода человечества сделают 2 февраля 2020 года.

Нынешняя осень обещает быть жаркой. AMD только что зафиксировала рекорд квартальной выручки с 2005 года — и не собирается на этом останавливаться. На прошлой неделе компания анонсировала три новых десктопных CPU с началом поставок через две недели. По предварительным тестам 3DMark, это самые быстрые десктопные процессоры на рынке. Например, 24-ядерный Threadripper 3960X оставляет позади и Core i9-9900KS и Intel Core i9-9980XE.

Вкратце о новинках AMD:

• Ryzen 9 3950X из двух 7-нанометровых чиплетов TSMC: 16 ядер, 3,5-4,7 ГГц, $749.
  
• Ryzen Threadripper 3960X (24 ядра, 3,8-4,5 ГГц) и Ryzen Threadripper 3970X (32 ядра, 3,7-4,5 ГГц) из четырёх чиплетов каждый. Это первые процессоры 3-го поколения Threadripper на 7-нанометровой архитектуре Zen 2, $1399 и $1999.
  
• Чипсет TRX40 для новых Threadripper'ов. Новый сокет и новые материнские платы.
  
• Штатно разгоняемый Athlon 3000G за $49.

В прошлой статье мы рассмотрели кластеризацию RabbitMQ для обеспечения отказоустойчивости и высокой доступности. Теперь глубоко покопаемся в Apache Kafka.

Здесь единицей репликации является раздел (partition). У каждого топика один или несколько разделов. В каждом разделе есть лидер с фолловерами или без них. При создании топика указывается количество разделов и коэффициент репликации. Обычное значение 3, это означает три реплики: один лидер и два фолловера.

Некоммерческая организация lowRISC при участии Google и других спонсоров 5 ноября 2019 года представила проект OpenTitan, который называет «первым опенсорсным проектом по созданию открытой, качественной архитектуры микросхем с корнем доверия (RoT) на аппаратном уровне».

OpenTitan на архитектуре RISC-V — микросхема специального назначения для установки на серверах в дата-центрах и в любом другом оборудовании, где нужно обеспечить аутентичность загрузки, защитить прошивку от изменений и исключить вероятность руткитов: это материнские платы, сетевые карты, маршрутизаторы, устройства IoT, мобильные гаджеты и др.

Конечно, подобные модули есть в современных процессорах. Например, аппаратный модуль Intel Boot Guard является корнем доверия в процессорах Intel. Он по цепочке доверия верифицирует подлинность UEFI BIOS перед загрузкой ОС. Но вопрос, насколько мы можем доверять проприетарным корням доверия с учётом того, что у нас нет гарантий отсутствия багов в дизайне, а проверить его нет возможности? См. статью «Доверенная загрузка Шрёдингера. Intel Boot Guard» с описанием того, «как годами клонируемая ошибка на производстве нескольких вендоров позволяет потенциальному злоумышленнику использовать эту технологию для создания в системе неудаляемого (даже программатором) скрытого руткита».

Secure Shell (SSH) — широко используемый протокол транспортного уровня для защиты соединений между клиентами и серверами. Это базовый протокол в нашей программе Teleport для защищённого доступа к инфраструктуре. Ниже относительно краткое описание рукопожатия, которое происходит перед установлением безопасного канала между клиентом и сервером и перед началом полного шифрования трафика.

Обмен версиями

Рукопожатие начинается с того, что обе стороны посылают друг другу строку с номером версии. В этой части рукопожатия не происходит ничего чрезвычайно захватывающего, но следует отметить, что большинство относительно современных клиентов и серверов поддерживают только SSH 2.0 из-за недостатков в дизайне версии 1.0.

Обмен ключами

В процессе обмена ключами (иногда называемого KEX) стороны обмениваются общедоступной информацией и выводят секрет, совместно используемый клиентом и сервером. Этот секрет невозможно обнаружить или получить из общедоступной информации.

Компания Dell создаст самый мощный промышленный суперкомпьютер в истории. Новая установка под названием HPC5 будет обладать вычислительной мощностью в 52 Пфлопс.


Суперкомпьютер HPC4 в дата-центре Green Eni, провинция Павия, Италия

Заказчиком выступает нефтяная компания Eni, которая уже является владельцем суперкомпьютера Dell HPC4 мощностью 18 Пфлопс. Новая система на 52 Пфлопс будет полностью совместима с предыдущей моделью, таким образом Eni создаст мини-кластер из двух суперкомпьютеров совокупной вычислительной мощностью в 70 Пфлопс, что является самой производительной установкой в истории промышленности.

Статьи о дистанционной работе часто рисуют картину с коктейлями на пляже, путешествиями по миру и другими наслаждениями, вызывая зависть в социальных сетях. Эта статья не такая.

Кто везде — тот нигде. Кто проводит жизнь в странствиях, у тех в итоге гостеприимцев множество, а друзей нет.

Сенека.

В 23 года я расстался с девушкой, продал или раздал почти все вещи, собрал чемодан и забронировал билет в один конец на Тайвань. Я жил мечтой о путешествиях и абсолютной свободе, понятия не имея, что начинается самый несчастный период моей жизни.

Для протокола, прекращение долгосрочных отношений и уход от семьи, друзей и любых других значимых человеческих связей в мире — ужасная идея. Добавьте отсутствие баланса между работой и жизнью — и получите готовый рецепт депрессии.

Исследовательская группа из японского Национального института информационных и коммуникационных технологий (NICT) разработала оптоволоконный сетевой кластер с суммарной пропускной способностью в 1 Пбит/c. Официально разработка была представлена на европейской технологической выставке ECOC 2019, которая прошла в сентябре в Дублине.


Испытательный стенд в NICT // www.nict.go.jp

Японцы показали публике сетевой кластер, в основе которого лежат 22 оптоволоконные жилы и MEMS-контроллер сигнала с системой мультиплексирования на трехжильные и семижильные подключения, которые сейчас внедряются или уже используются в магистральных сетях связи и дата-центрах.

Разработка японских инженеров доказывает, что мы способны значительно увеличить пропускную способность сетевых подключений не только через увеличение числа жил оптоволоконных кабелей, но в том числе за счет совершенствования систем коммутации и маршрутизации сигнала.

Отказоустойчивость и высокая доступность — большие темы, так что посвятим RabbitMQ и Kafka отдельные статьи. Данная статья о RabbitMQ, а следующая — о Kafka, в сравнении с RabbitMQ. Статья длинная, так что устраивайтесь поудобнее.

Рассмотрим стратегии отказоустойчивости, согласованности и высокой доступности (HA), а также компромиссы, на которые приходится идти в каждой стратегии. RabbitMQ может работать на кластере узлов — и тогда классифицируется как распределенная система. Когда речь заходит о распределенных системах, мы часто говорим о согласованности и доступности.

Эти понятия описывают, как система ведет себя при сбое. Сбой сетевого соединения, сбой сервера, сбой жесткого диска, временная недоступность сервера из-за сборки мусора, потеря пакетов или замедление сетевого соединения. Все это может привести к потере данных или конфликтам. Оказывается, практически невозможно поднять систему, одновременно и полностью непротиворечивую (без потери данных, без расхождения данных), и доступную (будет принимать операции чтения и записи) для всех вариантов сбоя.

Нам важно понимать, что происходит с нашими студентами во время обучения, и как эти события влияют на результат, поэтому мы выстраиваем Customer Journey Map — карту клиентского опыта. Ведь процесс обучения — не нечто непрерывное и цельное, это цепочка взаимосвязанных событий и действий студента, причем эти действия могут сильно отличаться у разных учеников. Вот он прошел урок: что он сделает дальше? Пойдет в домашнее задание? Запустит мобильное приложение? Изменит курс, попросит сменить учителя? Сразу зайдет в следующий урок? Или просто уйдет разочарованным? Можно ли, проанализировав эту карту, выявить закономерности, приводящие к успешному окончанию курса или наоборот, «отваливанию» студента?



Обычно для выстраивания CJM используют специализированные, весьма дорогие инструменты с закрытым кодом. Но нам хотелось придумать что-то простое, требующее минимальных усилий и по возможности опенсорсное. Так появилась идея воспользоваться цепями Маркова — и у нас получилось. Мы построили карту, интерпретировали данные о поведении студентов в виде графа, увидели совершенно неочевидные ответы на глобальные вопросы бизнеса и даже нашли глубоко спрятанные баги. Все это мы сделали с помощью опенсорсных решений Python-скрипта. В этой статье я расскажу про два кейса с теми самыми неочевидными результатами и поделюсь скриптом со всеми желающими.

Код операционной системы Windows 10X планируется дописать в начале 2020 года, а коммерческий запуск состоится осенью

Microsoft продолжает хранить в секрете подробности о Windows 10X — версии Windows 10, адаптированной для ноутбуков и планшетов с двумя экранами. Но теперь первая крупная утечка даёт общее понимание дизайна и цели разработки этой ОС, где будут на равных условиях работать нативные приложения Windows 10 и веб-приложения (PWA).

Скриншоты и описание опубликованы на сайте santorini-os.azurewebsites.net. Ссылку первым заметил пользователь WalkingCat aka @h0x0d. Информация с сайта уже удалена, но другой пользователь «Борис» aka @_milincic_ сохранил архив со скриншотами страниц.