Через такое прошли многие стартапы: каждый день регистрируются толпы новых пользователей, а команда разработчиков изо всех сил пытается поддержать работу сервиса.

Это приятная проблема, но в Сети мало чёткой информации, как аккуратно масштабировать веб-приложение с нуля до сотен тысяч пользователей. Обычно встречаются или пожарные решения, или устранение узких мест (а часто и то, и другое). Поэтому люди используют довольно шаблонные приёмы по масштабированию своего любительского проекта в нечто действительно серьёзное.

Попытаемся отфильтровать информацию и записать основную формулу. Мы собираемся пошагово масштабировать наш новый сайт для обмена фотографиями Graminsta с 1 до 100 000 пользователей.

Запишем, какие конкретные действия необходимо сделать при увеличении аудитории до 10, 100, 1000, 10 000 и 100 000 человек.

Последние плюс-минус пять лет в широких кругах бытует мнение, что SSD и другие твердотельные накопители будут планомерно вытеснять с рынка HDD и другие технологии накопления данных, в основе которых лежат механизмы с движущимися деталями. От части это мнение справедливо, ведь в качестве системных дисков бытовых ПК и рабочих станций SSD SATA 3 и SSD m.2 уже доминируют: ни один человек в здравом уме не будет собирать игровую или рабочую конфигурацию высокой производительности на базе HDD в качестве системного диска.



Эта же ситуация наблюдалась и в 2018 году в плане корпоративных решений. Продажи SSD и общая доля хостинговых предложений, проникновение твердотельных накопителей в корпоративный сегмент и в целом доминирование этой технологии только усиливалось. Особенную тревогу у производителей вызывал сегмент 2,5" HDD-накопителей, которые находятся в большей опасности по сравнению с полноформатными 3,5" в плане поглощения сектора SSD-дисками. Продажи же HDD планомерно падали, как по показателю отгруженных изделий в абсолютном выражении, так и по объемам памяти проданных жестких дисков.

В прошлом году все изменилось.

Опенсорсное программное обеспечение медленно, но уверенно завоевывает корпоративный сегмент, о чем говорит исследование команды RedHat (PDF). Компания провела опрос среди 950 руководителей IT-компаний по всему миру. Из них 400 человек работают в США, 250 — в странах Латинской Америки, 150 — в Великобритании, еще 150 — в англоязычных компаниях Азиатско-Тихоокеанского региона. По результатам опроса RedHat пришла к выводу: открытое ПО вытесняет проприетарные решения с их исторического рынка — из Enterprise-сегмента.

Вот как оценили важность открытого ПО руководители в рамках проведенного исследования:



К слову, цифры понимания важности открытого программного обеспечения из года в год только растут: в 2019 году, в рамках такого же опроса, важным или очень важным развитие open source назвали 89% респондентов, то есть прирост составляет 6% в год.

27 февраля 2020 года бесплатный центр сертификации Let's Encrypt выдал миллиардный сертификат.

В праздничном пресс-релизе представители проекта вспоминают, что предыдущий юбилей в 100 млн выданных сертификатов отмечали в июне 2017 года. Тогда доля HTTPS-трафика в интернете составляла 58% (в США — 64%). За два с половиной года показатели существенно выросли: «Сегодня 81% загружаемых страниц по всему миру используют HTTPS, а в Соединенных Штатах мы находимся на уровне 91%! — радуются ребята из проекта. — Невероятное достижение. Это гораздо более высокий уровень конфиденциальности и безопасности для всех».

Let's Encrypt сыграл очень важную роль в том, чтобы сертификаты HTTPS стали утилитарным стандартом, а надёжное шифрование трафика — совершенной нормой в интернете.

Рис. 1. Историческое потребление энергии ЦОД в 2010-2018 гг и прогноз на ближайшие годы, когда состоится очередное удвоение количества вычислительных инстансов (ядер) в дата-центрах

Спрос на услуги центров обработки данных (ЦОД) за последнее десятилетие вырос многократно. Его подогревает рост популярности социальных сетей, видео, мобильных приложений и различных облачных приложений.

В 2010 году на все дата-центры в мире ушло примерно 194 ТВт·ч, то есть 1% мирового энергопотребления. Что будет в случае экспоненциального роста вычислений? Звучали оценки, что энергопотребление ЦОД может вырасти в три или даже четыре раза. Например, см. оценку Бельхира и Эльмелиджи в статье "Assessing ICT global emissions footprint: Trends to 2040 & recommendations" (Journal of Cleaner Production, том 177, стр. 448).

Но последние исследования показывают, что повод для паники отсутствует. Так, с 2010 по 2018 годы вычислительные мощности ЦОД выросли в 6,5 раз, но энергопотребление осталось примерно на том же уровне (205 ТВт·ч, около 1%), так что планете пока ничего не угрожает.

Степпер ASML: ключевое звено в производстве микросхем. На нём производится засветка фоторезиста через маску, как в фотоувеличителе. Стоимость прибора около $170 млн

У всех на слуху компании Intel, Samsung и TSMC — три крупнейших в мире производителя микросхем (последняя выполняет заказы для Apple и AMD).

Однако мало кто слышал об ASML — скромной компании в пригороде Эйндховена, пятого по величине города Нидерландов. Но если посмотреть, эта фирма играет ключевую роль в микроэлектронной промышленности. Это единственный в мире производитель степперов для фотолитографии в глубоком ультрафиолете (EUV), пишет издание The Economist.

Калифорнийская компания Ampere представила первый в отрасли 80-ядерный серверный ARM-процессор на 64-битной архитектуре Ampere Altra.

Уже несколько лет специалисты прогнозируют, что платформа ARM составит конкуренцию x86 в дата-центрах, но этого никак не происходит. По итогам 2019 года там доминирует Intel с долей 95,5%, у AMD — 4,5%.

Однако новый ARM-процессор в целочисленном бенчмарке SPECrate 2017 показывает более высокую производительность, чем самый быстрый 64-ядерный AMD EPYC или топовый 28-ядерный Xeon семейства Cascade Lake. Это уже серьёзная заявка (хотя результаты бенчмарка немного «подкручены», см. ниже).

В последнее время WireGuard привлекает к себе большое внимание, фактически — это новая «звезда» среди VPN. Но так ли он хорош, как кажется? Я хотел бы обсудить некоторые наблюдения и рассмотреть реализацию WireGuard, чтобы рассказать, почему он не является решением, которое заменит IPsec или OpenVPN.

В этой статье я хотел бы развенчать некоторые мифы [вокруг WireGuard]. Да, читать придется долго, так что если вы еще не заварили себе чашечку чая или кофе, то самое время это сделать. Еще я бы хотел сказать спасибо Питеру за корректуру моих хаотичных мыслей.

Я не ставлю себе цель дискредитировать разработчиков WireGuard, обесценить их усилия или идеи. Их продукт — рабочий, но лично я считаю, что он представлен совершенно не тем, чем является на самом деле — представлен как замена IPsec и OpenVPN, которой на самом деле сейчас просто не существует.

В качестве примечания хочется добавить, что ответственность за такое позиционирование WireGuard несут СМИ, которые о нем рассказывали, а не сам проект или его создатели.

В последнее время на тему ядра Linux было не слишком много хороших новостей. Так, нам рассказали о чудовищных уязвимостях процессора, которые были нивелированы программным способом, а Линус Торвальдс рассказывал об этом слишком грубо и скучно, утилитарным языком разработчика. Планировщик или сетевой стек нулевого уровня — тоже не слишком понятные темы для глянцевых журналов. И тут появляется WireGuard.

На бумаге все звучит здорово: захватывающая воображение новая технология.

Но давайте посмотрим на нее чуть внимательнее.

Известный Linux-разработчик, соавтор графического протокола Wayland, пользовательского окружения Sway и почтового клиента Aerc, Дрю ДеВолт (Drew DeVault) провёл анализ спецификаций W3C, которым должны соответствовать современные браузеры.

Он скачал 1217 спецификаций с помощью wget и подбил статистику утилитой wc -w (количество слов). Оказалось, что весь текущий каталог спецификаций W3C составляет 114 млн слов. Для сравнения, объём спецификации C11 составляет 208 220 слов, а длина романа «Война и мир» — 188 088 слов.

Дрю ДеВолт делает вывод, что сегодня уже невозможно разработать новый браузер с нуля, поскольку невозможно реализовать поддержку веб-стандартов в таком количестве.

Система массовой прослушки разработана Агентством национальной безопасности США

Массовое прослушивание населения страны, запись всех разговоров и текстовых сообщений — должно быть, очень действенные меры в борьбе с преступностью? С такой системой террористы будут как на ладони у спецслужб? Оказывается, совершенно нет.

Рассекреченное исследование показывает, что система для анализа логов телефонных разговоров и текстовых сообщений жителей США обошлась налогоплательщикам в $100 млн за 2015-2019 годы, но помогла ФБР инициировать только единственное более-менее значительное расследование, пишет NY Times.

Практически каждый день мы слышим об утечках персональных данных. Браузеры и мобильные приложения собирают информацию о перемещениях и действиях пользователя, чтобы затем перепродать эти данные брокерам для профилирования, а потом — рекламодателям для таргетированной рекламы. То же самое делают интернет-провайдеры, банки, розничные магазины и все остальные, у кого есть доступ к большой базе пользователей. Именно так зарабатывают крупные интернет-компании, такие как Google и Facebook. Приложение для знакомств геев Grindr недавно продало данные о геолокации своих пользователей 35 разным покупателям. C Android-смартфонов координаты пользователя передаются более 300 раз в течение 24-часового периода, даже если пользователь отключил историю местоположений в настройках устройства.

Конечно, все собирают «анонимные» данные. Собирать и продавать эту информацию сегодня совершенно законно в России, США и в большинстве других стран мира. Но установить личность по истории перемещений легче, чем по ДНК. «Компании говорят, что данные передаются лишь проверенным партнёрам. Остаётся только верить на слово в такую корпоративную благотворительность», — пишет NY Times. Если сопоставить информацию из разных баз, то пользователей очень легко деанонимизировать. Достаточно посмотреть, где телефон остаётся на ночь и куда «приходит» на работу.

Как решить эту проблему?

В связи с массовым переходом на удалённую работу приложение для видеоконференций Zoom резко выросло в популярности. Но это не идеальный вариант с точки зрения безопасности. Хотя Zoom предлагает end-to-end шифрование для текстовых чатов, а шифрование видеоконференций можно активировать на стороне хоста, если верить разработчикам проприетарной программы.

Но тип шифрования невозможно проверить, потому что код закрыт, а с точки зрения приватности приложение Zoom вызывает вопросы у некоторых экспертов. Например, хост может активировать странную функцию «трекинг внимания» (attention tracking). Она отслеживает, что участник не отвлекается от совещания больше, чем на 30 секунд (окно приложения должно быть открыто и активно).

OpenBSD позиционируетcя как защищённая ОС. Однако за последние несколько месяцев в системе найден ряд уязвимостей. Конечно, в этом нет ничего экстраординарного. Хотя некоторые уязвимости довольно необычные. Можно даже сказать, критические. У разработчиков OpenBSD несколько принципов, как обеспечить безопасность. Вот два из них:

• избегать ошибок;
  
• минимизировать риск ошибок.

Не все согласны, что этих принципов достаточно, чтобы строить защищённые системы. Мне кажется, есть смысл изучить, работает ли подход OpenBSD, или он изначально обречён.

Для иллюстрации я выбрал не все, а только несколько интересных багов, которые случайно совпадают с темой нашего разговора.

Разговоры о том, что массовая самоизоляция европейцев увеличила нагрузку на интернет-инфраструктуру на всех уровнях ходят начиная с марта месяца, однако разные источники дают разные данные. Одни говорят, что нагрузка выросла многократно, другие заявляют о цифрах в районе 20 процентов. Правда, во всяком случае для TIER-1 хаба в Амстердаме, оказалась где-то посередине: согласно статистике AMS-IX, средняя нагрузка по трафику выросла примерно на 50%, с 4,0 до 6,0 TB/s.

Поделюсь с вами одной историей. Около двадцати лет назад я получил степень по физике, но занимался реверс-инжинирингом и криптоанализом. Наша компания AccessData работала в конце 90-х и начале 2000-х. Тогда правительство США постепенно снимало ограничения на экспорт криптографии, однако парольная защита в большинстве программ по-прежнему оставалась довольно бесполезной. Мы брали офисные программы, я проводил реверс-инжиниринг и выяснял алгоритм шифрования, а потом ломал криптозащиту.

Это был нескончаемый поток интересных, но не особенно сложных математических головоломок. За всё время я написал около сорока взломщиков паролей. Мы продавали их домашним пользователям, системным администраторам, местным и федеральным правоохранительным органам. Мне пришлось несколько раз съездить в федеральный центр подготовки сотрудников правоохранительных органов в Глинко, чтобы объяснить ребятам из Секретной службы, ФБР и АТФ основы криптографии и как использовать наши продукты.

Особенно ярко мне запомнились два проекта. Первым был Microsoft Word 97. До его появления файлы шифровались с помощью XOR байтов открытого текста и 16-байтовой строки, которая выводилась из пароля. Самыми распространёнными байтами в файле Word обычно были 0x00, 0xFF или 0x20 (пробел), поэтому мы просто выбирали самый распространённый символ в каждом столбце и проверяли 3¹⁶ вариантов. Восстановление ключа обычно происходило мгновенно, но чтобы людям не казалось, что они зря потратили деньги, мы вставили небольшую анимацию, похожую на голливудскую хакерскую сцену с множеством случайных символов, из которых постепенно проявляется правильный пароль.

Меньше ядер, выше частота. В некоторых задачах так выгоднее

EPYC Rome 2-го поколения: 8,34 млрд транзисторов на центральном кристалле IOD площадью 416 мм² (12 нм) плюс восемь CCD-кристаллов площадью по 74 мм² (7 нм), итого 39,54 млрд транзисторов на всём чипе (увеличить)

Война между Intel и AMD давно идёт на десктопах и ноутбуках, а теперь разгорается и на серверном рынке. Судя по динамике, AMD действует как будто агрессивнее, потому что она представляет новые модели, а Intel отвечает снижением цен. Вчера AMD нанесла новый удар, проведя презентацию трёх процессоров EPYC Rome второго поколения: это модели 7F32, 7F52 и 7F72 на 8, 16 и 24 ядер. Здесь компания применила новую тактику, уменьшив количество ядер, но увеличив производительность каждого ядра.

Платформы баг-баунти — HackerOne, Bugcrowd и Synack — служат посредниками между белыми хакерами и компаниями, которые хотят улучшить безопасность своих продуктов. При правильном использовании логика простая:

1. Хакер сообщает о найденной уязвимости.
2. Компания-разработчик исправляет баг и перечисляет хакеру вознаграждение в качестве благодарности за то, что он поступил правильно.

Но в реальности всё работает иначе. Как показало расследование CSO, компании и платформы баг-баунти настолько перевернули раскрытие уязвимостей с ног на голову, что многие эксперты, включая бывшего директора по политике HackerOne Кэти Муссури, называют это «извращением».

Однажды коллега поделился размышлениями об API для распределённых вычислительных кластеров, а я в шутку ответил: «Очевидно, что идеальным API был бы простой вызов telefork(), чтобы твой процесс очнулся на каждой машине кластера, возвращая значение ID инстанса». Но в итоге эта идея овладела мной. Я не мог понять, почему она такая глупая и простая, намного проще, чем любой API для удалённой работы, и почему компьютерные системы, кажется, не способны на такое. Я также вроде бы понимал, как это можно реализовать, и у меня уже было хорошее название, что является самой трудной частью любого проекта. Поэтому я приступил к работе.

За первые выходные сделал базовый прототип, а второй уикенд принёс демку, которая могла телефоркнуть процесс на гигантскую виртуальную машину в облаке, прогнать рендеринг трассировки путей на множестве ядер, а затем телефоркнуть процесс обратно. Всё это завёрнуто в простой API.

На видео показано, что рендеринг на 64-ядерной VM в облаке завершается за 8 секунд (плюс 6 секунд на телефорк туда и обратно). Тот же рендеринг локально в контейнере на моём ноутбуке занимает 40 секунд:

Наконец стало известно, чем ответит Intel на сверхпопулярные процессоры AMD Ryzen, которые к апрелю 2020 года захватили до 90% продаж новых CPU.

Ответ Intel — серия Intel Core 10-го поколения под кодовым названием Comet Lake-S. Официальный анонс новых процессоров состоится сегодня, а полная информация и слайды презентации утекли за несколько дней.

Формально Intel представила 32 (!) новых процессора 10-го поколения, но если внимательно изучить таблицу под катом, то почти все они — реинкарнации топовых и предтоповых старых CPU, а реальных новинок только две: Intel Core i9-10900 и Intel Core i9-10900K.

В серии статей SSD 101 мы рассмотрели SSD со всех сторон. А теперь проверим главный аргумент фанатов SSD — что эти устройства выходят из строя гораздо реже, чем старые добрые HDD. Они обычно объясняют, что в SSD нет движущихся частей, и предъявляют документы от производителей с мутными расчётами среднего времени до отказа (MTBF). Всё это хорошо для рекламы, но мы предпочитаем реальную статистику частоты отказов.