Разнообразные и разнонаправленные изменения, на которые 2022-й оказался более чем щедр, натолкнули на размышления о том, каков текущий Ops-ландшафт и как он (потенциально) будет изменяться в ближайшей и среднесрочной перспективе. И хотя все сейчас живут в соответствии с известным изречением «Хочешь насмешить Бога — расскажи ему о своих планах», можно попытаться кое-что спрогнозировать.

К слову о прогнозировании: несмотря на недавние новости о снижении мобильного трафика в России, Nokia Bell Labs предсказывает рост мирового объема IP-трафика в 2022 году до уровня в 330 эксабайт в месяц. А количество устройств, подключенных к Интернету вещей, по мнению экспертов, вырастет до 100 млрд в 2025 году. И большую часть сгенерированных устройствами и пользователями данных, так или иначе, будет анализировать бизнес.

Для автоматизации этого процесса используются платформы обработки и хранения данных, которые дают аналитикам огромные возможности по их глубокому изучению. Однако инфраструктуры таких платформ довольно сложно сопровождать — они содержат много компонентов и связей между ними. А у BI-специалистов свои задачами, им недосуг следить за тем, как, например, распаковывается JSON или извлекаются данные. Так что «платформа ищет человека». И находит его — в лице DataOps- и MLOps-инженеров.

Летом 2022 года стало окончательно понятно, что китайская корпорация SMIC освоила производство микросхем по техпроцессу 7 нм.

Хотя специализированные процессоры MinerVa7 Bitcoin (SHA256 ASIC) мало кому интересны, но здесь любопытен технологический аспект. Получается, что если Китай освоил такой техпроцесс, то может в условиях торговых ограничений наладить производство CPU общего пользования, не уступающих процессорам TSMC (Apple, AMD) и Intel предпоследнего поколения?

Сразу появились подозрения, что китайский техпроцесс SMIC 7 нм скопирован с техпроцесса TSMC N7 образца 2018 года. И встал вопрос, какую фотолитографию использует Китай, ведь у них нет доступа к современным степперам ASML.

Большое количество российских компаний столкнулись с ограничениями в области ПО. Они теперь не имеют возможности использовать многие важные инструменты для работы с данными. Но, как говорится, одна дверь закрылась — другая открылась. Альтернатива зарубежным решениям есть: платформу обработки данных можно создать своими силами. Расскажем, как мы в ITSumma это сделали, какие компоненты использовали, с какими ограничениями столкнулись и зачем вообще всё это нужно.

Предыстория (очень короткая)

Один заказчик, который заинтересовался нашими компетенциям в построении инфраструктур, предложил крупный интеграционный проект. Архитекторы клиента придумали сложную и большую платформу, которая включала в себя машинное обучение, обработку данных и управлялась с помощью Kubernetes. Нам поставили задачу реализовать проект платформы, настроить связность элементов, построить и запустить инфраструктуру в эксплуатацию.

В итоге всё прошло хорошо и заказчик доволен. А у нас возникла идея скомпоновать свою платформу — такую, чтобы она была доступной не только большому бизнесу, но и компаниям среднего и малого масштаба. То есть сделать так, чтобы можно было получать большие возможности и не платить при этом огромные деньги.

ИТ-индустрии нашего региона потребовалось некоторое время, чтобы осознать принципиальную разницу между DevOps и системным администратором, хотя путаница в вакансиях и описаниях продолжалась вплоть до конца десятых годов, а в отдельных случаях, мы уверены, девопсов принимают за сисадминов и по сей день. Однако развитие IT-сектора как в России, так и в целом по миру привело к следующему витку специализации сотрудников. И если DevOps возникли из-за необходимости увязать между собой разработку серверную часть и наладить пути доставки обновлений и коммуникацию между командами, то SRE — уже следующая ступень эволюции, с новыми требованиями по глубине скиллов и их комплекту.

RSS-агрегатор NetNewsWire

Мы уже обсуждали, насколько важен и удобен RSS для профессиональной работы с источниками в интернете. Это единственный способ собрать огромный массив данных с тысяч сайтов, соцсетей, блогов, твиттер-аккаунтов, торрент-трекеров и др.

Вся информация накапливается в личном агрегаторе, доступна в удобное время, в том числе офлайн. Никогда ничего не теряется. Это особенно актуально сейчас, в условиях информационной блокады, периодических отключений интернета и угрозы полного шатдауна.

Странная вещь: вот сайты (теперь не все, но всё ещё многие) отлично работают в браузере. Но только заходишь со смартфона, начинается цирк. Всплывающее окно — хотите открыть ссылку в приложении? В каком? У меня нет никакого приложения! Если случайно нажать «Да», то начнётся скачивание — и нативное приложение таки будет установлено.

Только для того, чтобы открыть одну страничку, которую могли давно показать в браузере.

Спрашивается, зачем? Зачем устанавливать на смартфон отдельное нативное приложение для каждого сайта? Очевидно, что маркетологи впаривают их не просто так. Похоже, это очень выгодное дело.

Научно-технический прогресс — это магистраль, которая ведёт в фантастическое будущее с неизведанными возможностями. Но с какой скоростью мы помчимся по этой магистрали — зависит только от нас. Мы можем вообще развернуться и двинуть в обратном направлении, как сделала европейская цивилизация 1500 лет назад.

Что мы видим сейчас в традиционных социальных иерархиях? Борьба за статус, власть, деньги, карму — всё это побочные эффекты нашей биологической природы. К сожалению, личное эго и предубеждения присущи и самым рациональным людям: инженерам и исследователям. Иногда такое ЧСВ мешает научному прогрессу.

Слева направо: эволюция датчиков КВЧ-излучения со встроенным радаром, источник: Google AI

Миллиметровые волны (ММВ) или крайне высокие частоты (КВЧ) — диапазон радиоволн с длиной волны от 10 мм до 1 мм, что соответствует частоте от 30 ГГц до 300 ГГц. Они используются в военных и полицейских радарах, сканерах безопасности, КВЧ-терапии для лечения многих болезней, астрономических инструментах.

Но сейчас наступает эпоха, когда радары миллиметрового излучения (mmWave, 60 ГГц) созрели для широкого коммерческого применения. Скоро их разрешат встраивать в обычные смартфоны. Это открывает кардинально новые возможности по использованию портативных гаджетов: распознавание жестов в автомобилях, дистанционный мониторинг сна, отслеживание перемещения всех людей в офисе и многое другое.

В нормальном состоянии префронтальная кора свободно осуществляет высокоуровневое мышление. При стрессе выделяется большое количество нейромедиаторов, которые активируют сети, связанные с миндалевидным телом (эмоции), блокируя префронтальную кору

Миша отличный программист. Для него сложная задача — как личный вызов. Он затихает, молча бродит с отсутствующим взглядом несколько дней… Пока его не прорвёт. Тут словно огонь загорается в глазах, парень светится как маньяк, и даже влюблённая девушка не вытянет его из кода поздним вечером. Реально гений.

Но есть проблема. Мишу трудно понять. Видно, что в голове куча мыслей и абстрактных концепций. Но выразить словами толком не получается. Все предложения словно кубики из разных конструкторов, которые никак не скрепляются в единое целое.

С усложнением бизнес-задач в компаниях усложняются и требования к корпоративной системе аналитики. С одной стороны, она должна быть удобной, как для обычных пользователей, так и для техперсонала. А с другой — безопасной и функциональной. Получится ли в этом случае быть одновременно и умным, и красивым? Попробуем разобраться.

В современных реалиях используются, в основном, 2 подхода к организации корпоративных информационных систем — это on-premise решения и on-cloud продукты. Рассмотрим каждый из них по отдельности и увидим, что получается, если объединить их.

Предположим, вы хотите опубликовать информацию для будущих поколений. Для потомков, которые будут жить через 500-1000 лет. Казалось бы, недолгий срок по меркам человеческой цивилизации. Но как надёжнее всего передать им информацию? В каком формате, на каком носителе? Где захостить этот сайт, в конце концов? Как оптимисты мы полагаем, что Интернет не исчезнет в техногенном фоллауте, население Земли не утратит способность читать, и это будут представители нашего вида.

После длительного обучения на конкретной кошке приложение MeowTalk распознаёт 13 фраз конкретно этого экземпляра. Учёные предполагают, что у котов нет общевидового языка

Микроскоп, показывающий микробов через камеру смартфона. Ультразвук от комаров через стандартный динамик. Детектор лжи по голосу собеседника. Переводчики собак и кошек на человеческий язык. И так далее, список бесконечный. Фейковые приложения Google Play — это чудесная смесь из креатива, жадности, невежества и будущего, которое ещё недостаточно распространилось.

Жадные до денег, но креативные разработчики цинично обманывают невежественных пользователей, продавая пустышку под видом конфеты. Бывают и более продвинутые случаи, когда разработчик действительно пытается создать нечто выдающееся, применив машинное обучение.

После утечки данных от Сноудена стало понятно, что АНБ собирает данные на всех граждан до совершения преступлений, а не на конкретных подозреваемых после преступления.

Аналогичную практику сбора разведданных на всех граждан до совершения преступления начали практиковать и в других странах, в том числе России. Речь идёт о длительном хранении интернет-трафика, сведений о перемещении, звонков, записей видеонаблюдения и т.д. Это очень удобно, ведь в случае необходимости найдутся улики практически на любого человека.

Разумеется, для быстрого поиска в таком огромном массиве данных требуется специальный софт.

Android Open Source Project — свободный проект. Однако в него очень глубоко проникла корпорация Google. К сожалению, всё больше API и библиотек Android теперь доступны только на смартфонах с предустановленными приложениями Google Apps (GApps). Таким способом Google эффективно привязывает сторонние приложения к своей закрытой экосистеме. В результате ряд популярных опенсорсных приложений уже не могут работать без библиотек Google.

По сути, Android представляет собой особый вид опенсорса типа «смотри, но не трогай», по модели Shared Source. Неудивительно, что набирают силу опенсорсные проекты, которые ставят целью полностью удалить Google из мобильной ОС. Один из последних примеров — прошивка CalyxOS, ориентированная на безопасность и приватность.

Месяц назад большой резонанс среди российских пользователей фейсбука вызвала заметка Ивана Замесина (сооснователь и CEO компании Focus Calendar) о том, что Москва и Санкт-Петербург стали мировыми лидерами по качеству цифровых продуктов и услуг. В первую очередь имеются в виду финтех, телеком, веб-сервисы и т. д. По словам Замесина, этот факт признают многие знакомые, которые «живут на несколько стран»:

«Необанки в приложениях для нас привычная реальность. Быстрый мобильный интернет стоит $10/мес. В Москве, Питере и миллионниках продукты приезжают за 15-20 минут… Няни, уборщицы, доставка, химчистка, ремонт, любые специалисты любой компетентности — всё оцифровано, качественно и в любой бюджет. — пишет Иван, выражая комплименты российской ИТ-отрасли и отечественным инженерам. — Возьмите похожие по концентрации людей города-страны: Сингапур, Голландию, Нью-Йорк, Лос-Анджелес. Там уровень сервисов и продуктов уровня Сызрани [nothing personal]».

Что ж, давайте проверим, насколько справедливы эти тезисы. Посмотрим объективные рейтинги по некоторым пунктам.

App Store — не единственный способ установки приложений для iOS. Раньше люди специально делали джейлбрейк, чтобы установить каталог Cydia. Но в последнее время появилось несколько сторонних каталогов, которые работают вообще без джейлбрейка. Удивительно, но Apple пока не ставит им палки в колёса.

Эти каталоги приносят реальную пользу, ведь здесь независимые разработчики свободно распространяют свои программы без комиссий и цензуры. Apple не может произвольно отзывать со смартфонов такие приложения. А люди получают более широкий выбор программ, включая эмуляторы Linux, независимость от производителя и реальное право владения.

Clumsy 0.2

Все распределённые системы — базы данных, мобильные приложения, корпративные SaaS и так далее — следует разрабатывать с учётом сбоев. Например, компания Stripe во время тестов убивала случайные инстансы — и смотрела, что произойдёт. Компания Netflix рандомно уничтожала инстансы прямо в продакшне с помощью программы Chaos Monkey (проект Simian Army).

Симуляция сбоев — необходимое средство тестирования. Проблема в том, что ситуации не делятся только на чёрное и белое, Есть огромная «серая» зона, где сбои явно не выражены, а проявляются в плохих условиях сети: ненадёжное соединение, узкий канал, потери пакетов, высокая задержка, дубликаты пакетов и так далее.

Безопасность важна. Никто не хочет выступать против безопасности. Поэтому все замалчивают проблему с npm audit. Но кто-то должен сказать.

Думаю, придётся мне.

npm audit работает принципиально неправильно. Проверка по умолчанию на каждый npm install — поспешный, непродуманный и неадекватный подход.

Слышали историю про мальчика, который часто кричал «Волк!»? Спойлер: в результате волк съел овец. Если мы не хотим такого итога, нам нужны лучшие инструменты.

На сегодняшний день npm audit — это пятно на всей экосистеме npm. Надо было исправить его с самого начала, но лучше поздно, чем никогда.

Как работает машина юридического вымогательства

Иллюстрация из судебного иска Altair Logix против SparkFun

SparkFun любит писать о разных юридических проблемах, с которыми приходится разбираться, будь то угрозы от Sparc International, вынужденная утилизация 4000 мультиметров из-за «неправильного» цвета или поддельные микросхемы. К сожалению, теперь пришло время поговорить о патентных троллях.

Поскольку некоторые мои зарубежные друзья при упоминании этой фразы улыбаются, то нужно пояснить: здесь ничего весёлого. Патентный тролль — это компания, специально созданная для покупки прав на несколько патентов и последующего судебного преследования всех, с кого можно получить деньги.

В формате JPEG XL это изображение занимает 59 байт

Оказывается, полным по Тьюрингу может быть не только язык программирования, но и графический формат. В частности, таким потенциально является формат JPEG XL, если отменить в нём ограничение на максимальный размер группы обрабатываемых пикселей.