Высоконагруженные системы *

Хранилище — один из базовых и важнейших элементов видеохостинга. Пользовательские фичи накладываются поверх библиотеки контента, которую нужно надёжно хранить и обеспечивать быстрый и бесперебойный к ней доступ. 

В этой статье расскажем, как устроено файловое хранилище RUTUBE с точки зрения SRE, как мы пришли к именно такой конфигурации и как она работает на наших объемах — сейчас это порядка 400 Пбайт и 2 млрд объектов. 

Корейский стартап FuriosaAI представил сервер NXT RNGD для ИИ-инференса. 4 петафлопса вычислений при потреблении 3 кВт вместо 10+ кВт у GPU-решений. Анализ архитектуры, преимуществ и перспектив альтернативы NVIDIA.

Не открою этой статьей никаких америк. Но опять же, обращаясь к нашему опыту и инцидентам просадки быстродействия систем, с которыми мы продолжаем сталкиваться в своей практике, назрела необходимость повторить матчасть и закрепить материал.

Сегодня хочу затронуть тему регламентного обслуживания баз данных MS SQL. А позже поговорим и про обслуживание баз PostgreSQL.

Проговорим на пальцах, не сильно погружаясь в руду, теоретические основы, практические рекомендации по планированию обслуживания для высоконагруженных систем, а также типичные ошибки, которых следует избегать.

Привет, Хабр!

Есть классическая боль очередей: скейлинг по факту отставания. Пока backlog вырос, пока HPA дотянулся, пока новые pod’ы прогрелись — SLO уже упал. Решение напрашивается: считать не сколько наваливается прямо сейчас, а сколько нужно серверов, чтобы вероятность ждать больше T была ниже целевого порога. Ровно это умеет Erlang-C пришедший из жизни колл-центров. Берём — интенсивность входа, — среднюю производительность одного воркера, целевой сервис-левел по ожиданию в очереди, и получаем требуемое число агентов c. Дальше превращаем это в desired replicas и отдаём в KEDA через External Scaler поверх gRPC. Получается предиктивный автоскейлинг, привязанный к SLO, а не к догоняющим метрикам.

В мире микросервисов десятки, а то и сотни сервисов живут своей жизнью. Каждый со своим адресом, своими правилами, своей аутентификацией. Для внешнего клиента это выглядит как город без улиц и указателей. API Gateway — это попытка навести порядок. Он становится единым фасадом, центральным КПП для всего вашего бэкенда.

Но эта простота обманчива. Внедрение шлюза порождает свой собственный набор сложных архитектурных проблем. Решить их неправильно — значит построить себе очень дорогую и хрупкую тюрьму.

Стоит ли бизнесу так дорого платить за искусственный интеллект?

По данным отчета McKinsey, 78% компаний внедрили хотя бы пилотные AI-решения. Но есть нюанс: реальную ценность получают далеко не все.

На первый взгляд — это революция. Но массовое внедрение далеко не всегда про эффективность. И для многих компаний ИИ остается скорее витриной для инвесторов и партнеров, чем реальным источником прибыли и оптимизации процессов.

Почему так происходит? Ответ станет очевиднее, если посмотреть на последствия первой волны энтузиазма.

Привет, Хабр! На связи снова Александр Токарев. И это третья часть из серии статей о том, почему в космосе нет дата-центров.

Во второй части мы разобрались, что главные барьеры для космических ЦОДов — вовсе не процессоры, а энергия, охлаждение, радиация и отсутствие устойчивых сетей. Но пока проекты с «настоящими» дата-центрами остаются в рендерах, в космосе уже крутятся рабочие вычисления. Давайте посмотрим, что из этого реально работает сегодня и какие горизонты впереди.

Представьте энергетическую систему международной космической станции — это комплекс солнечных батарей, аккумуляторов и другого оборудования. Его модернизация происходит постепенно, например, в 2019-2020 годах за пять выходов в открытый космос поменяли никель-водородные батареи на литий-ионные. Никто не будет менять такую систему одномоментно. Во-первых, это технически невозможно, во-вторых, слишком велика цена ошибки. Похожая ситуация с ключевыми корпоративными системами, которые отвечают за жизнеобеспечение бизнеса. 

Вопрос замены ERP актуален для многих компаний, так как требуется перейти на российское ПО или модернизировать технологии. На первый взгляд, задача может выглядеть неподъемной — масштаб проекта огромен, бизнес должен работать непрерывно, сроки и бюджет никто не отменял. Успех или провал во многом зависит от правильного выбора методологии замены ERP. 

В этой статье речь пойдет о разных подходах к миграции со старой ERP системы и вывода новой системы в эксплуатацию. Разберем, какие варианты существуют, в чем плюсы и минусы каждого, когда какой лучше использовать. 

Запускать в 2025 году свой майнинг-пул? Серьёзно? Все крупные игроки уже поделены, битва за хешрейт давно закончилась. Но наш клиент пришёл не за «очередным пулом». У него был парк в десятки тысяч ASIC-ов, разбросанных по разным уголкам планеты, и конкретная бизнес-задача — не просто майнить, а делать это с максимальной эффективностью и контролем. И он понимал, что типовые решения его не устраивают. Вот тут-то и началось самое интересное.

Сегодня ни один крупный проект в области машинного обучения (ML) не обходится без фреймворков — готовых наборов библиотек, в которых базовые алгоритмы уже оптимизированы для различных архитектур. Выбор правильного фреймворка не только упрощает разработку, но и определяет успех проектов по внедрению искусственного интеллекта.

В этой статье эксперты лаборатории искусственного интеллекта российской ИТ-компании «Криптонит» рассматривают самые актуальные фреймворки для машинного обучения, анализируют причины их популярности, ключевые области применения и тенденции развития. Аналитика строится как на собственном опыте, так и на данных специализированных источников, таких как GeeksforGeeks, Upgrad, Octal Software и других, чтобы предоставить аргументированный и непредвзятый обзор.

Мы разделили обзор на две части. В первой рассматриваются фреймворки для глубокого обучения. Они ориентированы на построение и обучение нейронных сетей, в том числе сложных архитектур, таких как свёрточные модели и трансформеры. Вторая часть посвящена фреймворкам для классического машинного обучения. Они используются для работы с моделями, основанными на регрессии, решающих деревьях, методах ансамблирования (например, бустинг) и других алгоритмах без использования глубоких нейросетей.

Если спросить клиентов, они назовут Виктора гением. Настоящим, недооценённым, всё как положено. Если спросить коллег, Виктора назовут везучей бестолочью, без надлежащего образования, знаний, навыков и вообще. Если спросить начальство и продавцов, то Виктор окажется затычкой последней инстанции — к нему обращаются в последнюю очередь, когда никто другой не справился. Потому что на работе Виктора не получается заработать.

Виктор — программист 1С, который, помимо прочего, увлекается решением задач производительности. Всё, что начинается с «у нас 1С тормозит» или «1С вылетает» — любимый десерт Виктора. Судя по тому, что он мужчина весьма худой, нетрудно догадаться, что десерт ему достаётся редко. Почему?

Потому что, положа руку на сердце, Виктор очень плохо разбирается в деталях производительности. Он понятия не имеет, что такое индексы и индексирование. Он никогда в жизни не видел план запроса. Не знает ни одной модели процессора, памяти, чем отличается DDR2 от DDR3, как считается APDEX, какой должна быть скорость передачи данных между СУБД и серверной частью приложения и т. д. Ну, вы поняли. Любой мало‑мальски подготовленный специалист по производительности заткнёт Виктора за резинку трусов.

Но Виктор решает задачи производительности. Решает! Быстро и дёшево. Крайне редко рекомендует потратить денег на апгрейд железа или ПО (раз 5 за 20 лет практики). Максимальная сумма, которую Виктор предъявил клиенту за решённую задачу, примерно равна минимальной сумме, которую называют сертифицированные эксперты — а они называют сумму за предварительный анализ, который проблему только выявит (скорее всего).

Правда ведь, Виктор — исключительный? Нет, конечно. Это я его так назвал. Потому что Виктор знает один метод решения проблем производительности — метод исключения.

В первой части мы разобрали базовые задачи спутников, энергообеспечение и охлаждение — всё то, без чего невозможно построить орбитальный дата-центр. Но даже если с энергией и теплом удастся справиться, остаются не менее жёсткие барьеры: радиация, обслуживание и связь. Именно они определяют, как долго прослужит «космическое железо» и сможет ли оно вообще обмениваться данными с Землёй.

На связи Александр Токарев, CTO группы компаний Voxys. В этой статье — подробнее о главных ограничениях, мешающих запустить дата-центры в космосе.

Пользователям нужны данные в реальном времени, а не с задержкой в сутки, но законы физики против. Ведь огромные объёмы информации нужно передавать по нестабильным каналам связи, да ещё и на ограниченный по периодам наблюдений наземный сегмент.

В этой серии статей разберёмся, почему на орбите до сих пор нет полноценных дата-центров, какие технологии приближают их появление, а что всё ещё остаётся фантастикой. Поговорим о лазерах и ретрансляторах, о проектах Китая, США и России, и реально ли охлаждать серверы в космосе.

Перевести CRM-систему с тысячами пользователей на полностью российский стек — звучит как вызов? Мы тоже так подумали. Но теперь можем точно сказать: это возможно, и более того — это работает.

Команда Альфа-Банка с нашей поддержкой перенесла CRM-платформу, которую используют сотрудники в отделениях по всей стране, на Axiom JDK и контейнеризовала её с помощью Axiom Runtime Container.

Высоконагруженная система ежедневно обслуживает более 20 000 сотрудников банка, работает в сотнях отделений — и всё это без внешних зависимостей и с полной технологической автономией.

Всем привет! Пополняю интернеты «еще одной» статейкой с бенчмарками популярных СУБД. Захотелось выяснить, каков оверхед на протокол, работу с сетью и клиентскими соединениями в самом простом кейсе — когда таблица либо совсем пуста, либо данных так мало, что все они в памяти.

Бенчмарк на Rust. Я попросил написать его Chat‑GPT, и он отлично справился.

Исходник здесь

Сравнивал с официальными scylla‑bench и redis‑bench — результаты схожи.

Для теста я специально использовал слабую железку — Orange Pi 3b. Это китайский аналог малинки. Захотелось узнать, на что она способна.

Сегодня я хочу рассказать вам об одном из вариантов доставки событий для распределённого приложения на Java.

Это доставка событий через БД, в которой хранится состояние распределённого приложения.

Меня зовут Арсений Савин, и я знаю, как бороться с вредоносными ботами. Почти два года я занимаюсь разработкой веб‑скраперов в компании Effective, и хорошо изучил, как они работают — и как их остановить.

За время реализации этого проекта я столкнулся с огромным количеством разнообразных и неочевидных способов скрапинга, о защите от которых я расскажу в этой статье. План такой: сначала разберём, что такое веб‑скрапинг и какие бывают типы ботов, а потом — то, чем чаще всего они выдают себя, и какие методы защиты от них действительно работают.

Эта статья написана по докладу для конференции Saint Highload++ и носит исключительно ознакомительный характер. Она создана для изучения уязвимостей веб‑сайтов в целях повышения устойчивости к атакам злоумышленников. Любые попытки несанкционированного доступа, взлома или нарушения работы сайтов — противоправны и преследуются по закону.

Привет, меня зовут Анатолий, я руковожу группой нагрузочного тестирования в ЮMoney. Началась осень, и не за горами сезон распродаж: магазины уже готовятся к пиковым нагрузкам, продумывают акции и спецпредложения, обновляют ассортимент, договариваются с поставщиками. ЮKassa, наш сервис электронных платежей, тоже в ожидании сезона скидок. В этой статье я расскажу, как мы к нему готовимся, что помогает нашей системе выдержать пиковые нагрузки и как сделать так, чтобы все клиенты остались довольны.

Речь пойдёт о микроконтроллере (МК) STM32H745IIT6, в корпусе LQFP — 176, с ядрами Cortex‑M4 240 МГц и Cortex‑M7 480 МГц. Далее я буду ссылаться на официальную документацию STM — RM0399 Reference Manual Rev. 4 и DS12923 Rev. 2 Datasheet STM32H745xI/G.

Что тут может быть сложного, спросите вы. В наш век IDE всё же решается автоматически? Нужно лишь нажать на кнопку? Но нет, не в этот раз, и не с родной средой производителя CubeIDE V1.18.0, куда интегрирован конфигуратор CubeMX 6.14.2. Для начала рассмотрим концепт масштабирования напряжения, или Voltage Scaling (VOS). Это означает, что чем выше тактовая частота, тем больше напряжения нужно ядру, и направлено на снижение потребляемой мощности, и соответственно, разогрева чипа. Отключить этот функционал нельзя. Соответствие между напряжением питания ядра VOS и тактовой частотой представлено в Таблице 1 ниже.

Привет, Хабр!

В современном поиске всё чаще используется поиск «по смыслу» с помощью векторных эмбеддингов. Вместо привычного анализа текста по словам мы представляем документы и запросы в виде многомерных векторов и ищем ближайших соседей по евклидовому или косинусному расстоянию. Это позволяет, например, находить документы, схожие по смыслу, а не только по точному совпадению слов. В Elasticsearch поддержка такого поиска реализована через поле dense_vector и алгоритм HNSW (Hierarchical Navigable Small World) для быстрого приближённого поиска ближайших соседей.

В этой статье разберём, как настроить индекс с векторным полем, добавить документы с векторами и выполнять запросы kNN с возможностью фильтрации по дополнительным атрибутам.