Хранение данных *

В 2019 году центральная BI-команда нашей компании столкнулась с типичной задачей: как небольшой командой разработчиков обеспечить качественную аналитику для тысяч сотрудников в условиях быстро растущего бизнеса и высокой самостоятельности подразделений?

Мы сделали ставку на модель self-service BI: инструмент передали бизнес-пользователям, чтобы они могли сами строить отчёты. Идея «демократизации данных» поначалу казалась удачной. Но без чётких правил, стандартов и контроля всё быстро превратилось в BI-хаос: тысячи разрозненных отчётов, низкая производительность, противоречивые метрики и перегруженная инфраструктура на Premium P3. Пользователи жаловались, доверие к BI падало, а управлять этим потоком становилось всё сложнее.

В этой статье мы — Ринат Хабибрахманов, руководитель практики BI в Лемана Тех, и Лариса Фернандес, ведущий разработчик аналитических систем, — делимся опытом нашей команды. Расскажем, как мы шаг за шагом внедряли процесс ревью Power BI-отчётов, чтобы вернуть контроль, улучшить качество аналитики и восстановить доверие пользователей к BI-системе.

Ключевым шагом стало внедрение процесса ревью. Ниже подробно разберём, зачем он понадобился, какие цели мы ставили и как его организовали.

Нужно нарастить мощность без лишнего CAPEX? Разбираем, как вторичный рынок серверов превращается из «плана Б» в стандарт: 50–80% экономии, недели вместо месяцев, совместимость с российскими ОС. Плюс: чек-лист приёмки, таблица конфигураций и как провести пилот, чтобы спорить цифрами, а не мнениями.

Привет, Хабр! Я Саша, в Хайстекс отвечаю за B2B-продажи и давно работаю с облаками и бэкапом. В этой статье хочу рассказать о подходе, который, на мой взгляд, помогает закрыть одну из самых болезненных задач в этой области. 

При работе с облачными сервисами часто приходится идти на компромисс: либо хранить дешево, но восстанавливать долго, либо платить за скорость. Допустим, у одного eCommerce-сервиса внезапно упал гипервизор, с ним ушли в офлайн несколько ВМ. Все бэкапы хранились в S3-объектном хранилище. Чтобы восстановить ВМ придется разворачивать ее из архива. На все в среднем уходит около 40 минут. Все это время система заказов лежит, а бизнес считает убытки. С Double Storage мы сделали так, что время восстановления сократилось до 6-8 минут. Что это за технология, как она работает и почему с ней действительно проще – разберём под катом. Технические подробности можем разобрать в комментариях, если будет интерес.

Как вы храните данные? Используете файловое хранилище, S3, базы данных, держите файлы прямо на сервере, храните все локально на HDD, SSD или даже флешке — вариантов масса, на любой вкус и цвет. В этой статье я предлагаю вспомнить, как развивалось хранение информации и как мы прошли путь от наскальной живописи до приватного S3. Это поможет разобраться, какую технологию лучше использовать для ваших задач. 

Когда я писал статью про китайских шагающих роботов, переносящих целый квартал, то обратил внимание на то, как сложно искать информацию по китайским компаниям. Понятно, что для внешних поисковых систем ссылки на китайские источники крайне ограничены, но внутренний поиск по тому же Baidu также выглядит скупым и как будто цензурированным. Позже мне попалась статья о массовом исчезновении китайских ссылок периода 1998-2005 года, что только укрепило желание покопаться в этом феномене поподробнее.

Итак, предыстория: китайский блоггер Хэ Цзяянь решил написать статью, посвященную Джеку Ма - опальному основателю Алибаба и Алипэй. Он задал временные рамки 1998-2005 годов и получил ровно один результат, и то отнесенный к этому периоду ошибочно. Изумленный (давайте использовать это слово) Хэ лезет в Google и получает чуть больше результатов, но все равно их катастрофически мало (важное уточнение: поиск идет по иероглифам 马云, тогда как английское написание дает кратно большую выдачу). Хэ Цзяянь пишет об этом целое эссе, которое исчезает через 20 часов. 

В этой статье вы увидите вики, открытые для сети (намеренно или нет неважно). Заглянем в чужие вики, чтобы посмотреть как они устроены, какие у них есть фишки, и как люди упорядочивают информацию

Надела осень свой наряд, а у нас железный дайджест за прошлый месяц. Какие новинки серверного железа вышли на рынке расскажу я, Сергей Ковалёв, менеджер выделенных серверов в Selectel. Подробности в дайджесте, приятного чтения.

Привет! Я руковожу группой технической поддержки и сопровождения в компании «Онланта». Наша команда заметила, что в процессе эксплуатации All‑Flash систем хранения данных OceanStor Dorado 5000 V6 примерно после двух и более лет в работе начинают проявляться дефекты, которые потенциально могут повлиять на доступность данных и работу СХД в целом.

Одна из таких проблем — встроенные M2 SATA SSD накопители. Они используются и как системные, храня на себе ОС контроллера, и как конфигурационные базы данных, и как Coffer — диски, куда сбрасывается Write‑cache при аварийном отключении системы, пока BBU (модуль резервного питания) обеспечивает работу оборудования.

В этой статье — рассказ о том, как мы анализировали, решали и предотвращали подобные неприятности.

Перевод статьи Патрика Косса о том, как ИИ, edge-компьютинг, serverless и мультиоблачные стратегии меняют облачную инфраструктуру. Автор подчеркивает, что речь идет не о постепенной эволюции, а о настоящей трансформации, которая уже влияет на стратегию крупнейших компаний и задаёт новые правила игры.

Индустрия облачных вычислений переживает свой самый трансформационный период: интеграция искусственного интеллекта стимулирует беспрецедентный рост и меняет то, как компании подходят к цифровой инфраструктуре.

Новые данные показывают, что глобальные расходы на публичные облачные сервисы достигнут $723,4 млрд в 2025 году, что составляет рост на 21% по сравнению с $595,7 млрд в 2024 году.

Этот всплеск связан с тем, что всё больше организаций обращаются к облачным сервисам с поддержкой ИИ: уже 72% компаний используют платформы генеративного ИИ, и эта тенденция кардинально меняет распределение ресурсов и стратегические приоритеты в разных отраслях.

Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.

Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.

В этой статье мы рассмотрим 8 практических кейсов, основанных на реальных проблемах, с которыми сталкиваются администраторы систем хранения данных, и покажем, как модуль «СХД» DCImanager мог бы их решить. Каждый кейс демонстрирует конкретные возможности модуля и объясняет механизм решения проблемы.

Когда-то каждую машину в корпоративных серверных мы знали по имени, слышали, как она дышит, и гордились аптаймом, измеряемым сотнями дней. Но за этой романтикой стояли ночи без сна, куча ручной работы и горы проводов. Сегодня же целый ЦОД умещается в несколько сотен строк конфигурационного кода. В статье — о том, как к этому пришла индустрия и как вместе с моделями менялся портрет типичного сисадмина. 

Когда я работал Reddit и отвечал там за инфраструктуру, самой важной поддерживаемой системой для меня была Postgres, а на втором месте стоял брокер сообщений RabbitMQ. Он был необходим для работы Reddit — перед сохранением в базу данных все данные поступали в распределённую очередь. Например, если пользователь лайкал пост, то это записывалось в очередь и кэш, а затем пользователю передавалось сообщение об успешном выполнении. Затем программа обработки очереди брала этот элемент и пыталась записать его в базу данных, а также создать новую рабочую операцию для пересчёта всех списков, на которые влияет этот лайк.

Мы использовали эту архитектуру очередей задач, потому что она была простой, масштабируемой и обладала мощными возможностями:

Мы продолжаем исследовать работу протокола RDMA в СХД Qsan, начатую в предыдущей статье. Безусловно, самым интересным эффектом от применения данного протокола в разрезе его использования для доступа к данным является возможный прирост производительности. По крайней мере идейная составляющая самой концепции протокола RDMA на это недвусмысленно намекает. Так ли это на самом деле?

Кажется, что эра жёстких дисков уже позади. SSD вроде и не снесли их с рынка полностью, но конкуренция серьёзно качнула позиции HDD — и понятно почему: когда у тебя в руках решение быстрее, тише и прогрессивнее, старичку сложно тягаться. Если говорить просто: жёсткие диски большие, тряску не любят, ноутбуки почти их не используют. И да, скорость у них уступает SSD, поэтому для запуска ОС или тяжёлых задач они не вариант.

Но, сюрприз — HDD до сих пор живы, их покупают, особенно там, где важна ёмкость и цена. Так что же удерживает их на плаву и как развивались технологии хранения — узнаете под катом.

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.

Система хранения данных — сложный продукт, и тестирование должно ему соответствовать: быть современным и эффективным, обеспечивать надежность и стабильную работу. Как добиться такого результата с помощью кастомного фреймворка для автоматизации и интеграционного тестирования? Обсудим 18 сентября на митапе для QA-инженеров.

Присоединяйтесь к инженерам YADRO и MWS Cloud Platform в Санкт-Петербурге и онлайн — для участия достаточно зарегистрироваться на сайте.

Серверные не могут существовать без стандартов и правил, но именно там рождаются чудеса инженерной мысли. Когда ломается кондиционер, протекает крыша или не хватает стоек, приходится изобретать на ходу — из синей изоленты, металлических уголков и даже мусорных пакетов. Однако многие «колхозные» решения работают годами. В статье расскажу о тех, которые встретил на просторах инета. Ваши истории, как всегда, жду в комментариях. 

В предыдущей статье мы рассмотрели, как система Документы способствует выстраиванию процесса управления документацией в административно-хозяйственном отделе (АХО). На этот раз мы рассмотрим отдел кадров.