Хранение данных *

Привет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy!

Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа.

В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.

Меня зовут Максим Копосов, я руководитель компании «Промобит». 16 лет назад мы начали разрабатывать российские системы хранения данных и другую вычислительную технику. Сегодня делаем СХД на отечественных и зарубежных процессорах, создаем оригинальное ПО для них. Наши инженеры находятся в постоянном поиске, и поэтому появляются собственные исследования, одним из которых сегодня хочу поделиться с вами. Это отчёт о тепловом моделировании систем хранения данных в области массива накопителей. В нем были оценены температурные режимы ключевых компонентов системы, таких как накопители (HDD формата 3.5 дюйма и SSD формата 2.5 дюйма) и PCIe-свитчи, при различных условиях эксплуатации. Измерения проводились на нашей СХД серии 4100.

Если этот материал покажется вам интересным, буду рад обратной связи в комментариях, и продолжу знакомить вас с исследованиями.

Вы разработчик, проект растет, код пишется легко. И вот уже готово приложение, и вы хотите поскорее показать его заказчику, коллегам или пользователям. Но вместо этого приходится копаться в Kubernetes, настройках кластеров и балансировщиков. Знакомо?

Я Никита Корольков из Cloud.ru, и сегодня покажу, как без лишних сложностей и запуска виртуальных машин развернуть проект в облаке с помощью Evolution Container Apps и при этом не потерять данные, даже если вы не DevOps.

Картинка Freepik

Вряд ли настоящая «вечность» возможна в нашем переменчивом мире (ну, если только мы не говорим об элементарных частицах, но это уже «совсем другая история»), однако существуют варианты достаточно устойчивых систем, которые затруднительно обрушить или забанить — и речь сегодня пойдёт об интересном примере таких конструкций: децентрализованных сетях хранения сайтов/файлов.

Отсутствие центрального сервера, распределённая архитектура — всё это делает устойчивость сети достаточно высокой. Рассмотрим существующие идеи в этой области…

Заголовки разделов рассказа ниже являются активными ссылками, нажав на которые, можно перейти на сайты соответствующих проектов.

Спрос на локальное оборудование для центров обработки данных снижается по мере того, как организации переносят рабочие нагрузки в облако. Но локальные решения не исчезли, и одним из востребованных сегментов является гиперконвергентная инфраструктура (HCI).

Меня зовут Михаил, я работаю в Magnit Tech и занимаюсь внедрением 1C платформы на операционную систему Linux. В этой статье я расскажу, как реализовать создание резервных копий бакетов S3-совместимого объектного хранилища MinIO.

(Сразу дам спойлер: нам удалось это сделать с наименьшими затратами места на диске с использованием инкрементальных бэкапов).

Самозанятые и ИП в большинстве своем являются операторами персональных данных. Да, даже в том случае, если нет сайта, нет рассылки. Мы по умолчанию становимся операторами просто оказывая услуги своим клиентам и так или иначе обрабатывая персональные данные клиентов.

Операторы обязаны подавать уведомление в РКН до начала обработки персональных данных. Это старая норма, нет, она не появилась только в этом году. Просто до 30 мая действовали старые штрафы (около 500 рублей), а с 30 мая появилась отдельная статья за неподачу уведомления и стали действовать новые:

В марте 2025 года Sitronics Group опубликовала прогноз: к 2030 году рынок модульных дата-центров в России вырастет в 2,5 раза — с текущих 1,5–2 до 4,3 млрд рублей. Среди причин называют нехватку мощностей, рост нагрузки на ИТ-инфраструктуру и смещение приоритетов на гибкость и скорость развёртывания.

Несмотря на малую распространенность, модульные ЦОДы уже работают на добыче, в госсекторе, у ритейлеров и телекомов. Их ставят не ради моды — а потому что быстро, изолированно и под контроль.

В статье расскажу, что стоит за цифрами, какие технологии двигают сегмент, где уже применяют МЦОДы и почему их развитие упирается не в «железо», а в нормативку и логистику.

Рассказываем про индивидуальный подход как основу успешного проекта DWH и делимся реальными кейсами внедрения:

✔️ Кейс 1. Свой коннектор к Oracle: когда Debezium подвел​
✔️ Кейс 2. Миграция с Qlik: DWH между командами (в условиях командной фрагментации)​
✔️ Кейс 3. Бюрократия против DWH: проект в около-госсекторе

Привет, Хабр!

Я из тех людей, которые любят записывать важные моменты, чтобы снизить уровень тревожности и ничего не забыть. При попытке завести электронное хранилище я столкнулась с множеством проблем: какие-то приложения ушли из России, для каких-то требуются иностранные карты или пришлось бы смириться с отсутствием синхронизации информации на ноутбуках и смартфоне.

Но я нашла решение. И в этой статье хочу поделиться своей историей перехода на электронную базу личных заметок Obsidian. Расскажу, почему выбрала этот сервис и как синхронизировала несколько устройств между собой.

Привет, Хабр! Однажды я проводил небольшое тестирование виртуалок различных хостер-провайдеров и сравнивал их между собой — оказывается, с тех пор прошло уже аж пять лет. Ну и в том тестировании условия у всех серверов были одинаковые, т. к. тестировались сходные конфигурации.

Сегодня хотел бы рассказать о том, как себя ведут самые дешёвые (в ценовом диапазоне от 100 до 300 рублей) предложения от популярных хостеров. 

Ссылки в Linux — это мощный инструмент, позволяющий указывать путь к файлам и каталогам. Существует два основных типа ссылок: жёсткие ссылки и мягкие ссылки (вторые также известны как символические ссылки или симлинки). Понимание различий между этими двумя типами поможет вам эффективно управлять файловой системой.

Скорость современных NVMe SSD уже давно превышает потребности обычного пользователя. Топовые накопители PCIe 4.0 выдают до 7 ГБ/с, а новые PCIe 5.0 модели разгоняются до 14 ГБ/с. Обычному пользователю такие цифры и в страшном сне не привидятся. Но есть сферы, где даже этого будет катастрофически мало. Попробуйте поработать с 8K RAW в реалтайме или натренировать нейросеть на терабайтах данных — в целом, наверное, получится, но вам точно не понравится. А чтобы понравилось, как раз и была разработана RAID-карта, способная объединить четыре накопителя PCIe 5.0 в единый массив со скоростью свыше 50 ГБ/с.

Бизнес – такая штука, где все нужно считать. Я не только о расходах, выручке и чистой прибыли: это классика. Если у вашей компании есть сайт, то с большой долей вероятности вам искренне любопытно знать, сколько посетителей на него заходит, что их привлекает больше всего, что их совсем не интересует и т.д.

И это стремление мне абсолютно понятно: смысл оплачивать содержание площадки, которая никак не помогает вашему делу развиваться?

Для фиксации и учета всего, что происходит на сайте компании, используются метрические программы. Многим удобен сервис Google Analytics, но у него есть один большой недостаток – он зарубежный.

Если требуется проверенное решение для резервного копирования, можно обратиться к услугам специализированных поставщиков. Например, такой сервис для защиты и восстановления данных и ИТ-систем предоставляем мы в MWS. Однако существуют и необычные подходы к созданию и хранению бэкапов: с перфокартами, магнитными лентами и даже блокчейном. C ними может быть интересно поэкспериментировать.

Привет! Продолжаем понемногу рассказывать о том, как мы строим собственные ЦОД. Под катом — пятая часть истории. О предыдущих этапах строительства и других интересных событиях рассказывали тут: раз, два, три, четыре.

YDB — это разработанная в Яндексе распределённая СУБД с открытым исходным кодом, предназначенная для построения высоконагруженных систем. Разработка СУБД, особенно таких масштабных, как YDB, считается одной из самых сложных и ресурсоёмких задач в IT-индустрии. Для её решения от программиста требуется большой опыт и разносторонние знания в области алгоритмов, операционных систем и компьютерного железа. Тем не менее у студентов есть возможность внести свой вклад в развитие различных подсистем YDB. 

Меня зовут Виталий Исаев, я занимаюсь разработкой федеративных возможностей YDB — в этой области вклад студентов в развитие YDB чувствуется особенно сильно. В статье я расскажу о том, как в Яндекс Образовании удалось выстроить процесс совместной работы со студентами: они получают ценный, реальный опыт работы над сложным продуктом, а опенсорс-сообщество YDB — новые фичи. А ещё опишу задачи, которые им приходится решать, и, конечно, поделюсь наиболее яркими их результатами. 

Всем привет! Хочу поделиться опытом применения одной из редко используемых, но полезных функций Elasticsearch, которую успешно применили в одном из проектов. Речь пойдет о векторном поиске...