Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей.
Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon.
Привет, Хабр!
Всем хорош Data Vault, однако схватиться с ним «врукопашную», используя только SQL, захочет не каждый. Останавливает большой объем ручных операций, а также большой объем деталей реализации. Большое количество join, за которые критикуют Data Vault, не является определяющим моментом, так как уже сейчас базы данных способны их эффективно обрабатывать, а с течением времени мощность серверов только возрастает.
Но творческая мысль не дремлет, постепенно появляются инструменты для автоматизации построения Data Vault. Например, это пакет AutomateDV для dbt, графическая надстройка над ним Datapulse, построение модели DV в BI.Qube.
Data Vault меня заинтересовал — уж много плюшек он сулит, и для его изучения я занимаюсь проектом asapBI — low‑code IDE для моделирования DWH. Требования к создаваемой системе я описал на сайте asapbi.ru. Их достаточно много, поэтому не буду их тут перечислять.
Сегодня я хотел поделиться графическим интерфейсом для создания хабов, линков и стеллитов.
Когда дело доходит до управления знаниями и организации мыслей, Obsidian стал настоящим открытием для многих, превратившись из простой программы в "второй мозг". Однако его основное преимущество - локальное хранение данных - может стать и главным недостатком, особенно когда требуется синхронизация заметок между различными устройствами и операционными системами, такими как iOS, MacOS и Windows.
В этой статье мы подробно рассмотрим различные подходы к синхронизации Obsidian, основываясь на опыте пользователей и доступных решениях. Спойлер: наименее сложным и эффективным решением для пользователей Apple-устройств с Windows оказался iCloud.
В этом обзоре мы познакомимся с новым продуктом компании Киберпротект – Кибер Хранилище. Это простая в эксплуатации универсальная, система хранения данных, работающая на базе стандартного серверного оборудования архитектуры x86-64 с установленными дисками HDD, SSD или NVMe.
Кибер Хранилище поддерживает основные протоколы хранения: iSCSI, NFS и S3, интегрировано с системой резервного копирования Кибер Бэкап и сервисом Кибер Бэкап Облачный, поддерживает возможность неограниченного масштабирования и реализации географически распределенных решений.
Программисты, ежедневно решающие задачи оптимизации запросов и управления большими объемами данных, неизбежно сталкиваются с необходимостью освоения новых методов организации данных. Поэтому сегодня предлагаем поговорить об автоматизации партиционирования как об эффективном варианте решения.
Запишите эту дату где‑нибудь между дедлайном релиза и списком багов: 7 июля 2025 года. Именно в этот день опубликован Федеральный закон № 214‑ФЗ, который усилил ответственность за нарушение исключительных прав авторов и владельцев интеллектуальной собственности в России. Срок до старта, казалось бы, комфортный — январь 2026-го. Но если вы когда‑нибудь пытались собрать согласования от трёх департаментов, то знаете: время разлетается, как кофе по клавиатуре. И на проработку и уточнение внутренней стратегии по защите активов не остаётся ничего.
Почему это вообще важно? Для айтишников, владельцев стартапов, компаний на стыке технологий и контента всё это — не просто юридический шум. Теперь даже небольшие недоработки в бумагах или халатное отношение к лицензиям обойдутся сильно дороже: многомиллионные компенсации, суды, заблокированные проекты, увольнения ключевых людей. Да, звучит как очередная страшилка. Но если вы хотите защитить свой продукт, команду и бюджет — пришло время разобраться и настроиться.
🧠 Что скрывается под капотом Synology NAS? Мы привыкли считать его удобным и простым решением «всё‑в-одном», но на самом деле это сложная система с десятками собственных слоёв, интерфейсов и оптимизаций. Рассмотрим его возможности!
Слишком многие люди преступно пренебрегают резервным копированием. Из-за заблуждений в этой области теряется слишком много данных; это связано и с ошибочными техниками наподобие «бэкапов Шрёдингера» (то есть никогда не тестируемых, а значит, валидных и невалидных одновременно), и с концептуальными заблуждениями о том, что такое бэкапы и как они работают (RAID — это не бэкап!).
Сегодня о резервном копировании зачастую думают по остаточному принципу. Многие полностью полагаются на «облако», не задаваясь даже вопросами о том, каким образом защищаются их данные. Большинство упускает из виду, что даже крупные поставщики облачных услуг работают по модели коллективной ответственности. В условиях пользования они часто подчёркивают, что, несмотря на обеспечение ими безопасности инфраструктуры, в конечном итоге ответственность за защиту и резервное копирование данных лежит на пользователях. Когда хранишь всё «в облаке», в кластерах, которыми владеют другие компании, или в распределённых системах Kubernetes, бэкапы часто кажутся ненужными. Иногда я спрашиваю коллег или разработчиков о том, как они реализуют резервное копирование, и они смотрят на меня так, как будто я говорю на каком-то древнем забытом языке. Они попросту никогда об этом не задумывались. Но данные не эфемерны, их необходимо защищать любыми возможными способами.
Я всегда исповедовал такую философию: данные обязаны быть восстанавливаемыми (и как можно быстрее), целостными и храниться в открытом формате (чтобы для их восстановления или анализа не приходилось покупать что-то). Эти пункты могут показаться очевидными, но на деле это не всегда так.
Привет! Меня зовут Евгения Тарашкевич. Я инженер из группы эксплуатации К2 Cloud, и моя специализация — системы хранения данных. Сегодня хочу поделиться с вами опытом и знаниями о работе с объектным хранилищем S3.
Эта статья будет полезна инженерам, которые только начинают работать с ним, и тем, кто уже использует его в продакшене, но хочет структурировать знания и разобраться в типовых проблемах.
Истина рождается в споре, а инсайты приходят во время общения. Помня об этом, я решил провести интервью с искусственным интеллектом и спросил у модели о том, как бы она спроектировала ЦОД и что нам ждать в ближайшем будущем. Вопросы сформулировал я, а ответы писал ChatGPT–4о. В некоторых местах текст дополнен моими ремарками и обоснованием от чат-бота. Если интересно, приглашаю под кат, а промпт в конце текста.
Вам знакомо это чувство лёгкой паники, когда ваш ноутбук внезапно начинает жалобно пищать, а на экране возникает зловещее предупреждение: «Диск почти заполнен»? Со мной это тоже недавно случилось. Я открыл «Проводник» и остолбенел – мой внешний диск на 1 ТБ был забит под завязку – на 95%!
Виновниками оказались не фильмы и не игры, а гигантское кладбище фотографий. Двенадцать папок с безликим именем «DCIM», горы скриншотов, которые я копировал по пять раз «на всякий случай», и целые россыпи почти одинаковых снимков заката, сделанных в режиме серийной съёмки. Попытка вручную найти идентичные фото напоминала поиск иголки в стоге сена размером с Сибирь.
В предыдущей статье я разбирал, как лучше сортировать фото, и ещё тогда я понял: пора объявлять войну дубликатам. И вот этот момент настал. После тестирования более 15 инструментов (и кучи потраченных нервов) я отобрал 5 бесплатных программ, которые реально помогают решить проблему. Этим опытом и поделюсь.
Недавно компания HighPoint представила первый RAID-адаптер с поддержкой четырех M.2 SSD. Решение ориентировано на рабочие станции, edge-вычисления и системы, критичные к скорости хранения.
И кажется, среди июньских новинок не только диски заточены под работу с ML. Например, компания Broadcom начала поставки Tomahawk 6 — чипа для Ethernet-коммутаторов, производительность которого составляет более 102 Тбит/с, что в два раза превышает возможности текущих решений! Конечно, эта новинка тоже создана с прицелом на инфраструктуру ИИ.
Привет, Хабр! Меня зовут Сергей Ковалёв, я менеджер выделенных серверов в Selectel. В новом дайджесте рассказываю, какое железо представили вендоры в июне. Подробности под катом!
Время мчится с бешеной скоростью. Кажется, что релиз этой операционной системы был совсем недавно, а на самом деле прошло уже 18 лет. За это время мир не раз менялся, а вместе с ним изменились и потребности пользователей. Сегодня с высоты прожитых лет попробуем разобраться, что пошло не так в развитии Windows Home Server (WHS) и почему перспективный изначально проект в итоге свернули.
Современный бизнес стремительно внедряет технологии искусственного интеллекта — от автоматизации процессов и анализа данных до создания инновационных продуктов на базе генеративного ИИ. Однако для эффективной работы AI/ML алгоритмов требуются специализированные вычислительные системы, способные обрабатывать колоссальные объемы данных с использованием параллельных вычислений.
В условиях растущего спроса на высокопроизводительные решения и необходимости технологической независимости российские компании все чаще обращаются к отечественным производителям. ITPOD, входящий в корпорацию ITG, представляет флагманский сервер ITPOD-SY4108G-D12R-G4 — мощную вычислительную платформу, специально разработанную для самых требовательных задач искусственного интеллекта и машинного обучения.
Привет, Хабр! Меня зовут Павел Кишеня, я тимлид группы системных администраторов IT-инфраструктур в группе Рунити. Зачастую к нам приходят заказчики с довольно высоконагруженными проектами, хранящими большой объем информации — всё это потребляет много места. Наша задача не только хранить эти данные, но и эффективно их использовать.
В этой статье поговорю о том, как компании выбирают системы хранения данных. Кто-то строит IT-инфраструктуру на классических аппаратных СХД, а кто-то уходит в кластерные решения на базе Ceph и других open-source решений. Сравню подходы и покажу, в чем плюсы и минусы каждого из них. Также поделюсь практическими кейсами переноса кластеров SSD на гибрид и добавления Ceph смешанного пула.
Когда вы слышите «облачный провайдер», что первое приходит в голову? Компания, которая предоставляет виртуальные ресурсы и с которой приходится разговаривать строго по шаблону? Но чтобы решения действительно работали, нужен не поставщик, а партнёр — тот, кто погружён в вашу инфраструктуру, анализирует, советует, помогает.
Мы в K2 Cloud не всегда были такими. Наш путь начался более 15 лет назад, и сначала мы были просто провайдером. Но время, опыт и сотни проектов изменили всё: мы прошли путь от первого ЦОДа до облачной платформы собственной разработки с партнёрскими услугами под любой запрос бизнеса. И сегодня я расскажу, как это было — без маркетингового шума, просто как есть.
Меня зовут Кирилл Бойко, я технический директор K2 Cloud, и в облаках (в хорошем смысле) — давно.
Надо запустить NVRAM на микроконтроллере, где нет возможности дописывать интервалы памяти.
В этом тексте я показал как организовать NVRAM на основе широко распространенного программного компонента LittleFS.
Прошло уже почти 4 года с момента выхода предыдущей модели All flash массивов (AFA) от Qsan. Вроде бы и не такой большой срок по житейским меркам. Однако, для мира IT это – просто пропасть. Отчасти поэтому Qsan, стараясь быть в тренде, выпустил новое, уже третье по счету, поколение AFA, краткий обзор которого мы предлагаем вашему вниманию.
В отличие от предыдущей серии AFA, состоящей из единственной модели XF3126, новая серия будет иметь более разнообразный модельный ряд. Флагманская модель среди новых AFA – это XF5226. И на момент написания статьи пока что только эта модель доступна к заказу. Позднее также будут доступны модели из младших линеек с чуть более упрощенной аппаратной частью, но зато с более привлекательной ценой.
Привет, Хабр! Меня зовут Константин Крюков, я разрабатываю систему хранения данных TATLIN.UNIFIED в YADRO. Сейчас мы с командой создаем MeyerSAN — решение, которое имитирует неисправность SAS HDD и SSD и позволяет автоматически тестировать реакцию СХД на ошибки.
Мы написали проект на новом стандарте С++ 23 и использовали паттерны объектно-ориентированного программирования. Под катом расскажу, что за решение у нас вышло, как устроена его архитектура. А еще мы вместе вспомним, зачем строить программную архитектуру тщательно и правильно (и не жалеть об утраченном времени на активную разработку).
Привет, Хабр! Меня зовут Андрей Капустин, я менеджер продукта в компании VK Tech. Для построения систем хранения и обработки данных по объектам мы часто используем различные СУБД, которые объединяем в большие геораспределенные кластеры. Кластер СУБД содержит данные, необходимые для функционирования Mission Critical процессов, поэтому нам необходимо гарантировать постоянную доступность, обеспечить отсутствие потерь и минимизировать время предоставления данных по запросу.
