Как стать автором
Поиск
Написать публикацию
Обновить
228.55

Хранение данных *

Что имеем, то храним

Сначала показывать
Порог рейтинга
Уровень сложности

Синхронизация Obsidian: Налаживаем связь между всеми вашими устройствами

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров13K

Когда дело доходит до управления знаниями и организации мыслей, Obsidian стал настоящим открытием для многих, превратившись из простой программы в "второй мозг". Однако его основное преимущество - локальное хранение данных - может стать и главным недостатком, особенно когда требуется синхронизация заметок между различными устройствами и операционными системами, такими как iOS, MacOS и Windows.

В этой статье мы подробно рассмотрим различные подходы к синхронизации Obsidian, основываясь на опыте пользователей и доступных решениях. Спойлер: наименее сложным и эффективным решением для пользователей Apple-устройств с Windows оказался iCloud.

Читать далее

Новости

Знакомьтесь: Кибер Хранилище

Время на прочтение8 мин
Количество просмотров1.8K

В этом обзоре мы познакомимся с новым продуктом компании Киберпротект – Кибер Хранилище. Это простая в эксплуатации универсальная, система хранения данных, работающая на базе стандартного серверного оборудования архитектуры x86-64 с установленными дисками HDD, SSD или NVMe.

Кибер Хранилище поддерживает основные протоколы хранения: iSCSI, NFS и S3, интегрировано с системой резервного копирования Кибер Бэкап и сервисом Кибер Бэкап Облачный, поддерживает возможность неограниченного масштабирования и реализации географически распределенных решений. 

Читать далее

Как мы научили PostgreSQL автоматически создавать партиции: опыт Nexign Nord

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров4K

Программисты, ежедневно решающие задачи оптимизации запросов и управления большими объемами данных, неизбежно сталкиваются с необходимостью освоения новых методов организации данных. Поэтому сегодня предлагаем поговорить об автоматизации партиционирования как об эффективном варианте решения.

Читать далее

Что меняется в IV части ГК: почему бизнесу придется не сладко?

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров764

Запишите эту дату где‑нибудь между дедлайном релиза и списком багов: 7 июля 2025 года. Именно в этот день опубликован Федеральный закон № 214‑ФЗ, который усилил ответственность за нарушение исключительных прав авторов и владельцев интеллектуальной собственности в России. Срок до старта, казалось бы, комфортный — январь 2026-го. Но если вы когда‑нибудь пытались собрать согласования от трёх департаментов, то знаете: время разлетается, как кофе по клавиатуре. И на проработку и уточнение внутренней стратегии по защите активов не остаётся ничего.

Почему это вообще важно? Для айтишников, владельцев стартапов, компаний на стыке технологий и контента всё это — не просто юридический шум. Теперь даже небольшие недоработки в бумагах или халатное отношение к лицензиям обойдутся сильно дороже: многомиллионные компенсации, суды, заблокированные проекты, увольнения ключевых людей. Да, звучит как очередная страшилка. Но если вы хотите защитить свой продукт, команду и бюджет — пришло время разобраться и настроиться.

Читать далее

Вглубь Synology NAS: метаданные, Btrfs и скрытые механизмы высокой производительности

Уровень сложностиСложный
Время на прочтение3 мин
Количество просмотров4.4K

🧠 Что скрывается под капотом Synology NAS? Мы привыкли считать его удобным и простым решением «всё‑в-одном», но на самом деле это сложная система с десятками собственных слоёв, интерфейсов и оптимизаций. Рассмотрим его возможности!

Читать далее

Своя система бэкапов: сначала стратегия, потом скрипты

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров4.6K

Слишком многие люди преступно пренебрегают резервным копированием. Из-за заблуждений в этой области теряется слишком много данных; это связано и с ошибочными техниками наподобие «бэкапов Шрёдингера» (то есть никогда не тестируемых, а значит, валидных и невалидных одновременно), и с концептуальными заблуждениями о том, что такое бэкапы и как они работают (RAID — это не бэкап!).

Сегодня о резервном копировании зачастую думают по остаточному принципу. Многие полностью полагаются на «облако», не задаваясь даже вопросами о том, каким образом защищаются их данные. Большинство упускает из виду, что даже крупные поставщики облачных услуг работают по модели коллективной ответственности. В условиях пользования они часто подчёркивают, что, несмотря на обеспечение ими безопасности инфраструктуры, в конечном итоге ответственность за защиту и резервное копирование данных лежит на пользователях. Когда хранишь всё «в облаке», в кластерах, которыми владеют другие компании, или в распределённых системах Kubernetes, бэкапы часто кажутся ненужными. Иногда я спрашиваю коллег или разработчиков о том, как они реализуют резервное копирование, и они смотрят на меня так, как будто я говорю на каком-то древнем забытом языке. Они попросту никогда об этом не задумывались. Но данные не эфемерны, их необходимо защищать любыми возможными способами.

Я всегда исповедовал такую философию: данные обязаны быть восстанавливаемыми (и как можно быстрее), целостными и храниться в открытом формате (чтобы для их восстановления или анализа не приходилось покупать что-то). Эти пункты могут показаться очевидными, но на деле это не всегда так.

Читать далее

S3 изнутри: как работать с объектным хранилищем и не сойти с ума

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров10K

Привет! Меня зовут Евгения Тарашкевич. Я инженер из группы эксплуатации К2 Cloud, и моя специализация — системы хранения данных. Сегодня хочу поделиться с вами опытом и знаниями о работе с объектным хранилищем S3.

Эта статья будет полезна инженерам, которые только начинают работать с ним, и тем, кто уже использует его в продакшене, но хочет структурировать знания и разобраться в типовых проблемах.

Читать далее

Интервью с ИИ: как бы LLM спроектировала ЦОД

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2.8K

Истина рождается в споре, а инсайты приходят во время общения. Помня об этом, я решил провести интервью с искусственным интеллектом и спросил у модели о том, как бы она спроектировала ЦОД и что нам ждать в ближайшем будущем. Вопросы сформулировал я, а ответы писал ChatGPT–4о. В некоторых местах текст дополнен моими ремарками и обоснованием от чат-бота. Если интересно, приглашаю под кат, а промпт в конце текста. 

Узнать мнение ИИ

Лучшие бесплатные программы для поиска дубликатов фото

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров4.3K

Вам знакомо это чувство лёгкой паники, когда ваш ноутбук внезапно начинает жалобно пищать, а на экране возникает зловещее предупреждение: «Диск почти заполнен»? Со мной это тоже недавно случилось. Я открыл «Проводник» и остолбенел – мой внешний диск на 1 ТБ был забит под завязку – на 95%!

Виновниками оказались не фильмы и не игры, а гигантское кладбище фотографий. Двенадцать папок с безликим именем «DCIM», горы скриншотов, которые я копировал по пять раз «на всякий случай», и целые россыпи почти одинаковых снимков заката, сделанных в режиме серийной съёмки. Попытка вручную найти идентичные фото напоминала поиск иголки в стоге сена размером с Сибирь.

В предыдущей статье я разбирал, как лучше сортировать фото, и ещё тогда я понял: пора объявлять войну дубликатам. И вот этот момент настал. После тестирования более 15 инструментов (и кучи потраченных нервов) я отобрал 5 бесплатных программ, которые реально помогают решить проблему. Этим опытом и поделюсь.

Читать далее

Ускорители AMD Instinct, прорывные Ethernet-коммутаторы и другие новинки июня

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров5.2K

Недавно компания HighPoint представила первый RAID-адаптер с поддержкой четырех M.2 SSD. Решение ориентировано на рабочие станции, edge-вычисления и системы, критичные к скорости хранения.

И кажется, среди июньских новинок не только диски заточены под работу с ML. Например, компания Broadcom начала поставки Tomahawk 6 — чипа для Ethernet-коммутаторов, производительность которого составляет более 102 Тбит/с, что в два раза превышает возможности текущих решений! Конечно, эта новинка тоже создана с прицелом на инфраструктуру ИИ.

Привет, Хабр! Меня зовут Сергей Ковалёв, я менеджер выделенных серверов в Selectel. В новом дайджесте рассказываю, какое железо представили вендоры в июне. Подробности под катом!

Узнать подробности

Windows Home Server: взгляд на домашний сервер Microsoft, который не прижился

Время на прочтение6 мин
Количество просмотров7.7K

Время мчится с бешеной скоростью. Кажется, что релиз этой операционной системы был совсем недавно, а на самом деле прошло уже 18 лет. За это время мир не раз менялся, а вместе с ним изменились и потребности пользователей. Сегодня с высоты прожитых лет попробуем разобраться, что пошло не так в развитии Windows Home Server (WHS) и почему перспективный изначально проект в итоге свернули.

Читать далее

Обзор сервера ITPOD-SY4108G-D12R-G4: мощная платформа для AI/ML вычислений

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров775

Современный бизнес стремительно внедряет технологии искусственного интеллекта — от автоматизации процессов и анализа данных до создания инновационных продуктов на базе генеративного ИИ. Однако для эффективной работы AI/ML алгоритмов требуются специализированные вычислительные системы, способные обрабатывать колоссальные объемы данных с использованием параллельных вычислений.

В условиях растущего спроса на высокопроизводительные решения и необходимости технологической независимости российские компании все чаще обращаются к отечественным производителям. ITPOD, входящий в корпорацию ITG, представляет флагманский сервер ITPOD-SY4108G-D12R-G4 — мощную вычислительную платформу, специально разработанную для самых требовательных задач искусственного интеллекта и машинного обучения.

Читать далее

Вендорские СХД vs open-source решения: с чем лучше экономить при работе с «железом»

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров3.1K

Привет, Хабр! Меня зовут Павел Кишеня, я тимлид группы системных администраторов IT-инфраструктур в группе Рунити. Зачастую к нам приходят заказчики с довольно высоконагруженными проектами, хранящими большой объем информации — всё это потребляет много места. Наша задача не только хранить эти данные, но и эффективно их использовать.

В этой статье поговорю о том, как компании выбирают системы хранения данных. Кто-то строит IT-инфраструктуру на классических аппаратных СХД, а кто-то уходит в кластерные решения на базе Ceph и других open-source решений. Сравню подходы и покажу, в чем плюсы и минусы каждого из них. Также поделюсь практическими кейсами переноса кластеров SSD на гибрид и добавления Ceph смешанного пула. 

Читать далее

Ближайшие события

История K2 Cloud: эволюция от провайдера до партнёра

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров1K

Когда вы слышите «облачный провайдер», что первое приходит в голову? Компания, которая предоставляет виртуальные ресурсы и с которой приходится разговаривать строго по шаблону? Но чтобы решения действительно работали, нужен не поставщик, а партнёр — тот, кто погружён в вашу инфраструктуру, анализирует, советует, помогает.

Мы в K2 Cloud не всегда были такими. Наш путь начался более 15 лет назад, и сначала мы были просто провайдером. Но время, опыт и сотни проектов изменили всё: мы прошли путь от первого ЦОДа до облачной платформы собственной разработки с партнёрскими услугами под любой запрос бизнеса. И сегодня я расскажу, как это было — без маркетингового шума, просто как есть.

Меня зовут Кирилл Бойко, я технический директор K2 Cloud, и в облаках (в хорошем смысле) — давно.

Читать далее

Пуск LittleFS (NVRAM с запретом до-записи flash)

Уровень сложностиПростой
Время на прочтение16 мин
Количество просмотров1.4K

Надо запустить NVRAM на микроконтроллере, где нет возможности дописывать интервалы памяти.

В этом тексте я показал как организовать NVRAM на основе широко распространенного программного компонента LittleFS.

Читать далее

Обзор All flash массива Qsan XF5226D

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров696

Прошло уже почти 4 года с момента выхода предыдущей модели All flash массивов (AFA) от Qsan. Вроде бы и не такой большой срок по житейским меркам. Однако, для мира IT это – просто пропасть. Отчасти поэтому Qsan, стараясь быть в тренде, выпустил новое, уже третье по счету, поколение AFA, краткий обзор которого мы предлагаем вашему вниманию.

В отличие от предыдущей серии AFA, состоящей из единственной модели XF3126, новая серия будет иметь более разнообразный модельный ряд. Флагманская модель среди новых AFA – это XF5226. И на момент написания статьи пока что только эта модель доступна к заказу. Позднее также будут доступны модели из младших линеек с чуть более упрощенной аппаратной частью, но зато с более привлекательной ценой.

Читать далее

Как сыграть с СХД в имитацию ошибки и выйти победителем? Используем паттерны ООП на C++

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров2.1K

Привет, Хабр! Меня зовут Константин Крюков, я разрабатываю систему хранения данных TATLIN.UNIFIED в YADRO. Сейчас мы с командой создаем MeyerSAN — решение, которое имитирует неисправность SAS HDD и SSD и позволяет автоматически тестировать реакцию СХД на ошибки.

Мы написали проект на новом стандарте С++ 23 и использовали паттерны объектно-ориентированного программирования. Под катом расскажу, что за решение у нас вышло, как устроена его архитектура. А еще мы вместе вспомним, зачем строить программную архитектуру тщательно и правильно (и не жалеть об утраченном времени на активную разработку).

Читать далее

Как построить отказоустойчивый кластер СУБД

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров4.1K

Привет, Хабр! Меня зовут Андрей Капустин, я менеджер продукта в компании VK Tech. Для построения систем хранения и обработки данных по объектам мы часто используем различные СУБД, которые объединяем в большие геораспределенные кластеры. Кластер СУБД содержит данные, необходимые для функционирования Mission Critical процессов, поэтому нам необходимо гарантировать постоянную доступность, обеспечить отсутствие потерь и минимизировать время предоставления данных по запросу.

Читать далее

Краткий обзор платформы данных Т-Банка

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров9.7K

Привет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy!

Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа.

В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.

Читать далее

О тепловом моделировании российских СХД в области массива накопителей

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров1K

Меня зовут Максим Копосов, я руководитель компании «Промобит». 16 лет назад мы начали разрабатывать российские системы хранения данных и другую вычислительную технику. Сегодня делаем СХД на отечественных и зарубежных процессорах, создаем оригинальное ПО для них. Наши инженеры находятся в постоянном поиске, и поэтому появляются собственные исследования, одним из которых сегодня хочу поделиться с вами. Это отчёт о тепловом моделировании систем хранения данных в области массива накопителей. В нем были оценены температурные режимы ключевых компонентов системы, таких как накопители (HDD формата 3.5 дюйма и SSD формата 2.5 дюйма) и PCIe-свитчи, при различных условиях эксплуатации. Измерения проводились на нашей СХД серии 4100.

Если этот материал покажется вам интересным, буду рад обратной связи в комментариях, и продолжу знакомить вас с исследованиями.

Читать далее
1
23 ...

Вклад авторов