Хранение данных *

Привет, Хабр! 5 августа в 12:00 (мск) ждем вас на вебинаре о том, как настроить резервное копирование виртуальных машин и облаков. Спикеры — эксперты Selectel и «Хайстекс».

Будет полезно системным администраторам, DevOps-инженерам и техлидам. 

Энтузиаст, любитель птиц и музыкант Бенн Джордан рассказал про свой удачный опыт преобразования PNG-файла (размером 176 КБ несжатых данных) в звуковой сигнал и обучения молодого скворца запоминать и почти точно воспроизводить такую звуковую информацию для последующего преобразования в исходный файл. Эксперимент показал, что скворцы могут теоретически «передавать» данные с помощью своего пения со скоростью до 2 МБ в секунду (в сжатом виде).

Обработка данных — это дорого, сложно и медленно. Данные хранятся в разных системах, пайплайны ломаются, качество страдает, а TCO растёт.

13 августа онлайн расскажем, как с этим справляется новая платформа MWS Data. Это cloud native решение для хранения и обработки данных. В основе — архитектура Lakehouse, но мы не ограничились ею. Мы объединили лучшие практики и добавили инструменты для ETL, Data Governance и BI.

В Китае до конца 2025 года планируют наладить массовое производство стеклянных оптических дисков. Ёмкость одного накопителя может достигать 360 ТБ.

«Архив Интернета» получил статус Federal Depository Library (Федеральной депозитарной библиотеки). Программа Federal Depository Library была учреждена Конгрессом в 1813 году с целью обеспечения доступности правительственных документов для общественности. Она позволяет публиковать карты, экологические отчёты, исследования в области здравоохранения, документы Конгресса, газеты и книги.

Компании-поставщики технологий LTO отчитываются о том, что ленточные хранилища не только не устаревают, но и набирают популярность. Их поставки побили рекорды, демонстрируя рост четвёртый год подряд.

Сервис цифровой дистрибуции GOG и компания SPhotonix записали на 5D-кристалл пошаговую стратегию Heroes of Might and Magic III: Complete для вечного хранения — впервые на этот носитель поместили видеоигру. 5D-кристаллы предлагают технологию хранения данных в микроструктурах кварца.

Федеральный апелляционный суд США вынес в пользу Apple решение в споре касательно сервиса iCloud — пользователи обвиняли компанию в невыполнении обещания хранения данных.

Сервис облачного хранения Google Диск наконец добавил давно назревавшую функцию — миниатюры для предварительного просмотра загруженных в облако видеороликов. Однако она работает только с недавно загруженными записями, поэтому предпросмотр уже загруженных на Google Диск видеофайлов невозможен.

Лаборатория исследований искусственного интеллекта Yandex Research представила новую нейросетевую архитектуру для работы с табличными данными — TabM. Она позволяет быстро обрабатывать большие массивы данных и строить высокоточные прогнозы, что особенно актуально для сфер бизнеса, исследований и медицины. Модель поможет оптимизировать поставки, прогнозировать энергопотребление, классифицировать пациентов по риску заболеваний и решать многие другие задачи.

TabM (Tabular DL model that makes Multiple predictions) — это эффективная реализация ансамбля моделей, когда каждая модель проводит свой анализ, после чего прогноз усредняется. Архитектура TabM позволяет добиться оптимального соотношения точности прогноза и необходимых вычислительных мощностей.

В законопроект о центрах обработки данных (ЦОД) ко второму чтению внесли правовое определение таких объектов, создали реестр ЦОДов и запретили размещать майнинговую инфраструктуру. Поправки разработали правительство и депутаты Госдумы. Работу координировал вице-премьер Дмитрий Григоренко, рассказало издание РБК.

«Российский центр оборота прав на результаты творческой деятельности» (РЦИС) депонировал авторское произведение «Руководство проведения обследования фактического состояния движения персональных данных оператора», разработанное ГК InfoWatch. Выданное РЦИС свидетельство подтверждает новаторский подход компании к аудиту персональных данных (ПДн). Запрос на услуги по аудиту ПДн среди российских компаний вырос в связи с ужесточением ответственности за некорректное обращение с ПДн и за утечки данных.

Разработанная в ГК InfoWatch технология позволяет определить, что на самом деле происходит с обработкой ПДн в компании и систематизировать полученную информацию. Технология может применяться для создания карты перемещения ПДн в организации — если необходимо получить представление о положении дел в области оборота ПДн в компании — или в составе комплексного аудита. Такие исследования актуальны для систематизации оборота ПДн, выявления аспектов риска и повышения уровня защиты данных, а также для отчетности перед надзорными органами.

Технология InfoWatch основана на актуальных российских нормативно-правовых актах, регулирующих оборот ПДн. При проведении аудита создаются полные перечни (реестры) видов ПДн в компании, категорий субъектов, систем их обработки. На основании полученной информации составляется карта движения ПДн. Поскольку карта основана на реальных процессах компании, это позволяет кратно повысить защищенность данных — построить релевантные модели угроз, разработать локальные нормативные акты, политику и порядок обработки данных.

OpenAI арендовала огромный объём вычислительной мощности в центрах обработки данных Oracle в рамках инициативы Stargate, пишет Bloomberg со ссылкой на источники. Разработчик ChatGPT будет арендовать у Oracle в общей сложности 4,5 ГВт мощности дата-центров в США.

Учёные из Всероссийского федерального ядерного центра «Всероссийский научно‑исследовательский институт экспериментальной физики» «ВНИИЭФ» (ФГУП «РФЯЦ — ВНИИЭФ», входит в госкорпорацию «Росатом») придумали устройство для экстренного уничтожения микросхем памяти.

Описание изобретения размещено на сайте Роспатента. В документе говорится, что устройство относится к области защиты информации от несанкционированного доступа путём уничтожения носителя данных.

Мы запустили новую платформу для работы с большими данными — MWS Data. Она объединяет инструменты для хранения, обработки, визуализации и защиты данных в одном сервисе. Решение позволяет управлять как данными, полученными в реальном времени, так и историческими массивами.  

Платформа включает все необходимые инструменты для запуска любых процессов управления данными: DWH, Lakehouse, DataLake, ETL/ELT, Streaming, BI, Data Governance. Поверх MWS Data можно запустить инструменты для обучения и инференса.

За 2024 год центры обработки данных Google использовали 30,8 млн МВт·ч энергии, что более чем вдвое выше показателей за 2020 год — 14,4 млн МВт·ч, следует из отчёта американской корпорации об устойчивом развитии. Компания обещает использовать для обеспечения своей деятельности только возобновляемые источники энергии, но эта задача осложняется стремительным ростом числа дата-центров. Порядка 95,8% всех расходов электроэнергии Google пришлись именно на ЦОД.

Представлен первый мажорный релиз набора утилит mmc-utils 1.0. Решение предназначено для низкоуровневой настройки карт памяти MMC, eMMC и SD из пространства пользователя. Разработка проекта ведётся с 2012 года. Исходный код решения написан на языке C и опубликован под лицензией GPLv2.

В США начал работу вычислительный центр, в котором используются 2000 ускорителей и система накопления энергии на базе старых аккумуляторов от электромобилей. Это совместный проект компаний Redwood Materials и Crusoe, а его строительство заняло всего четыре месяца.

Новый дата-центр располагается в Неваде. Система мощностью 12 МВт использует сотни б\у-аккумуляторов общей ёмкостью 62 МВт^.ч, а солнечные панели помогают их заряжать. Redwood заявляет, что на сегодня это крупнейшая микросеть в Северной Америке, однако компания планирует реализовать проекты в 20–100 раз больше.

Правительство России 26 июня 2025 года приняло постановление № 961. Документ касается работы с обезличенными персональными данными. По новому постановлению, с 1 сентября 2025 года вступают в силу два новых порядка. Первый — порядок формирования составов обезличенных персональных данных. Второй — порядок предоставления доступа к этим данным.

На связи команда разработки MWS Cloud Platform.
Это анонс нового выпуска нашего реалити-проекта Building the Cloud — серии эфиров, где мы без купюр рассказываем, как устроена архитектура MWS Cloud Platform под капотом.

В 7-м эпизоде говорим про технологии под капотом блочного хранилища MWS Cloud Platform. Подключайтесь, будет интересно!