Хранение данных *

Как обеспечить бесперебойную работу систем и сервисов, чтобы сохранить данные даже во время аварий и катастроф? Для этих целей существует решение Disaster recovery, позволяющее сделать инфраструктуру устойчивой к катастрофам разного рода.

О том, что может привести к катастрофе и как от неё защититься, рассказывает технический директор OXYGEN Михаил Нестеров. В видео — подробный разбор угроз, логика организации Disaster recovery, обсуждение технических нюансов и ответы на каверзные вопросы. Приятного и полезного просмотра!

Этот ролик — запись доклада Михаила на митапе OXYGEN в Санкт‑Петербурге. Подробно про мероприятие можно почитать вот здесь.

А у вас есть опыт организации Disaster recovery? Как вы вообще делаете бэкапы? И какие самые необычные причины аварий встречались в вашей практике? Расскажите об этом в комментариях!

И обязательно подписывайтесь на наш канал в Telegram, там мы не только постим новости про IT, но и рассказываем про облака, дата‑центры и кибербез.

Amazon планирует вложить $148 млрд в центры обработки данных в течение следующих 15 лет, чтобы справиться со спросом на приложения с искусственным интеллектом и другие цифровые услуги. Компания стремится сохранить своё влияние на рынке облачных услуг, где ей принадлежит доля примерно вдвое больше второго игрока — Microsoft.

В 2024 году рост продаж Amazon Web Services возобновился после прошлогоднего спада, поэтому Amazon стремится обеспечить землю и электричество для своих дата-центров. Компания намерена расширить существующие ЦОДы в Северной Виргинии и Орегоне, а также построить новые в Миссисипи, Саудовской Аравии и Малайзии.

Amazon создаёт собственные ИИ-инструменты, чтобы конкурировать с ChatGPT от OpenAI, а также сотрудничает с другими компаниями для поддержки ИИ-услуг на своих серверах. В результате Amazon рассчитывает получить десятки миллиардов долларов доходов, связанных с ИИ.

Однако Amazon, Microsoft и другие компании сталкиваются с проблемой нехватки электроэнергии, а также выступлениями жителей штатов, которые жалуются на шум серверных ферм.

Скидка 20% на комплект сервисов ⚡

Managed Kubernetes, облачные базы данных и объектное хранилище S3.

Запускайте и развивайте веб-проекты любой сложности с помощью отказоустойчивых и масштабируемых сервисов Selectel. До 30 июня подключите три сервиса: Managed Kubernetes, облачные базы данных и объектное хранилище S3 — и пользуйтесь ими со скидкой 20%.

Оплачивайте Managed Kubernetes, базы данных и хранилище по модели pay-as-you-go. Скидка действует в течение всего времени, пока вы используете комплект сервисов.

Как получить скидку?

1️⃣Зарегистрируйтесь в панели управления.

2️⃣Подключите Managed Kubernetes, облачные базы данных и объектное хранилище в подходящих вам конфигурациях.

3️⃣Оставьте заявку в тикет-системе. Напишите, что участвуете в этой акции, и укажите примерную сумму, которую планируете тратить на каждый сервис

4️⃣Дождитесь ответа от поддержки и пользуйтесь сервисами с ежемесячной скидкой 20%.

Подключайте сервисы со скидкой →

С чего начать управление метаданными в облаке?

Конвейеры данных — тренд, уже обросший подходами вроде Data Mesh или Data Streaming. Метаданные в них играют особую роль: повышают качество и доступность данных, например, при поиске. Но вне зависимости от подхода, в работе с метаданными важно учесть два запроса: прозрачность/демократизация данных и безопасность.

Для управления этим балансом в Yandex Cloud появился MetaData Hub — сервис для работы с метаданными. Он позволяет реализовать в облаке популярные сценарии:

• Безопасное подключение к БД. Для защиты подключения важно позаботиться о хранении секретов и настройке прав доступа.

  С этим помогает Connection Manager: пользователи могут делиться подключением к СУБД по ссылке, без необходимости вручную указывать логины и пароли. Все секреты хранятся в секретнице Yandex Lockbox. А управление доступами реализовано на основе RBAC и обеспечивает гранулярность прав.

• Гибридная инфраструктура. В сложных сценариях клиенты могут создавать подключения из облака к сторонней базе, например, on premise, — но в этом случае вопрос безопасности ложится на администратора базы. Облегчить настройку доступа к такой БД также можно через Connection Manager, создав on‑premise‑подключение.

В ближайшее время пользователям MetaData Hub будут доступны функции Schema Registry для упрощения структурирования и управления схемами данных, а также Data Catalog — для описания данных и зависимостей между ними. Сервис бесплатен и находится в стадии Preview.

Как организовать в облаке безопасное хранилище данных, запустить собственные ML-модели и системы скоростной аналитики — обсудим на Union All 

20 марта в Москве и онлайн состоится большая конференция Yandex Cloud для руководителей дата‑проектов и дата‑офисов, а также разработчиков и архитекторов баз данных.

Программа Union All будет посвящена технологиям и эффективным решениям для работы с данными: от создания корпоративных хранилищ в облаке до монетизации данных в конкретных отраслях.

Вместе с приглашёнными докладчиками мы обсудим:

• возможности работы с YandexGPT и запуск собственных ML‑моделей;

• безопасное хранение данных в облаке;

• новые возможности сервиса для визуализации данных DataLens.

Будем рады встрече уже в эту среду на площадке «Синема Парк Мосфильм» и в прямом эфире. Подробная программа и регистрация открыты на сайте Union All.

Как превратить блочное хранилище в объектное — тема доклада на IT-конференции GoCloud про облака 📝

Всем привет! Продолжаем знакомить с программой конференции GoCloud про облака.

📌 Тема: Cloud.ru Evolution Object Storage: как превратить блочное хранилище в объектное

📅 Когда: 21 марта в 14:40 мск

Если вам интересны вопросы масштабирования, версионирования и консистентности в понимании протокола S3 — приходите послушать доклад. Расскажем о том, как написали свое объектное хранилище, какие подходы рассматривали и с какими проблемами столкнулись.

👉 Зарегистрироваться на GoCloud

Что еще интересного есть в блоге:

• Как разработать и запустить приложения с помощью сервисов Cloud.ru Evolution Container Apps

• Технические лидеры «‎Гринатома»‎, «‎Магнита»‎ и «‎М.Видео»‎ поделятся экспертизой 21 марта на IT-конференции GoCloud

• Бесплатный курс по работе с облачными сервисами: осваивайте облака на платформе Cloud.ru Advanced

Интересно, можно ли «здесь и сейчас» имеющимися УФ-лазерами что-то писать на кварцевые диски (с распределённой по объёму взвесью мелкодисперсного технического серебра, если я не ошибаюсь), добившись для начала хотя бы одного-двух гигов за коммерчески доступные деньги — а потом уже покушаться на фемтосекундники и безумные терабайты, как обещает нам не первый год «а-воз-и-ныне-там-5D-запись»?

Кварц дёшев, практически вечен, техническое серебро стоит копейки и количество его там смешное, если не потребуется какая-то ультра-полировка поверхностей и не намудрят каких-то абсурдных параметров (хотя бы тех же габаритов — форм-фактор чуть толще дискеты идеален и от косого взгляда оно уже не переломится) — взлетит как миленькое. Ещё можно контакты на «дискете» сделать и добавить флэшку там же, чтобы не кидаться по всем ящикам «а где у меня темпы и конфиги от этого дистра, блин?», а «прожигать» уже, так сказать, «устаканившиеся» бэкапы. А ещё лучше — гнездо в уголке под оную, чтобы менять её по мере износа.

Короче, не революция, а эволюция. Начинать понемногу, а там ведь, как те же дискеты, от килобайт до мегабайт пройти, то есть от гигабайт до терабайт в нашем случае… и не забыть аппаратную защиту от записи, которая просто выключателем выключает «писательную» мощность. Экологическая ниша долгосрочного хранения данных простых юзеров (той их части, которая об облака уже обожглась больно) — специфическая и требует многих таких вещей не забывать.

Когда строишь потоки обработки в Apache Nifi в основном требуется результат записать в базу данных. Бывают случаи, когда запись в целевую таблицу не проходит по причине несоответствия данных в записи и полей в таблице. Это возникает в случае, если на источнике размер поля увеличился, либо изменился порядок знаков после занятой, либо вы ожидаете "uniqueidentifier" а приходит пустая строка.

Ситуаций много, а решение обычно одно - локализовать ошибку, найти поле, которое не соответствует S2T, внести корректировки в таблицы, либо дополнить трасформации. В случае, если полей в записи две три, понять причину не сложно. Когда же их много приходится тратить время на разбор записи по отдельным полям и проверку каждого потенциального источника ошибки.

Для этого предлагаю скрипт для ScriptedTransformRecord, позволяющий разобрать запись на массив записей, каждая из которых содержит только одно значение, остальные проставляются "null".

results = []

fields = record.getRawFieldNames()
schema = record.getSchema()
fields.each{key -> {
    log.debug("Got key: ${key}")
    nMap = new java.util.HashMap<String, Object>()
    log.debug("create map")
    nMap.put(key,record.getValue(key))
    log.debug("Put to map value")
    newrecord = new org.apache.nifi.serialization.record.MapRecord(schema, nMap)
    log.debug("Сreate new record with field ${key}")
    results.add(newrecord)
}}

results

Полезные ссылки:

• Сообщество Apache Nifi в Телеграм

• Репозиторий с основными скриптами сообщества

Запускаем бесплатный курс по работе с Managed Service for Greenplum

Наша образовательная программа по работе с данными пополнилась курсом Managed Service for Greenplum на платформе Яндекс Практикум. Обучение рассчитано на Data-архитекторов, DevOps-инженеров, разработчиков и администраторов баз данных.

В курсе семь модулей. Вводные лекции дают общее представление о Greenplum и показывают, для каких задач он подходит. Вторая половина курса помогает решить более сложные прикладные задачи. Например, можно узнать, как проводить диагностику запросов, использовать разные опции хранения данных, загружать и выгружать данные с помощью внешних таблиц.

Курс научит:

• создавать инсталляцию Greenplum на облачной платформе и работать с ней;

• использовать особенности СУБД для эффективной работы с Managed Greenplum;

• правильно писать и оптимизировать запросы с учетом специфики Greenplum;

• разбираться в архитектуре Greenplum;

• проектировать оптимальную физическую модель данных.

О программе:

• Обучение рассчитано на 50–80 часов.

• Курс состоит из двух частей: теории с закреплением в коротких квизах и самостоятельных практических заданий. Обе части не привязаны к расписанию — можно учиться когда угодно.

• Все материалы доступны бесплатно.

А что сейчас с низкоуровневым форматированием хардов? Можно ли, скажем, отключить или как-то пометить убитую сторону, например? Или вообще скомандовать девайсу перенанести служебную разметку, если посыпались ошибки позиционирования?

Как я понимаю, потребуется TTL UART и ломаный протокол команд? Чего там сейчас люди творят на этом поприще?

Эх, верните мне мою FAT с её bad clusters, тотальным host-managed RELO (хотя тогда и слова-то такого не было) и интерливингом секторов… славные времена, когда всё задавалось в файловой системе, а не где-то в чёрном ящике харда :(

Хотя полный host-managed всего на свете в ext4, включая контроль над SMR — это было бы ещё лучше :)

Что-то подумалось, а ведь сейчас мощности проца хватает с головой на обработку VHS в реальном времени, а где не хватает — там шейдеры в помощь.

Вывод видео сделать на SCART не проблема, китайские платы видеозахвата — тоже за пучок пятачок…

Кто-нибудь уже задумывался о софтовой реализации девайса «АрВид», чтобы максимально использовать полосу сигнала и запихнуть на кассету гигов хотя бы пять, приспособив таким образом к делу старый видак?

Или, может, лучше поступить наоборот — не натягивать слона на вантуз, приспосабливая PAL/SECAM для несвойственных ему целей, а взять механику видака и прицепить к головкам кастомный усилитель? Механика у меня где-то валяется, правда, увы, я не аналоговик ни разу :( но если удастся выжать гигов 20-30 на одну кассету, это была бы уже не игрушка, а вполне себе стример для бедных…

Google объявила о планах направить $1 млрд на строительство дата-центра в Великобритании. Центр обработки данных разместят на участке площадью 13 Га в городе Уолтем Кросс, расположенном примерно в 24 км от центра Лондона.

Британское правительство назвало инвестиции Google «огромным вотумом доверия» Великобритании. Инвестиции Google в размере $1 млрд свидетельствуют о том, что Великобритания — это центр передового опыта в области технологий, который имеет огромный потенциал для роста, заявил премьер-министр страны Риши Сунак.

В 2022 году Google приобрела офисное здание недалеко от Ковент-Гарден в центре Лондона за $1 млрд, а также ещё один объект в районе Кингс-Кросс, где корпорация строит новый офис и базируется её дочерняя компания в сфере ИИ — DeepMind.

Новый ЦОД Google поможет удовлетворить спрос на услуги в отраслях ИИ и облачных технологий, а также предоставит критически важные вычислительные мощности предприятиям по всей Великобритании, создавая строительные и технические рабочие места, отметила финансовый директор Alphabet Рут Порат. Численность персонала Google в Великобритании превышает 7 тыс. человек.

В ноябре прошлого года Microsoft объявила о намерении вложить $3,2 млрд в Великобританию. Финансирование запланировано на три года. Средства направят на увеличение мощности дата-центров Microsoft, чтобы поддержать будущие услуги в сфере ИИ.

Система резервного копирования RuBackup 2.0 получила обновление. В новой версии программного обеспечения (ПО) добавлены возможность журналирования событий информационной безопасности и аутентификация посредством Microsoft Active Directory, рассказали информационной службе Хабра в пресс‑службе «Рубэкап».

В свежей версии ПО появились такие обновления:

— в модуле для безагентного резервного копирования VMware vSphere изменены настройки по умолчанию для восстановления виртуальных машин;

— расширена и обновлена документация по ПО;

— стабилизирован механизм переключения с основного сервера RuBackup на резервный и обратно;

— выполнены точечные доработки на основе обратной связи от пользователей и исправлен ряд мелких ошибок, вызывающих некорректную работу системы и её компонентов.

С полным списком обновлений можно ознакомиться по ссылке.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_10

?Вопрос_10: Что такок Tarantool и как он устроен ? (Часть_3)

1. Транзакции: В более новых версиях Tarantool была добавлена поддержка механизма транзакций. Транзакции позволяют группировать несколько операций в единую атомарную операцию, что обеспечивает целостность данных.

2. Разрешение конфликтов: Tarantool предоставляет механизм разрешения конфликтов при работе с репликацией и шардингом. Возможности разрешения конфликтов включают автоматическое разрешение конфликтов на основе временных меток и возможность управления конфликтами пользовательским кодом.

t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных)

Недавно к нам обратился клиент, у которого потенциально 2 млн пользователей и ему нужно разработать стриминговый сервис, где 10К-20К пользователей могут смотреть медиа-контент в разрешении 4К онлайн.

Фильм 4К весит 5 гб, если 10К пользователей одновременно его смотрят, то это большая нагрузка на хранилище данных. Сложность в том, чтобы сбалансировать трафик на сервис, чтобы система не перегружалась, а пользователи не испытывали дискомфорта.

Чтобы этого добиться, нужно написать ПО таким образом, чтобы плеер или серверная часть отдала контент порционным пользователям. Так мы распределим нагрузку.

Для хранения контента на 2 млн человек, потребуется от 300-400 ТБ устойчивого хранилища. Нужно построить системы хранения данных.

Нужна защита хранилища, если какой-то жесткий диск выйдет из строя, чтобы не потерять лицензионный контент.

Когда 10 тыс. человек запрашивают одно видео или хотя бы два-три видео, это легко решается кешированием. А если эти 10 тыс. смотрит разный контент, то стандартная СХД не справится. Скорость не позволит находить это на жестких дисках.

В реализации нужно:

— Построить архитектуру хранения и обслуживания клиентов СХД с высоким уровнем IOPS — количество запросов, которые приходят к системе хранения данных за секунду. Чем ровнее запросы из разных секторов жестких дисков, тем сложнее и дольше приходится обрабатывать их сервера.

— Построить балансировщики, которые обрабатывают большое количество разного контента на обычных HDD дисках и отказоустойчивых хранилищах.

Релиз Modus BI Cloud

В 2022 году многие BI-вендоры ушли с российского рынка. Малый и средний бизнес остались практически без привычных, полезных и недорогих инструментов аналитики.

Раньше я уже писал, что мы под эту задачу разрабатываем Modus BI Cloud – облачный сервис аналитики данных для малого и среднего бизнеса. Архитектура платформы построена на принципе low-code - пользователь может создавать отчеты, дашборды и аналитические панели любой сложности без навыков программирования. Базовая версия будет бесплатной.

Подробнее об архитектуре продукта я писал здесь

Рад сообщить, что 25 октября 2023 года продукт выйдет на рынок, а 26-го октября в 12:00 приглашаю на вебинар-презентацию с моими коллегами, где вы узнаете:

• зачем вести аналитику, если у вас не огромная корпорация;

• как Modus BI Cloud учитывает все особенности небольшого бизнеса;

• все об архитектуре и функциональных возможностях low-code платформы;

• как мы построили карту развития продукта;

• об отличиях Modus BI и Modus BI Cloud.

Вебинар будет полезен аналитикам, представителям малого и среднего бизнеса и всем, кто ищет функциональное облачное BI-решение.

Участие по предварительной регистрации

Яндекс почта для организации сказала, что "Скоро сервисы организации перейдут в режим просмотра" и предложила три тарифа на выбор БАЗОВЫЙ ОПТИМАЛЬНЫЙ РАСШИРЕННЫЙ

а вы знали, что менеджеру надо сказать: "Я ЗНАЮ ПРО ЗАКРЫТЫЙ ТАРИФ "СТАРТОВЫЙ", для тех кто еще никакой тариф не подключал, там будет только почта, но будет в 2 раза дешевле Базового?

Вот такие они ....

ГК «Астра» и ГК Key Point подписали соглашение о сотрудничестве. В рамках соглашения, планируется проведение пилотных проектов по построению инфраструктуры центров обработки данных на базе технологических решений участников. Подписание соглашения состоялось в рамках Восточного экономического форума, проходящего во Владивостоке с 10 по 13 сентября 2023 года. Об этом рассказали информационной службе Хабра в пресс‑службе ГК «Астра».

С 2021 года ГК Key Point занимается проектом по созданию региональной сети дата‑центров. В первую очередь проекта был создан ЦОД уровня надёжности Tier III на 440 стоек во Владивостоке, запущенный в эксплуатацию в феврале 2023 года. Сейчас идёт строительство второй очереди проекта, всего в проекте создание 35 объектов на 10 тысяч стоек. Из этих объектов 4 ЦОДа будут размером от 400 до 1,2 тысячи стоек. Кроме Владивостока, в города, где будут находиться ЦОДы, вошли Новосибирск, Екатеринбург и Ставрополь. Также ЦОДы меньшим количеством, от 50 до 400 стоек, заявлены в других не озвученных городах России.

По словам представителей ГК «Астра», в этих ЦОДах инфраструктура создана на основе серверной OC Astra Linux, комплекса средств виртуализации «Брест» и ПО для администрирования IT‑инфраструктур ALD Pro.

Western Digital отказалась отвечать на вопросы The Verge о проблеме с твердотельными накопителями SanDisk.

Журналисты спросили компанию, почему она до сих пор продаёт проблемные диски, будет ли бесплатно восстанавливать утраченные данные, предупреждает ли покупателей о рисках и т.д.

Глава отдела по связям с общественностью Western Digital Робин Шульц прислал следующий текст:

«В ответ на недавние сообщения об опасениях по поводу конкретных портативных твердотельных накопителей Western Digital мы хотим заверить наших уважаемых клиентов, что принимаем все необходимые меры для решения любых проблем, связанных с продуктами. Мы понимаем важность нашей продукции для клиентов и очень серьёзно относимся к этим вопросам. Мы проводим всесторонний обзор, чтобы получить полное представление о проблемах».

Western Digital не сообщила, когда представит результаты своей работы над проблемами.

Между тем на компанию уже подали в суд. Авторы коллективного иска ссылаются на мошенническую и недобросовестную деловую практику, а также другие нарушения.