Как стать автором
Обновить

Комментарии 264

даже наличие бэкапа не освобождает вас от наличия бэкапа бэкапа.

В целом, у меня-то все ок. Бекап умер, но основные данные хранятся на компе. Просто нужно заново в ближайшие дни озаботиться бекапом.
Но, судя по скорости приростания комментариев на форумах — у сотен людей часто было на этом диске что-то в единственном экземпляре.

LTO прошлых поколений стоят сейчас недорого. Ленту в сейф — и спишь спокойно.

Хочется чтобы бекапы хотя бы раз в пару дней/неделю проходили

Библиотеку с роботом, MSL4048 какую-нибудь. Правда, еще FC HBA понадобится, с ноутбуком могут возникнуть сложности :)

Зачем FC? Можно спокойно взять библиотеку с SAS. Благо сама эта библиотека стоит копейки по сравнению с приводом.

А что больше нравится, оптика имхо прикольнее, но я не настаиваю.

MSL4048

А можно, пожалуйста, подробности? Гайд какой? Может ли нам как-то помочь, и сделать всё лучше/дешевле, в том числе в терминах затрат времени и tech debt?

Вводная:

* наша личная инфраструктура живёт в k3s кластере, состоящем из двух мастеров и двух слейвов.
* мастера: бесплатные VM от оракл клауда в разных стойках.
* и двух k3s слейвов: платной/дешёвой VM от OVH, домашнем «сервере» (на самом деле fanless x86_64 компьютер в microITX корпусе) — атом 4/4 с 8Gb RAM, 2xSata SSD, 4x2Tb SATA hdd in ZFS-raidz
* платном/дешёвом CloudSQL от гугла с опцией HA
* Minio через оператор с бэкэндом в AWS S3 — данные приложений итд, которые должны реплицироваться
* Бэкапы в AWS S3 (а надо бы в оракл клауд, чтобы не зависеть от возможных проблем с амазоном, т.к. данные уже в S3)
* архив в AWS glacier (предполагается, что не понадобиться никогда)
* балансер от Оракла + nginx как ingress (на обеих оракл VM)

В планах:

* дропнуть VM от OVH, и использовать самописный автоскейлер на AWS лямбде, чтобы автоматически заказывать спотовые инстансы, если домашний «сервер» будет недоступен (т.к. ресурсов для запуска всех подов на OVH VM не хватает, и не-приоритетные приложения сейчас просто недоступны пока не поднимется домашний «сервер»)
* LB не только для HTTP(ingress) но и для TCP/UDP от cloudflare (в первую очередь нужно для VPN домой и астериска)
Звучит как 100% зависимость от интернета. :)
Звучит как 100% зависимость от интернета. :)

Простите, я не поняла Ваш вопрос. У меня есть две идеи, о чём он был, пронумерую 1 и 2

1. Где лежат данные? А почему данные должны быть доступны без интернета? Мне кажется, в случае атомной войны последнее, что будет важно, это твои файлы. Мне кажется, довольно рациональным выбором, в случае выживания во время масштабных атомных ударов, если государство падёт, будет суицид, т.к. ничего хорошего меня дальше ждать не будет, вплоть до сексуального насилия, рабства, итд. А в остальных случаях, если государство не падёт, интернет будет всегда, наверное, нет? Скорее всего, и данные на S3 выживут — этот протокол Амазон разработал для случая выхода из строя серверов, и по CAP theorem он про high availability and partition tolerance. То, что данные физически находятся вне твоего дома, это даже преимущество, т.к. вероятность пожара и твоего выживания в нём, но сгорания всех твоих вещей выше, чем вероятность атомной войны. Соотвественно, те, кто хранят бэкапы дома, рискуют остаться без них из-за пожара. Если же речь о том, что облачный провайдер может дропнуть данные (по ошибке, хакерской атаке, или потому, что могут и редиски) — мне кажется, это решается тем, что данные и бэкапы нужно разделить на два разных облачных провайдера. Ну и конечно, их надо шифровать. Что-то в моей логике ошибочно?
Вообще как-то очень странно, что кто-то в 2021м году рассматривает сеть как что-то приходящее. ИМХО, Интернет уже давно расширенный фенотип хомо сапиенса (кто читал Докинза, понимает, что я имела ввиду).

2. Или Вы имеете ввиду, что у нас слишком гиковский сетап? Типа я слишком много сижу за компьютером, и выглядит он странно? На это я отвечу, что мне платят деньги за написание операторов для кубернетеса. Для меня это достаточно родная, понятная, комфортная платформа. Я же cloud engineer. У меня куча наработок с работы итд, для менеджмента этой системы я практически не трачу ресурсов своего времени, т.к. делаю ровно то, что я делала на этой и прошлой работе. Ну и плюс муж управляет SQL базой данных, у него там хранятся его данные для его скриптов/pet projects. Поэтому и мои боты для телеграма, дискорда используют этот же инстанс бд. Так же у гугла очень дешёвый HA для CloudSQL, потому, что они не используют бэкап инстанс, который всё время запущен, а синкают его диск в пределах зоны доступности, и запускают инстанс, если он упал. Ну и бэкапы тоже сделаны удобно, они автоматические, и доступны через API (и я их выдёргиваю от туда).
Так же, важнейший плюс того, как у меня всё сделано, это то, что можно довольно легко начать тестировать бэкапы — это же k3s, и там есть всё для этого, можно юзать тот же ArgoCD. Мы сейчас это не делаем, хотя для работодателя я часто писала интеграционные тесты для инфраструктурного кода, и CI/CD pipelines для тестрования бэкапов. Мне кажется, многие сталкивались с тем, что бэкапы оказались битыми. У меня такое было и на работе в прошлом, и даже с личными данными. У меня даже есть образ диска, и сам диск (HDD) умерший/посыпавшийся, на котором лежит(лежал) файл биткоин кошелька, где аж 0.5 BTC :(
Если BTC будет когда-нибудь стоить миллион, я уволюсь с работы, и попробую восстановить эти данные :)))

Предполагается, что по этому списку можно как то рекомендовать как все улучшить и оптимизировать? Сильный заход...

Да просто бэкапить куда-то надо данные всяких скриптов, телеграм, дискорд и слак ботов, файлы из nextcloud, итд. Сейчас мы это делаем в AWS S3. Может, и правда стоит купить used библиотеку?
Прежде чем делать какое-то решение, надо озвучить объем.
Для домашней фото-видео библиотеки для скриптов это очень разные подходы будут.
Терабайтов 6 все данные. Но процентов 90% этого можно заархивировать и не трогать. Главное, чтобы потом было понятно, где и что лежит. И тратить слишком много времени не хочется на поддержку этого и написание скриптов вокруг. AWS я использую и k8s потому, что я Cloud Engineer/DevOps/SRE: у меня куча готовых решений для основной работы.
А ещё, можно посмотреть в сторону Amazon Glacier — тоже оффлайн бэкапы на ленту, но без ленты.

Если на прямки подключать к записывающей головку сколько на видео кассету влезет?

без сжатия - 2-3.2 Гб, для 90-х было вполне себе

Ищи очень дорогой магнитофон стандарта D-vns фирмы jvs .На касету стандарта супер внс позволяет записывать от 15 до 25 гб.На оригинальную двнс до 55 гб.Запись сразу цифровая,но требуеться соеденение firewire ,где их сейчас найдеш.

Извеняюсь -на оригинальную

D-vhs до 50 гб,самая большая емкость,Df_480 .Что с 2х скоростью дает 4 часа архивации.(оригинал не могу чата найти,какая именно модель магнитофона,якобы можно еще было сжатие включать,но при больших обьемах проц магнитофона перегревался и зависал)

Это интересная информация) Значит потенциально можно кучу старой техники пустить на реинкарнацию) Переосмыслить переработку) Думается с современными мощностями можно смоделировать процесс записи и подобрать более емкий способ записи)

Не думую что специалисты JVS не выжали практически максимум из стандарта,да ,есть еще усовершенственный стандарт но касался он звука,и те магнитофоны редкость .Так что не думаю что стоит изобретать вилосипед.Только учитывайте кассеты D-VHS стоят(ли) совершенно космические деньги,там другая технология изготовления применялась.

А S-VHS максимальная емкость 25 гб нужно записыыать на тоже дорогую и редкую Т-240 на понеженной скорости из за этого продолжительность записи около 6 часов...А скорость записи из за механики ограничена ( ну не расчитаны она на скоростную запись,опять же маленького диаметра ролики в кассете).

Чтобы выжать максимум из стандарта, нужно помнить о стандартных устройствах проигрывания, которые не являются ryzen последнего поколения, поэтому там нужно емкость сочетать со «скоростью разжатия», чтобы на любом плеере работало
25 гиг за 6 часов — немного более мегабайта в секунду, не флоповод, конечно, но почти такая же археологическая древность.

Арвид, да, я помню. Невероятно глючный был софт, спасибо Майклу Лаврентьеву. 🤦​‍♂​

Невероятно глючный был софт


Я пользовался Арвидом с 1994 по 2003 год (10 лет).
Может я стал стар и забывчив — но никаких глюков в упор не помню.

(Арвид 1020 / Арвид 1031 / Sony SLV-XR9 — железо все и по сей день рабочее)
Пользовался 1010 и немного 1020. Тоже не помню что-то особых глюков.-Все проблемы которые были, зависели от конкретного видака.

кстати, разработчик АрВида попал под американские санкции...:-o

Несколько раз пытался смотреть в сторону Glacier, но там прайс-лист какой-то адски невразумительный. Я так ни разу и не смог разобраться, сколько же я за что в итоге должен буду платить. Отдельно оплачиваются множество всяких действий, причём далеко не всегда очевидно, как эти сугубо технические действия соотносятся с моими задачами. Ну и истории наподобие этой не добавляют уверенности.

Там 2 основных статьи расхода: хранение данных, платится помесячно и получение данных, платится когда припрёт. Остальное скорее всего будет в бесплатных квотах always free или стоить несколько центов.

То же самое, не хватает инструкции для «чайников», сколько стоит запись данных в облако и скачивание их к себе на локальную машину.
Тут говорится о цене извлечения данных за гигабайт, цене запроса к данным, цене за передачу данных. Допустим, я хочу скачать из облака один файл 100 Гб — я плачу за гигабайты или за запросы? Один файл — один запрос?
При больших (больше мегабайта) кусках все теряется на фоне стоимости гигабайта (срочного) запроса на чтение.
Но предполагается что вы туда в основном пишите, чтение только когда проблема.
Тоесть там 99.99 стоимости в нормальное время — просто стоимость места.
Посмотрите Scaleway, у них такой же, но без лукавства.

Хм, у них написано что 75гб хранилища в месяц бесплатно. Звучит как-то слишком хорошо, пробовали, работает?
Я бы туда фотки загрузил для бэкапа

Про бесплатное не знаю, я там терабайты храню.
Я бы туда фотки загрузил для бэкапа

Мы используем Amazon prime, он даёт анлимный сторадж для фотографий. К сожалению, они выпилили поддержку всех сторонних клиентов, а под Wine ни Amazon Cloud Drive, ни Amazon Photos не работают. Вместо этого я использую Bliss Os (sort of Android for x86_64), запускаемый по крону на моём десктопе (libvirt/qemu+kvm) + монтирование NFS с домашней серверной инфры (описана выше) внутрь андроида + проприетарная программка, которая обновляет медиабиблиотеку. В этом сценарии мне не нравится то, что я не осилила обновлять библиотеку сама по скрипту, проприетарная программа иногрда отваливается, а так же то, что эта виртуальная машина живёт на моём PC, а не в домашней серверной инфре (а на ней нет ресурсов запускать такое — для кубернетеса есть кубевирт оператор, который позволяет использовать libvirt + qemu, но ресурсов на нашем домашнем «сервере», особенно CPU/RAM, не так много. Впрочем, их можно было бы временно перемещать в публичное облако, на спотовые инстансы амазона). Ну и я не получаю никакого фидбэка прошла синхронизация или нет, итд, чтобы добавить это в наш инстанс прома/графаны. У меня создаётся событие в календаре проверить раз в три месяца как там синкаются фотки, и обычно выясняется, что что-то сломалось/отвалилось.

Мне хочется написать pet project вокруг браузера и selenium — сделать докеризируемый клиент для amazon cloud disk, который будет парсить вебинтерфейс cloud drive, и оперировать с ним (для загрузки в амазон фоток, составляния их списка, итд). Но нет времени, + нет полной уверенности, что за такой клиент мне понаставят звёздочек на гитхабе, а так же что амазон не найдёт способ его забанить.

С учетом цены прайма проще наверное использовать что-то более юзер-френдли и дешевле(если вам ненужен прайм сам по себе)

мы используем прайм сам по себе — быстрая доставка, удобно (мы в Канаде)
Спасибо, я и не знал, что они тоже cold storage предлагают.
А не могли бы Вы поделиться опытом, чтобы человек, не знающий вообще ничего о хранилищах S3, мог составить общее впечатление?
* Как у них это в целом организовано, как это выглядит с точки зрения конечного пользователя, какой используется софт для заливки, скачивания и управления данными? В чём вообще суть объектного хранилища, что считается объектом и как это соотносится с заливаемыми файлами?
* Если верить сайту, выходит, что надо одновременно иметь некий объём классического стораджа и заливать через него. То есть если ориентироваться на бесплатный объём, то залили 75 бесплатных гигов, перебросили в Cold, залили следующие 75 гигов… Так? И как считаются эти 75 гигов — независимо или суммарно? Если я залью терабайты в холодное хранилище, у меня останутся 75 бесплатных гигов в классическом или уже всё, при каждой заливке будут капать доп. затраты на те минуты-часы, в течение которых данные временно лежат в классическом хранилище? (Правда, в FAQ упоминается, что есть прямой доступ в Cold Storage через API, но непонятно, реализован ли этот API в каких-то готовых инструментах.)
* Требуется ли держать у них дополнительно ещё какую-то (платную) инфраструктуру, без которой доступ к хранилищу окажется невозможным или крайне неудобным? Или это целиком самостоятельный независимый сервис?
* Насколько я вижу из таблицы цен, заливка полностью бесплатна, платно только скачивание (и перенос между дата-центрами), 10 евро/Тб. Правильно ли я понял, что это плюс оплата хранения и есть абсолютно все затраты, сверх которых нет никаких дополнительных начислений?
* Ну и в целом, возможно, найдутся какие-то рекомендации, очевидные опытному пользователю, но неизвестные новичку; был бы благодарен, если поделитесь.

По опыту амазоновского S3 могу ответить на часть вопросов, все остальные это полные клоны с 90%+совместимостью по АПИ:


В чём вообще суть объектного хранилища, что считается объектом и как это соотносится с заливаемыми файлами?

файл это и есть объект


как это выглядит с точки зрения конечного пользователя, какой используется софт для заливки, скачивания и управления данными

По сути-что-то типа фтп сервера, только свой АПИ. Заливка-через веб-морду, АПИ. АПИ поддерживает сейчас множество программ, есть CLI, есть либы под все популярные языки.


Требуется ли держать у них дополнительно ещё какую-то (платную) инфраструктуру, без которой доступ к хранилищу окажется невозможным или крайне неудобным

ненужно

Конечный пользователь пользуется специальным софтом. Для Cold Storage используется s3cmd. Он напрямую заливает файлы туда. Чтобы скачать их, нужно отдать команду, которая временно перенесёт файлы на object storage. Затем через час (официально до 6 часов) скачать их тем же s3cmd.

Если пользоваться только object storage, всё вкуснее. Есть софтина rclone, умеет монтировать хранилище как виртуальный диск и шифровать на лету. Даже на винде. Есть версии под мобилы и утюги. OneDrive нафиг идёт. С неё рекомендую начать. Он может так же заливать в cold storage, но не умеет давать команду на изъятие.

Есть софт для бэкапа, умеющий пользоваться хранилищами напрямую. restic, borg-backup. первый быстр, второй сжимает хорошо. Оба шифруют перед загрузкой.

Если хочется наглядности, то под Linux есть Midnight Commander а под винду — плагины для Total Commander и Directory Opus, и платная версия FileZilla.

Ещё у scaleway есть примитивная веб морда, позволяющая загружать файлы до 2Гб и скачивать любые файлы, по одному.

Очень рекомендую не загружать в cold storage тучу мелких файлов: сожмите в архив. Иначе любая операция с этой папкой будет занимать часы и падать через раз. restic и borg это делают.

Если cold storage не нравится, рекомендую посмотреть Wasabi. У них прекрасный пакет 1Тб места плюс 1 Тб трафика в месяц 6 баксов.
В данный момент в glacier доступ Expidited retrivial 5 минут, не часы
А стоит он при этом сколько? В Scaleway — бесплатно.
Ну типичный объем восстановления в моей практике порядка 300Gb. Террабайт expidited стоит $30.
Не те деньги, которые сильно влияют.
На стоимость системы больше влияет monthly storage, оно у glacier приемлимое.

Еще $90 за "Data Transfer OUT From Amazon S3 Glacier To Internet" сверху и что-то там на API

На API там меньше доллара(ну если у вас бекап, а не мелкие файлики, меньше 100кб все равно не берет гласиер).
Трансфер-оут не применяется если вы восстанавливаете данные внутри облака.

Справедливо, я просто думал что в контексте треда мы про домашние NAS'ы говорим, а не облака :-)

Бекап с домашнего NAS в облако вообще практически никогда не должен быть востребован(есть же еще сам девайс у вас).
Тут опять так важна стоимость хранения, а не возврата. Причем у Амазона в отличии от BlackBaze и прочих скачать его можно РЕАЛЬНО на скорости 1Гбит+, а не 1-10мбит.

У меня на NAS лежат оригинылы больших файлов (всякое 3D), которые я использую на компе, потому большую часть NAS таки надо бекапить в облако (в моем случае GCS вышел оптимальным по цене).

Бекап с домашнего NAS в облако вообще практически никогда не должен быть востребован

Почему это? Или я не правильно понимаю что вы написали, или вы не учитываете кучу сценариев — пожар, землетрясение, даже обычные воры могут лишить одновременно и компьютера и NASa и даже офлайн копий на внешних дисках в шкафу. Да даже случайно пойманный шифровальщик с большой вероятностью сначала похерит копию на насе, а потом на основном компе.


Что до скорости скачивания — нормально там качается, 1-10мбит на поток, а их можно до 30 штук ставить. Я так обнаружил, что мой провайдер переключил меня на 100мбит, вместо оплаченных 300 и где-то полгода так обманывал. Но даже на сотке пара терабайт скачалась за три дня.

Бекап с домашнего NAS в облако вообще практически никогда не должен быть востребован(есть же еще сам девайс у вас).
В контексте статьи звучит очень иронично.
Ну не каждый год же такое.
Каждый год и не надо. Как раз лет за несколько фоток или других архивов накопится.
что такое землебайт? )))
GoodSync2Go не использовали для работы с S3? Хочу понять как оно в работе.
Ой, Scaleway те еще жуки, хостился у них два года, за это время они постоянно ребутали свои ноды, а ушел я от них в момент, когда они просто уронили одну из нод и попросту сказали, что восстановлению она не подлежит, включая вообще все данные, что там были. На мои возмущения порекомендовали пользоваться их услугами бекапа и дали 20 евро компенсации или что-то вроде того.

В общем, низкие цены у них не просто так. Сейчас сижу на linode и за два года не было ни единой проблемы, все работает как часы.
Кому как. За 5 лет ребутнули пару раз, предупредив за неделю. Ну и вообще, если ребут недопустим, VPS не выход. А вы в каком ЦОДе сидели? А то про Варшавский ходят легенды.

Зато у Scaleway много оригинальных продуктов. Они первыми стали предлагать в аренду маленькие железные серверы на ARM. За 3$ в месяц было на старте. Сейчас они предлагают в аренду машины на Эппловском А1 — программистам отлаживаться. Они же первыми после Амазона предложили cold storage. Сейчас какую-то фишку к Кубернетам с помпой представили, только я не в теме…
Четкие пацаны с высокими SLA сначала «разгоняют» виртуалки с ноды, потом её ребутают :)
Мы ноды и ребутали, и меняли, и обслужали без простоев. Да, надо заморочиться немного, но это реально. Не хай-тек.

А что в Glacier в ценах неврзумительного-то? Там всего 4 параметра. Есть примеры расчет у них на страничке.
Например из доки(по-моему самый типичный вариант):
Пример расчета TCO 1. Предположим, что вы загружаете 1 ПБ данных в Amazon S3 Glacier, средний размер архива составляет 1 ГБ, при этом вы никогда не извлекаете данные. При загрузке 1 петабайта данных впервые взимается плата за обработку запроса на загрузку в размере 1 048 576 ГБ x 0,05 USD / 1000 = 52,43 USD. Текущие затраты на хранение: 1 048 576 ГБ x 0,004 USD = 4194,30 в месяц или 50 331,65 в год.

Подскажите, а 5 центов это что за цена? На странице aws.amazon.com/glacier/pricing такое есть только за Data Transfer OUT From Amazon S3 Glacier To Internet (Greater than 150 TB / Month).

Если данные только загружать, но не вытаскивать, у меня вышло 4,194.30 USD USD в месяц за хранение и 31.46 USD за UPLOAD запросы (https://calculator.aws/#/estimate?id=d25ad5e2ea48f5e4840d50d86275824f48f57a27)

Разовая выгрузка будет стоить 58,967.56 USD (https://calculator.aws/#/estimate?id=4d2be5758aa3f8f8cfde3a7e7651420470af3f15), т.е. примерно как за год хранения данных.
Подскажите, а 5 центов это что за цена?

Это текст из примера, видимо там неправильная/или устаревшая цена.
Но кстати про калькулятор я забыл-это отличный вариант всем у кого есть вопросы.


Разовая выгрузка будет стоить 58,967.56 USD (https://calculator.aws/#/estimate?id=4d2be5758aa3f8f8cfde3a7e7651420470af3f15), т.е. примерно как за год хранения данных.

Естсественно надо считать что подходит, каждый сам может посмотреть. Я говорил лишь про то что тарификация довольно простая.
Цена я считаю тоже отличная для холодного хранилища, например бэкапов, которые только пишешь по факту и они обычно супер редко нужны и честно хз где дешевле.

А что в Glacier в ценах неврзумительного-то? Там всего 4 параметра.
Ну вот открыл я страницу цен, и там ох как не 4 параметра. Одних только вкладок 6 штук. Ок, на первой только цена за хранение. Вторая вкладка: цены за какие-то реквесты. Что это за реквесты? LIST — это что, за простое получение списка моих файлов оплата начисляется? Чем Standard от Bulk отличается? Почему GET-запрос находится в колонке, отдельной от Data Retrieval-запросов? Что такое тогда GET, и чем он отличается от запроса данных? Ах да, ни в коем случае не забываем ещё и про звёздочки:
** Objects that are archived to S3 Glacier and S3 Glacier Deep Archive have a minimum 90 days and 180 days of storage, respectively. Objects deleted before 90 days and 180 days incur a pro-rated charge equal to the storage charge for the remaining days. <…>

Следующая вкладка: Data Transfer. Мне как человеку незнакомому с устройством хранилищ Амазона остаётся совершенно непонятным, в каких ситуациях происходят все эти трасферы. Может, данные из холодного хранилища просто по своей природе должны быть скопированы на какое-то другое хранилище, и тогда мне придётся к стоимости пересылки данных из Амазона ко мне добавить ещё стоимость пересылки между хранилищами. А может и не придётся. Понятия не имею.

И так далее. Куча всевозможных непонятных пунктов, все со своими ценами, но неясно, какие из этих пунктов относятся к моим задачам, а какие нет. Какие являются неотъемлемой частью предоставляемого сервиса, а какие опциональны.
Ну вот открыл я страницу цен, и там ох как не 4 параметра

4:
-плата за хранение-просто цена за гигабайты
-плата за трафик(в гб)-входящий трафик бесплатный, исходящий-платный
-плата за запросы(АПИ-вызов). Платный только 1 запрос-upload, по факту — это цена за загрузку 1 файла
-плата за получение данных-т.к. это холодные данные их надо извлечь из архива и куда-то выгрузить для получения.


Для загрузки данных-вы грузите 2 архива по 1гб. Цена-2 апи запроса т.к входязий трафик бесплатный.
Хранение-цена за хранение за гб
Выгрузка. Цена-количество запросов(количество файлов по сути)+объем данных*цену передачи данных(чтобы скачать).
Пожалуй это все что нужно считать для холодного хранения данных.


Может, данные из холодного хранилища просто по своей природе должны быть скопированы на какое-то другое хранилище, и тогда мне придётся к стоимости пересылки данных из Амазона ко мне добавить ещё стоимость пересылки между хранилищами.

Да, там написано что данные выгружаются на EC2 и доступны в течении 24ч. Это и есть цена data retrieval.


Там же довольно подробный faq по каждой опции. Есть калькулятор амазоновский-можете просто вбить свои параметры и вам выдаст цену.

Google Archival Storage https://cloud.google.com/storage/archival не лучше? Хотя бы тем что достается все более менее сразу а не "заказ" как у Glacier

интересно. а калькулятора как для амазона у них нет?
У Амазона такая мутная ценовая политика с оплатой за каждый чих, что нужно долго считать, сколько будет стоить восстановление из этого бэкапа, и нужно ли оно тебе за такие деньги.

Там как-то слишком сложно шифровать, чтобы и Амазон ничего прочитать не мог, и инкрементальные бекапы работали (терабайт в неделю я не готов заливать).


У меня в итоге бекапы rsync'ом на локальный NAS и на две разных машины в хецнере, на которых бекап-раздел сделан поверх luks.

Glacier поддерживает client side encryption вашим ключем, если вы амазоновскому не доверяете.

Удивлён, что до сих пор никто не посоветовал Backblaze B2 — 5$/Tbyte в месяц, 10$/Tbyte скачивание, полная совместимость с S3, куча софта типа rclone, которая позволяет заскриптовать бэкапы (в т.ч. с шифрованием на клиенте)


Если дорого, то можно стандартный Backblaze — чисто для бэкапа домашних компьютеров — 4.5$ в месяц за полный безлимит за компьютер, если купить сразу на два года.

хм… как они могут предоставлять полный безлимит за такие деньги, в чём подвох? За 60 долларов в год можно заливать бэкап всех дисков ПК и скачивать без ограничений?

Подвох в том, что 90% пользователей не будет заливать данные терабайтами

ну как Вам сказать..


это у них не было пользователей торрентов из России с быстрым интернетом

Да, большинство пользователей не заливает туда терабайты данных, но есть конечно длинный хвост, который они со скрипом, но принципиально поддерживают.


В их пользу играет ограниченная скорость заливки (каждый поток 2 что ли мегабита из России, больше не разгоняется) и особенно, ограниченная скорость скачивания, чтобы скачать там нужно готовить зип-архив, ещё какие-то манипуляции производить, потом качаться будет весьма и весьма неторопливо (успеете все те же фильмы с торрентов выкачать). Всё это им известно, но исправлять они не торопятся, потому что дефолтный вариант для них в таком случае "закажите опцию архива на жестком диске за 250 баксов, мы DHL'ом за день вышлем, потом диск вернёте и будет рефанд почти полной стоимости".

Ограничение скорости — в принципе логично. Лишь бы файлы не удаляли при неиспользовании в течение года, к примеру.

Смотря что подразумевать под неиспользованием. Если имеется в виду, что они лежат на диске, подключенном к компьютеру, который бэкапится в бэкблейз, но их никто не открывает — то они могут лежать там вечно. Если речь о том, чтобы удалить файлы локально — они удалятся в облаке тоже (через 30 дней). Если речь о периодическом подключении внешних дисков и бэкапа их в облако — это теоретически может работать, но на практике идёт против шерсти алгоритму бэкблейза.


В целом, обычный бэкап хорош для того, чтобы иметь в облаке полную* копию компьютера с постоянно подключенными к нему дисками, не больше, не меньше. Всё остальное — только от бедности, а по нормальному — это в B2, там полностью управляешь тем, что хочешь хранить, как, как долго и т.д.


* нужно обязательно смотреть исключения в интерфейсе самой программе + там есть относительно** захардкоженные списки мест, которые не бэкапятся. У меня так пропустились файлы виртуалок и профиль хрома, где в локальных данных расширений лежало кое-что нужное.


** их не видно в интерфейсе, но ни описаны в xml-конфиге где-то в папке программы.

Подвох очень простой — если устройство с которого бэкапишь недоступно какое-то время (не помню уже точно — вроде бы месяц), то бэкап удаляется. Т.е. сервис позиционируется именно для бэкапов дисков с которыми постоянно работаешь, а не как безразмерное вечное хранилище всего, чего хочешь.

Но это касается только устройств, то есть подключаемых дисков. Если например, потерять целиком компьютер, то через месяц весь бэкап не удалят, иначе это был бы совсем бесполезный и опасный сервис.

Да, вы правы — для internal диска ограничение сейчас вроде как 6 месяцев.

Старее lto-5 они мелкие. Новее - слишком дорогие. До истерии с Chia HDD были проще, удобнее и дешевле. Только б/у lto-5 давала гигабайт дешевле, но при объемах от (примерно) полсотни террабайт. Т.е. до 100 террабайт смысла было немного, не настолько выгодно, насколько гемморойно.

С кассетами тоже не все понятно, разбег цен от 750р за LTO-5 3тб до 3000р и более.

Для инкрементальных бэкапов можно и LTO-4 и LTO-3. Терабайт 5 евро без учета привода.
Это именно для холодных бэкапов. Недостаток жесткого диска не в цене, а в том, что испортить его содержимое можно за доли секунды чисто программно. Чтобы так же запороть ленту, надо, чтобы привод ее зажевал.

Терабайт 5 евро без учета привода.

Терабайт в облаке уже 6 евро без напряга. Нафиг тогда это всё?
Вы сколько злобных буратин предпочитаете, двух или одного достаточно будет?
Двух-трёх. От разных фирм, на разных континентах. Тогда все одновременно отказать они могут только в случае третьей мировой, а там уже не до бэкапов будет.
Ну тогда и облака и лента локально.
и бункер с ПАЗ :)

Я правильно понял, вы сравнили 5 евро единовременных вложений с 6 евро абонентки? ))

Ну в общем да. Краткосрочные бэкапы всё равно долго не хранятся. А долгосрочные в cold storage ещё в разы дешевле. Но главное — без проблем автоматизируется.

Вот только не важно сколько и что хранится. За ленту заплатили один раз и повторное вложение будет не скоро когда она умрет. А абонентка вот она, жрёт деньги непрерывно.

>испортить его содержимое можно за доли секунды чисто программно.

У некоторых жестких дисков в Ата секьюрити можно выставить режим только чтение.При введение пароля включаеться запись.

вот только с лентами еще один косяк, про который все забывают — все их life expectancy — они для «стерильного» термо- и влагостатированного хранения и возможно периодической перемотки туда-сюда роботами. а в домашних условиях — «ну ой», первый же таракан выставит тебя на ремонт/покупку нового привода и возможную потерю тех самых данных, которые ты искал. не говоря уже о наших российских ±40° в течение года с соответствующими перепадами влажности и состоянием самой пленки.

если хард через пару лет лежания на полке стукнул и послал тебя лесом — его, скорее всего, за разумный прайс вычитают тебе в конторе по восстановлению данных. если кранты ленте — маалеш…

В морозильник и ничего ей не сделается сотню лет. И это не шутка, не могу сходу найти статью, где сравнивали хранение в обычном бытовом морозильнике и всякие сложные системы поддержания микроклимата и морозильник показал себя на порядок лучше — низкая температура останавливает (замедляет на какие-то дикие порядки) все процессы старения скопом. Насчёт влажности и т.д. — оно от изменения температуры, а не от постоянно низкой, но для гарантии обычный зип-лок с выдавленным воздухом изолирует 99% внешнего воздействия.

интересно… там NoFrost морозильники затрагивались или обычные?

(а так же дежурная шутка про Amazon Glacier по такому поводу)

и второй вопрос, а как их обратно оттаивать тогда?

Оттаивать так же в пакетике, нагреется постепенно до комнатной температуры да и всё.


Вообще, как я для себя понял — "глубокая заморозка" до -32 — это хардкор, в таком режиме может натурально вечность храниться практически всё, что угодно и который вряд ли нужен в обычной жизни, чай не архив для будущих археологов делаем, но и даже обычный холодильник в районе нуля градусов очень прилично замедляет деградацию чего угодно — хоть негативов, хоть семейных фотографий, хоть чеков из икеи, хоть флешек, хоть ленточек LTO.


Не думаю, что No Frost для такого хранения что-то значит.

Прямо сейчас на Авито есть по 500р, LTO-4 — по 330р
Пользуюсь дома много лет. Начал после того, как в организации шифровальщик убил сервер с бекапами.
недорого — это меньше сотки?
Если прямо сейчас на Авито — LTO-5 около 25 тыс. за привод, LTO-4 — от 6 тыс.
Если мониторить в течение полугода были варианты: LTO-5 за 15 тыс (лежал несколько недель) и 6 тыс (забрали в день публикации).
Кассеты LTO-5 прямо сейчас есть по 500р, LTO-4 — по 330р можно найти (в мае были по 300р)

На европейском eBay цены на LTO-3 от 50 евро, LTO-4 от 100, с везением можно ухватить LTO-5 за 100. SAS дороже, оптика дешевле. Если бэкапим пользовательский NAS для дома, то при аккуратной настройке бэкапа даже LTO-3 может быть достаточно (не на одну кассету, ну и что).

SAS дороже, оптика дешевле.


Интересно, почему так? FC адаптер на 4GB стоит от 500руб на авито. Этого приводу хватит с огромным запасом. Если пишем сжатое — то и 2GB хватит «за глаза»
скорости? отсутствие лишней точки отказа? ну и еще стоит помнить, что авито — это авито, там ценники всякого разного далеко не всегда следуют тем же трендам что ебей.

Что скорости ?

Точек отказа ровно столько же - вместо FC придется поставить SAS контроллер.

в My Book Live я так понимаю один диск? такое себе для бэкапов… кривые руки оказались быстрее, чем смерть hdd
Не совсем. Есть двухдисковые.

На некоторых моделях от WD с двумя дисками можно включить зеркалирование. Вот тут-то точно 100% защита данных...

Так и есть. Бэкаплю свой бэкап в Дропбокс в шифрованном виде. Правда, у меня синолоджи.


P.S. Восстанавливать шифрованные файлы пробовал — всё ок. Но надеюсь, мне никогда не придется это делать, потому что нудная, долгая процедура — пока выкачаешь, пока расшифруешь. Бррр...

Я, конечно, ни на что не намекаю, но вчера «повесился» МакКафи.

В чем логическая связь, даже если допустить некую конспирологию?

Если допустить коспирологию, то там где-то рядом рассказы про терабайты компромата, который должен теперь якобы всплыть.

Он обещал опубликовать 31 GB данных компромата.
ФБР узнали что он хранит его на WD Book, но не знали на каком…
Не благодарите :)

4 терабайт данных «спущено в унитаз»… Сначала перестал определяться и раскручиваться, вытащил диск, подключил к десктопу, Win7x64 сообщила что диск не инициализирован. Ни одна из известных программ для восстановления данных, не может обнаружить ни одного файла…
А бекап?
Вся ирония, что именно с этого диска, делался следующий бэкап… Наработка диска 180 часов. Диск полностью чист, такое ощущение что таблица размещения файлов хранилась где то в другом месте.

Правильно понял, что смотрели хексредактором непосредственно содержимое секторов?

Какая там ФС была? R.saver пробовали?

Есть возможность показать специалистам по восстановлению данных непосредственно в офисе или по удалёнке? Очень уж интересно что там устройство при обновлении с пользовательскими данными делает. Если можно будет восстановить - сделаем бесплатно, за удовлетворение любопытства.

P.S. Оказывается нам такой уже собираются привезти на восстановление, посмотрим. Но предложение всё равно в силе, раз сделано.

Оказывается нам такой уже собираются привезти на восстановление, посмотрим

Отпишитесь пожалуйста (по возможности, разумеется), что там с файловой системой случилось?

Не привезли пока, они решили сами попробовать софтом типа UFS Explorer. Как только подвернётся какой-то случай такого рода, и владелец устройства не будет возражать против публикации данных о его случае, отпишем и сюда и, если отчёт получится длинным, в виде отдельной статьи.

Насколько я помню, в этих устройствах по умолчанию используется ext4, причем с размером блока 16384

Можно тогда UFS Explorer триалку взять и посмотреть найдёт что-то или нет. Или напрямую содержимое секторов посмотреть. Может там диск целиком заполнен нулями и что-либо искать смысла нет.

R.saver пробовал. Не помогло. Удаленно к сожалению не получится, да и сам анализ диска занимает около 12 часов…

Стоит хексредактором посмотреть. Возможно там одни нули. Где вы территориально? Если в Москве, могли оперативно разобраться что там к чему. Если интересно, я вам отправил контакт в личку.

Попробуйте EaseUs data recovery.в демке она показывает,что может восстановить после сканирования.после уже можно думать о покупке. Мне несколько раз в прошлом только она помогала

Скажите пожалуйста, откуда вы выловили фразу "с большинства"?
Ну, кроме желания собрать побольше плюсиков на кликбейте.


И добавьте, пожалуйста, ссылку на официальную реакцию, которой "нет": https://www.westerndigital.com/support/productsecurity/wdc-21008-recommended-security-measures-wd-mybooklive-wd-mybookliveduo

Это заявление в конце приведено, взял с сайта www.bleepingcomputer.com/news/security/wd-my-book-nas-devices-are-being-remotely-wiped-clean-worldwide. офф ссылку добавлю, её не было ни в теме на форме, ни в гугле.

Не смотря на то что я был зареган на их сайте и в их облаке — никаких предупреждений мне не приходило.

«с большинства» — вся серия live и live DUO зааффекчена точно. Если их не выдернуть из инета — заафектятся все)

Нет там такого. "Модель или серия подвержена уязвимости" совсем не равно "с большинства устройств удалены данные", уверен, вы это понимаете.


Уберите, пожалуйста, кликбейт из заголовка. Или найдите подтверждение.

Не уверен что корректное описание бага все же.
У меня IP MyBook наружу не прокинут (хотя к wd my cloud я его подключал). Много коментариев что он за фаерволом и без подключения к myCloud.
<img src="http://mybooklive/api/1.0/rest/language_configuration...">

вполне эксплуатируется за фаерволом и вполне может быть, что на тех же форумах или прямо тут на хабре
Так CORS и не блокирует сами запросы, он только блокирует странице доступ к чтению результата запроса, если ответ не содержит заголовки, одобряющие доступ.

вот поэтому для себя и тех на кого мне не насрать я делал файлопомойки сам, какой нибудь freenas или банальный debian сам не накатит никакую малварепрошивку на себя без твоего ведома

какой нибудь freenas или банальный debian сам не накатит никакую малварепрошивку на себя без твоего ведома

Думаю, в WD тоже были уверены в своём софте, и содержали целый штат безопасников, следящих в том числе и чтобы малвари не проникли на сервер обновлений :)
от атаки типа man-in-BIOS никакие антивирусы не спасут, а от шайтанама-одиночки — и безопасники
От любой атаки спасает вырубленное питание. Включил — бекапнул — выключил. Ещё ни с одного выключенного харда удалённо не удалось удалить данные :)
РПГ-7 с вами не согласен.
Это уже не удалённо :) МБР Trident II вот могла бы поспорить ещё…
Т.е бэкап куда?
На Вояджер?!

А разве канала хватит чтобы сотнями мегабит на Voyager лить? -:)

содержали целый штат безопасников, следящих в том числе и чтобы малвари не проникли на сервер обновлений

Бизнес любит резать косты, и гораздо меньше любит считать риски. Не факт, что там есть хоть 1 безопасник.


Вспомните все эти IP камеры, со вшитым рутовым паролем и открытым telnet/ssh.

То в основном китайцы, и не удивлюсь если это требование китайских спецслужб. Хотел бы сказать «как в сша», но у меня пруфов таких нет (про циску например читал несколько лет назад, в том числе что некоторые баги молча закрывают, а некоторые, в том числе с пруфами, отрицали до последнего), а гуглить нет уже сил.

Не, одно дело трудноуловимый баг, который включается каким-нибудь хитрым пакетом, а другое дело открытый всюду порт, и внутри ничем не защищённая прошивка с паролем в плейнтексте.

Настолько уверены, что обновляли прошивку 5 лет назад?

разница в том что если я сломаю свою хранилку то я сам дурачёк и это мои проблемы
но вот так вот умершая сама по себе хранилка это уже за пределами добра и зла

Они говорили мне — зачем ты делаешь самосборный NAS. Говорили — купи WD MyBook и не парься…
облака и фирменный нас с централдизованными апдейтами — это надежно, говорили они, самосбор это фуфуфу и колхоз, дооо…
А всё проще. Не важно, на чём сделаны отдельные элементы. При условии выполнения формулы 3-2-1 потеря любого элемента не скажется ровно никак. А однажды ломается вообще всё, и диски физически, и пожары в дц, и осыпавшиеся ленты, и кражи, и рейдерские захваты… Однажды может быть вспышка на солнце например, или просто мощный ЭМИ выхлоп…
Только независимость нескольких копий может обеспечить сохранность, а не эти «купи ХХХ, нет собери сам...»
Лучше перебдеть, как говорится.
А готовые решения — это быстро и просто в большинстве своём, дешевле (в том числе по времени сотрудников) на внедрение и сопровождение брать готовое, чем пилить своё и поддерживать, поддерживать… Если это не основной профиль работы компании конечно.
Мне апдейт прилетел час назад.

Апдейты автоматом ставятся?

Использую чистый Debian на своем WD My Book Live уже несколько лет, благо заменить им родную прошивку достаточно простая задача.

А там что, внутри x86_64 проц? Какой-нибудь слабенький селерон или даже атом?

Там православный PPC емнип.

cat /proc/cpuinfo отдает такую инфу:
cpu: APM821XX
clock: 800.000008MHz
platform: PowerPC 44x Platform

Да, что-то такое было. Я не стал свой заводить, щас нет времени доступ в интернеты ограничивать.
А расскажите плз в двух словах, каким способом дебиан накатывали там?

В другой теме, по этой новости отписал уже: habr.com/ru/news/t/564662/#comment_23190654

Повторюсь, не изобретал методику с нуля, делал по мануалам, но со своими мелкими правками. Если приведет к проблемам — ответственности не несу! В инете до сих пор полно инструкций и куда более детальных.
Мда… никогда такого не было, и вот опять. Придётся прийти домой и проверить этот сервер. Хорошо, что большую часть данных я отправил на другой NAS-сервер на базе малинки.
А как вы к малинке диски подключаете, по usb?
Я подключил док-станцию для жёстких дисков от Orico через USB 3.0 (очень короткий кабель). Вмещает до пяти дисков. А диски подключил из того, что есть. В основном, от фирмы WD. Зелёные.
эм… а в какуб цену она вам обошлась, если не секрет?

Док-станцию за 5683 рублей из Китая я изначально покупал для подключения к моему компьютеру. А сами диски покупал очень давно.

Малинка хоть с одного диска на 100мб/сек читать в состоянии? Про сразу 5 потоков по 100 уж и не спрашиваю.

Ну с пяти дисков одновременно 100 МБ/сек точно не получить. Узковат USB 3.0 и гигабит. Но 100 МБ/сек с диска точно реально. Максимум, что сумел выжать — 120 МБ/сек на большом файле. Копирование с диска на диск в пределах сервера любым файловым менеджером — где-то 30-50 МБ/сек. Но это зависит от размеров файлов. Передача данных от клиента к серверу и обратно варьируется примерно 20-100 МБ/сек в зависимости от размера файлов.

Спасибо за ответ. Малинка 4ая?

Да, малинка 4-я. С 8 ГБ ОЗУ на борту.

Сейчас есть малинка с одним PCI-E. В неё втыкают HBA и подключают 8 дисков. Получается умеренно бодро. подходящий адаптер стоит чуть больше самой той малинки.

Ага, нашел, через плату расширения к компьют модулю. Или вот так по хардкору https://mysku.ru/blog/china-stores/84533.html

Raspberry Pi – это распиаренная муйня с кастрированными интерфейсами. Есть более производительные и сравнимые по стоимости платы с M.2 на борту, например ROCK Pi 4.
забавно. Что-то мне это напоминает) Я общался с ними однажды и понял что там нечего ловить т.к. там дали много полномочий совсем юнцам
вполне закономерный итог. Поставили у руля детей — получите-распишитесь.

По-хорошему, NAS это промежуточный уровень бэкапа, с которого ценные данные нужно раскладывать по нескольким удаленным хранилищам.

Это действительно хороший микс надёжности и удобства. Но если этот NAS слетит, то вся последующая цепочка накроется. А если он слетит без аварийных сообщений - то когда понадобится восстановиться, владелец может увидеть, что последний бэкап был сделан дни/недели/месяцы назад.

Люди делятся на 2 типа:

0. Те кто еще не делает бэкапы
1. Те кто уже делает бэкапы
2. Те кто делает бэкапы и контролирует целостность

  1. Те кто делает 3 версии бекапа и держит их в 3-х географически разных местах

Еще те, которым уже нечего бэкапить и они просто тихо рыдают в подушку.
(в процессе) 5. Те кто делает 4 версии бекапа и держит их в 3-х географически разных местах, и четвертую на Марсе
А такая древность как Western Digital My Book World Edition II 2Tb пострадала, есть сведения?
А такая древность как Western Digital My Book World Edition II 2Tb пострадала, есть сведения?


Дома много лет валяется без дела Western Digital My Book World Edition 500 GB (WDG1NC5000) — самый-самый первый.
Может мне стоит его включить и посмотреть на результаты? :)
А проверьте.
А проверьте.


Проверил
image


Девайс 2007 года — времена доисторические: софт был записан на сам диск, USB там для красоты для подключения внешнего диска, доступ к устройству только через Ethernet, поскольку бекапа софта спустя столько лет уже не найти (на сайте ВД, насколько я помню — его сроду не было) — систему завести не удалось.

Заодно поднял старые форумы, вспомнил хорошо забытое старое: «со всех концов страны мы слышим стоны» (с) — данное изделие было весьма глючным и страшно медленным.

Но корпус, да, все еще отлично смотрится. Думаю выкинуть старую плату и заменить ее на что-то поновее, благо места внутри хватит (терабайт так на 8...10).
Если верить старой вики — тут должны быть файлы (только для зарегистрированных пользователей):
mybookworld.wikidot.com/rescue-procedure
Инструкция как раз для вашей модели (blue ring).

Альтернативно — файлы доступны здесь (и, вроде, содержат всё нужное): wd.hides.su/wd/MyBookWorld/Recovery2
Если верить старой вики — тут должны быть файлы (только для зарегистрированных пользователей):


Спасибо, это очень интересно.
Но вчера, окунувшись в воспоминания — я вспомнил, почему в свое время разобрал этот девайс и использовал его хард стандартным способом- там очень слабое «железо», система, даже для 2007 года, была тормозной.
Плюс мне просто интересно переделать его в что-то более современное, благо корпус и внутренний металлический каркас (крепление 3,5" харда внутри пластикового корпуса) — т.е. самое трудоемкое в изготовлении, уже есть.
А если автоматические обновления отключены — тоже кирдык?

Да. Видел на форуме пострадавших с отключённым "удалённым доступом" через интернет и отключёнными автообнвлениями.

Только сегодня увидел тему, полез проверять свой MyBookLive 2Tb (автообнвления и «удалённый доступ» через интернет отключены) — меня не задело…

к сбросу настроек до заводских, который, по всей видимости

Они не уверены в собственной функции?

"Ой, мы забыли её протестировать, когда делали 10 лет назад, видимо, она удаляет данные".

Хорошо что я давным давно подменил стандартный OpenVPN который лезет на серверы WD за обновлениями на свой, который соединяется с коммерческим VPN сервисом. Если мне не прилетит сброс до заводских настроек, значит и правда обновление, а не хакерская атака.
2 ежедневных бэкапа критической информации на другой диск, еженедельный бэкап важной в два облака, ежемесячный полный на чередующиеся полочники.
Привычка с тех пор, когда бэкап был вида «7 ежедневных флопиков + еженедельный + ежемесячный + полугодовой».
Проблемы будут в случае пожара, но это станет относительно небольшой проблемой. Плюс важная информация всё равно в облаках. Впрочем, всё собираюсь комплект полочников родичам в другой город отвезти. Похоже, пора.

Это настолько жёсткий косяк, что может обернуться банкротством. Репутационные потери невероятные

"Репутационные потери невероятные" - какие могут быть репутационные потери у монополиста? Может еще кто-то возьмется диски пилить. Небезизвестный южнокорейский гигант сделал подход, но понял и тихонько без грохота сбросил попытку.

Это не диски, а домашний NAS - система хранения/бекапа. Она сама по себе, даже пустая, как пара винтов стоит. Сейчас посмотрел в ближайшем ларьке - система на 2 диска 15к рублей.

И получается:

  1. Всех имеющихся клиентов с этими моделями компания потеряет, плюс какие-то новые к ней не придут "по совету друзей".

  2. Вероятно большое количество судебных исков, а это раздувание скандала и повод конкурентам вытеснить WD с рынка NAS. Им даже не надо будет хвалить себя.

  3. Ну и по мелочи: Жёсткие диски тоже иногда просят кушать новую прошивку, а доверие к "бренду" в корпоративном сегменте упадёт. Переносные диски возможно просядут чутка. В рознице это больше на совести продавцов в магазинах.

Таким образом наш мульти-форматный шаверматорий превращается обратно в "лепёшки из тандыра".

Эмм, а как доверие к dahua/hikvision после мирая и прочих упало?
" а что вы хотите за эти деньги?"
Всех имеющихся клиентов с этими моделями компания потеряет, плюс какие-то новые к ней не придут «по совету друзей».


В эпоху 1,6 Гб винтов (AC31600, 1996) у WD была реально глобальная проблема (ключевое слово — «оверлей»).
И кто сейчас про нее помнит? :)
У них ещё была проблема с нарушением «герметичности», которую решал моток изоленты.

Я помню переполнение лога в баракудах и до сих пор обхожу стороной Seagate, хотя может там уже всё хорошо. Так что тут как в анекдоте про козу, да :)

Вот Яндекс-диск поудалял инфу на дисках C: у клиентов. Включая винду.
Что с клиентами? Все разбежались?..
На удаление попали доли процента, при каких то специфических сочетаниях. У меня к примеру их софт багованной версии тогда стоял и ничего не снёс. А потом они всем у кого стояла данная версия накинули 200Гб в диске. Я ими всё ещё иногда пользуюсь, никто не отбирал.
Что и требовалось доказать: никто никуда не побежал. Я тогда еще эникеил, и помню внезапный вал звонков: все пропало, комп не грузится, что делать — что делать…

И здесь то же самое будет: через пару лет, по очередному подходящему случаю, вспомнят, что что-то вроде было, да вроде и пострадали те доли процента, у которых интернет работал в это время…
Так проблема WD в том, что о критической уязвимости(которой судя по всему и воспользовались хацкеры) знали уже три года, но на старые устройства(Серия My Book Live и DUO) прошивку так и не обновили, думали и так сойдёт.
Так это таки обновление или таки хацкеры?
Ближайший от меня NAS, я думаю, километрах в тридцати находится, поэтому руку на пульсе я не очень держу. Если знаете подробности, не затруднит кинуть ссылку?
WD показывает пальцем на хацкеров, автор публикации на кривое обновление. Истина где то посередине.
при каких то специфических сочетаниях
использование админской учётки для обычного сидения в соцсеточках.
использование админской учётки для обычного сидения в соцсеточках.
Это доли процента?
Надо же, куда грамотность компьютерная шагнула. Никогда бы не подумал.
Не помню, мне усиленно кажется, что пострадало больше всего на xp и тех, кто уак отрубил напрочь типа, а их среди пользователей прям ядиска могло быть не так много.
Если честно, я тоже уже не помню всех деталей. Помню, что мне позвонило заметное количество народа. А яндекс-диск, как и до него дропбокс, имел привычку заводиться в системе «сам по себе». Ковыряешь машину у клиента, спрашиваешь, для чего использует — клиент на тебя смотрит удивленно: в первый раз, дескать, слышу.
И еще Яндекс признали, что это был их косяк (практически сразу признали).
А WD, получив проблему, во-первых не признают ее («это хакеры атакуют клиентов, мы не причем»), а во-вторых не торопятся исправлять (багованная прошивка продолжает раздаваться).
Да, за это им честь и хвала (без всякой иронии).
Тут сегейты больший процент брака, чем у прочих стабильно имеют по многим кому известной статистике, и ничего, пользуются.
Собственно, вариантов для HDD и не осталось, сегейт, вд и тошиба. Так что если только по рынку домашних насов ударит.
Репутационные потери невероятные

Производитель потыкает пальчиком в EOL на девайс и по «доброте душевной»​ выкатит прошивку, где именно эта дыра не будет работать, а заодно выкатит новую «суперустойчивую» линейку. Может даже «со скидками». Вот и все потери.
Так будет или нет — покажет время. Хорошо, если ошибаюсь.
Больше всего меня в подобных новостях поражает то, что уж сколько было подобного на протяжении последних 20 лет и всё равно люди упорно не хотят отказываться от автоматических обновлений! Я понимаю, что не хочется отвлекаться пару раз в год на обслуживание, обновляться-то всё равно нужно с целью безопасности. Но тут уж либо так, либо так вот как получилось в очередной раз.

Отказ от автоматическх обновлений - зло.

Решается это всё раздельным накатыванием обновлений. Накатили, подождали, следующей порции накатили и так далее. Эффект будет как от ручных обновлений - пострадавших в разы меньше.

Вот у кучи людей есть ОДИН NAS. Как тут раздельно накатывать? Или это должен делать производитель? Ну так он много чего должен, а по факту «проблемы индейцев шерифа не волнуют». В данном случае получается, что никакое это не зло, если этим заниматься периодически.

Ну у меня Synology. В настройках "уведомлять об обновлении", "Уведомлять, загружать, НЕ устанавливать автоматически", "автоматически ставить обновления".

У меня стоит вариант 2. И постоянно, когда мне прилетает уведомление об обнове, я жму ссылочку "об обновлении" и читаю что там нового. И как обычно в дате обнов вижу, что обнова выкачена 10-15 дней назад, а получил уведомление о ней только сегодня. Вот и безопасное время, за которое обновы можно анулировать, за счёт тех, кто сразу их ставит.

Правильно. Это то, что я имел ввиду — вы сами лично этим занимаетесь. Это не раздельное обновление и не отложенное. Это в чистом виде ручное. Просто вы делаете это не по некоему графику, а минимизируя время ожидания сразу после выхода обновления.

А в чём вообще смысл накатывания обновлений на работающую систему?

Ну, если бы обновление исправляло уязвимость, позволяющую удаленно сбросить устройство к заводским настройкам, попутно удаляя данные - то, возможно, стоило бы :)

А то вот, говорят, Petya распространялся с использованием той же уже пропатченой уязвимости, что и появившийся несколько ранее WannaCry

Примерно с такой логикой парочка федеральных сетей медлабораторий на пару недель встали полностью, под ударом шифровальщиков. Зачем ставить заплатки, особенно от дырок нулевого дня. Ну что ж может случиться, если не поставить обновку, которая вышла уже месяц назад?
Сумм потерь мне трудно представить.
Отказ от автоматическх обновлений — зло


Не согласен — ровно год назад мой HP Laserjet Pro 400 Color MFP M475dn (это 2013 г.в.) получил автоматом некое обновление, после чего хоть и не превратился в кирпич, но работать перестал совсем.
Мало того, что ремонт обошелся довольно дорого (замена форматера), так еще ко всему добавились и физические мучения, так как данный девайс не только много весит (29.5 кг), но и обладает неслабыми габаритами (420 x 483 x 500 мм, и подъезд у нас со ступеньками, до кучи).
Естественно, нынче путь получения автоматических обновлений для него закрыт.
HP это вообще отдельная тема. Более отвратительной принтерной техники еще поискать, по крайней мере для домашнего применения.
Недавно купленный принтер отказывался что-то напечатать до тех пор, пока я не зарегистрировал аккаунт в HP!!! При том само это приложение HP Smart глючное и тормозное донельзя, такое ощущение что любой школьник сделает подобное лучше, чем огромная корпорация.
А через две недели оно решило что чернил в нем нет, и пришлось все переставлять заново.
HP это вообще отдельная тема. Более отвратительной принтерной техники еще поискать, по крайней мере для домашнего применения.


Не говорите — я вчера написал текст выше, а сегодня внезапно пришлось забирать из ремонта HP P3015dn (надо было, наверное, сплюнуть :)
Это совсем не домашний девайс, но в ремонт катается регулярно (на этот раз — датчики). Хорошо только одно — он весит всего 16 кг :)
На месте ждал сюрприз — принтер издавал странные звуки и не работал. Поскольку возвращать этот пуд в сервис желания не было — пришлось доставать бубен… оказалось, что лоток для бумаги был отрегулирован на чуть больший (пара миллиметров) размер, чем А4.
Этого оказалось достаточно для этого чуда техники.
А мне что-то подсказывает, что большинство выбирает то, что по дефолту стоит и не разбирается в деталях. И не потому что глупые или беззаботные, а потому что если во всём разбираться то мозги закипят и лопнет голова :)
С одной стороны да, так и есть. С другой стороны — это сильно зависит от конкретного человека. Я тоже ТО на машине не сам делаю. Но есть ряд вещей которые я делаю только лично сам, среди них — обслуживание тормозных суппортов. И мне так спокойнее и прецедент, к сожалению, был, который только упрочнил правильность такой схемы) У меня сама по себе ОС ни на телефоне, ни на ПК не обновляются. Время обновления выбирается, делается предварительный полный бэкап, накатываются обновы. И мимо меня проходят проблемы с удалением данных, BSOD'ам винды от кривых драйверов nVidia, неработающим телефоном из-за кривого Android System WebView и т.д. Я это всё из новостей или с хабра узнаю. Понятно, что если у тебя сервер, на который завязан бизнес, то обновлять его раз в год — очень плохая идея. Но, позвольте, это уже бизнес. Должен быть админ, который за этим следит в оперативном режиме. А вот схема этого слежения может быть точно такая же.

Да, где-то там, в идеальном мире, вендоры тестят обновы в хвост и гриву на своей обширной тестовой сети и раскатывают их волнами, чутко и оперативно контролируя работоспособность. Но вот, этот мир от нашего как-то неблизко)
У меня сама по себе ОС ни на телефоне… не обновляются
Нет обновок на андроид асусом — нет проблем
Должен быть админ, который за этим следит в оперативном режиме.
Должен. Много чего должно быть, вот только когда по миру пролетели пару шифровальщиков, причём по крупным компаниям в том числе, дырка от которых МСом была закрыта заранее, тоже показали МСу, что
Но вот, этот мир от нашего как-то неблизко)
Я вот не понимаю. Зачем покупать домашний NAS и подключать его к автоматическим апдейтам прямо из инета.
Если NAS подключен к инету, то лучше уж сразу в облаках хранить.
А все апдейты — руками, и желательно после первого-второго патча к апдейту (потому что если NAS не в инете, то критичного ничего не должно быть)
так один раз купил и всё. абонентка на облако в год выйдет по цене такой железки.
Я к тому, что если это не облачное решение, а свое локальное, то я бы на таком автоматические обновления не ставил в принципе. Только руками и не сразу после выхода нового патча.

у меня все стерли, но там дело не в обновлении. оно с 15 года не обновлялось. это железка начала десятых.

Если NAS подключен к инету, то лучше уж сразу в облаках хранить.

Чтобы сэкономить, вестимо.
Собрал себе бэкап систему сам и сплю спокойно.
Orange Pi 4 в качестве базы, к ней подключен жесткий диск, плата подключена к гигабитному роутеру кабелем и шарит диск по smb. Работаю дома на ноуте, вайфай 5 ГГц дает 200+ мегабит. С помощью macrium reflect бэкаплю системный и рабочий разделы два раза в день инкрементально, раз в неделю дифф, раз к месяц фул. Инкременты делаются 5-10 минут и не мешают работе. Периодически проверяю целостность бэкапов. На плате крутится скрипт который с помощью rclone выгружает созданные бэкапы на backblaze.
Итого у меня есть быстрый доступ к бэкапу если вдруг понадобится, а так же резерв в облаке.
Перед установкой любых обновлений винды или драйверов всегда делаю инкреметный бэкап, так спокойнее.
А мб проще им не подключать NAS к интернету, нет подключения к сети интернет нет и проблем, все логично же.
Вот смотрю я на свой домашний NAS (старый сервак с TrueNAS) и ехидно посмеиваюсь, читая подобные новости. Но вы продолжайте покупать готовые решения, да.

Зря хохочешь, сходит твой трунас за таким же отравленным апдейтом на сервер и тютю

А где я написал, что у него есть доступ в интернет? Раз в год даю доступ и апдейчу, при отсутствии новостей о проблемах.

Что тебе мешает также делать с Сабжем?
И почему ты думаешь, что если новостей нет, то в апдейтах нет зловредного кода? А если он есть, но с отложеным запуском?

Эх, в очередной раз порадовался своим «глупым» (в противовес модным, молодёжным и «умным») решениям бэкапить каждый день на USB HDD и ротировать их.
Вполне показательная ситуация, когда производитель старается из утилитарной вещи (файловый сервер) сделать нечто блестящее с блэк-джеком и шл***ми. Что там обновлять на файловом сервере? Самба и НФС существуют давным давно и исхожены вдоль и поперёк. Обновления приходят для увеличения красочности плюшек и устранения багов индусский кодеров. Ну и кто виноват что куплено такое уст-во? Человек. Поскольку создать простое и надёжное файловое хранилище он не в состоянии и вынужден покупать блестящую штуку в которой скрестили ужа и ежа. И самое печальное во всем этом то, что разрыв между навыками человека и сложностью уст-ва растёт со страшной силой. ИМХО.
Я думаю, что Western Digital принимает это решение, учитывая все, что сегодня является наиболее важным для любой известной ИТ-компании. Безопасность и защита данных так важны для каждого пользователя. В области ИТ-технологий компании стараются больше развиваться в этом вопросе. видео потоковые приложения , работающие над этим в строгом режиме безопасности.
На сколько важно, чтобы NAS смотрел в интернет? Для домашней файлопомойки вообще противопоказано.

Не совсем понимаю, зачем тогда NAS? Для меня NAS это личное облако. Я не хочу отдавать свои файлы Яндексу/Гуглу/Амазону/..../, и постоянно изучать их лицензионные соглашения, ждать/гадать когда там и по каким причинам меня заблочат или урежут место, или... У меня есть Synology, у меня есть доступ к моим файлам всегда, ну за исключением двух раз, когда однажды провайдер упал, а в другой раз сменил статик ip. Зачем мне NAS не подключенный к интернету я не понимаю, тогда уж диск лучше подключать по USB.

Ну как раз чтобы не подключать ничего проводами. Личное хранилище доступно каждому локально, у каждого члена семьи работают автоматические бекапы, т.е. вот это всё, кроме доступа из вне. Зачем удалённый достук к личным бекапам? На сколько критично восстановиться на новом оборудовании не приходя домой? Секретные рабочие файлы отлично живут в криптоконтейнерах у гуглов и яндесов, если там, конечно, не гигабайты секретной информации.
Итак, бекап должен быть:
1. на отдельной от рабочих данных машине
2. территориально отдельно, в другом офисе/городе/стране
3. на машине с иной операционкой (на случай окирпичивания операционки где данные)
4. на машинах с разными операционками, разных производителей
5. на машине с иным процессором иной архитектуры (во избежание Спектрум-подобных атак)
что еще не указал?

Достаточно 1 и 2, только добавить офлайновости — типа внешнего диска лежащего в сейфе в другом месте или write-only хранилище (когда новые версии файлов не перезаписывают старые, а кладутся как новый объект).


У меня подобная система — домашний сервер/нас, из него автоматически в бэкблейз (и немного на onedrive, для более "горячих" данных) и периодическая копия на 2 внешних диска, один из которых лежит 99% времени в шкафу, а другой отвозится в соседний город и они меняются местами с какой-то частотой (поехал в гости — захватил диск, отвез, поменял, сделал копию на привезённый). Полгода назад спасло от развалившегося рейда и, к сожалению, пригодились все компоненты — доставал данные и из облака и с внешних дисков, но всё равно кое-какую мелочь упустил и не смог восстановить.

На другой планете, в другой галактике )
Тогда и в разных галактиках, так как неизвестно что с галактикой Х может быть? Вдруг в черную дыру упадет.

И еще один в другой вселенной. А то вдруг наша схлопнется в "истинный" вакуум.

мда, такой же как на картинке. после новости полез проверять — не отвечает…
удобно было складывать фотки со всех телефонов. теперь все фотки тютю.
очень обидно, если еще восстанвоить не удастся…
В чем разница между копировать бекапы на домашний NAS и копировать бекапы на подключенную флешку/внешний HDD?

На флешку меньше влезет, чем на NAS. Ну и чисто технически — NAS тоже в каком-то смысле "подключен" к компьютеру, только другими, более длинными проводами или через радио.

Внешний SSD/HDD

Если говорить про внешние хдд с одним диском, то это опять же меньше объём, отсутствие избыточности. Если про блок с несколькими дисками, то это по сути тот же нас, только подключается другим кабельком и его на несколько устройств одновременно не подключишь.


А если смотреть чуть шире бэкапов, то NAS даёт больше разных сервисов и люди покупают его ради этих сервисов и бэкап просто один из них.

В чем разница между копировать бекапы на домашний NAS и копировать бекапы на подключенную флешку/внешний HDD?

NAS и DAS: первое — это сетевое устройство, т.е. возможен доступ с более чем с одного хоста; второе — та самая пресловутая флешка или внешний hdd, прямое подключение к хосту и отсюда монопольное использование.
Разве что, использование несколькими устройствами (при их наличии).

Нo NAS стоит ощутимо дороже дисков, входящих в него, кроме того, постоянное фоновое энергопотребление и тепловыделение.
Нo NAS стоит ощутимо дороже дисков, входящих в него, кроме того
Нет, NAS на один диск как правило стоит дешевле диска, который в нем стоит.
Here’s the weird part: those external drives are sometimes less expensive than the bare version of the same drive. That means if you keep your eye on sales, you can easily score a batch of hard drives for 50% off the retail price if you’re willing to get your hands dirty and shuck those drives out of their enclosures.

Даже сайты для мониторинга их цен уже сделали (сейчас не актуально из-за chia): shucks.top
Не скажу за готовые NAS, их наверное берут за компактность и внешний вид, но самосборный NAS у меня, например, крутится на ZFS с ECC памятью, ежемесячными scrub-ами. Поскольку рабочая система у меня на Windows, ей такая продвинутая ФС не светит, и лично я не раз доставал из шкафа диски на NTFS с архивами 7z, которые отказывались распаковываться, после года-другого холодного хранения, поэтому СХД без регулярных проверок данных я не доверяю принципиально. А руками ворочать и проверять эти диски регулярно: а в чем смысл? Небольшая экономия?..

Если система на основном компе полетит целиком — NAS останется жить (все же прошивку NAS обновляют реже и левого софта там — меньше.


Для NAS иметь файловой системой ZFS / BTRFS — это более менее нормально, а у них есть такие штуки как периодическое сканирование данных на предмет bit rot и восстановление.На основном компе так тоже можно. Если он под Linux.


NAS в принципе не обязан подключатся как сетевой диск если ПО бекапа умеет работать как то еще.


На NAS (нормальном) много чего еще есть.


Иногда — преимущества внешних HDD — просто теряются. Пример — на macOS можно делать загрузочный клон диска (если что — с него грузимся и клонируем назад). Можно БЫЛО. На маках с M1 еще вопрос — получится ли с внешнего устройства в принципе загрузится (тут например важно — это TB3 устройство или USB3), при этом если внутренний накопитель в принципе поврежден — с внешнего загрузится не выйдет. А файлы копировать можно и на NAS (особенно если он умеет Time Machine прикидываться), все равно придется ставить систему (возможно через Internet Recovery) а потом с Migration Assistant'ом развлекатся.

в качестве наса можно использовать какой-нибудь HP microserver gen8, накатав на него какой-нибудь дистрибутив соответсвующий (фринас, омв или даже синолоджи)

Можно конечно. И это еще и дешевле будет чем аналогичная по мощности Synology.
А еще можно много ECC-памяти воткнуть и иметь ZFS со всеми прибамбасами включая и дедубликацию.

Там до 16, если не ошибаюсь.
Вот gen10 plus можно ещё больше, но цена на них вообще не гуманная.
С одной стороны обзор бы запилить, а с другой после превращения Хабр в дзен и площадку для антивакцинаторов и вичдиссидентов — желания даже простую распаковку нового микросервера сюда выкладывать никакого.
Имхо, для NAS (для чистого nas), лучше гоняться на gen7 — по питанию на порядок экономичней, нет вопросов с перегревом, после замены куллеров (корпусного 120 c нестандартной распиновкой и 40x20 в бп), весь шум — только шелест винтов. При этом ECC 4x4Gb. Да и цена — заметно дешевле gen8
Эм, у меня там коре i5 и шума я не замечал. А вот то, что кроме наса из него можно сделать тот же мультимедиасервер и ему мощности хватит — по мне так сильный плюс
Любопытно, кто-нибудь подаст коллективный иск против Western Digital?
Удивляет удивление автора. А серверы WD не могли взломать, чтобы возыметь доступ к базе пользователей?
Во вторых, а чему удивляться? Любое устройство с кучей сервисов и помогалок для хомяков, которое работает на основе онлайн-сервисов производителя — это потенциальный риск. Да, удобно. Но без пруда не вытащишь и рыбки из пруда. Это касается не только WD — завтра кто-нибудь по умным домам какой-нибудь Салями полазает, одним дом затопит, другие в порыве изготовления очередного члена семьи процесс своего увлекательного крафта в ютубе обнаружат. Это вполне себе допустимо в случае с публичными сервисами с централизованным управлением.

есть какие нибудь новости? как, чем данные лучше восстановить?

и можно ли устройство дальше использовать? или опять wipe будет?

https://www.westerndigital.com/support/productsecurity/wdc-21008-recommended-security-measures-wd-mybooklive-wd-mybookliveduo (в конце):

... For customers who have lost data as a result of these attacks, Western Digital will provide data recovery services. Western Digital is also offering My Book Live customers a trade-in program to upgrade to a supported My Cloud device.

Ну или вытащить диск, примонтировать и вытащить файлы каким нибуть undelet-ом, потом заново залить образ...

Много вопросов, как вы его словили? Вы регистрировали накопитель и его как то нашли через WD? или был открыт веб-доступ? Я без всего этого спокойно и без проблем использую, поправил только /var/www/Admin/webapp/includes/languageConfiguration.php и /var/www/Admin/webapp/classes/api/1.0/rest/system_configuration/system_factory_restore.php

программа восстановления закрылась 31 июля, да и диск отправлять куда то не хочется.

что настраивалось уже не помню, лет 7 назад было. к диску был доступ извне через офиц моб приложение. проброса портов в роутере точно не было, поэтому доступ видимо обеспечивался через сервера WD. хотя они пишут что хакеры сканировали порты и искали жертв...

а с win PC можно восстановить? без линукса. Или из виртуалки?

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.