Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 125
А в сторону Synology не смотрели? Почему остановились на QNAP?
Когда выбирал первый NAS, интерфейс у QNAP показался более удобным. А в работе частенько руководствуюсь принципом: «Работает-не трогай»
Synology как-то подозрительно подтормаживать стала в своём развитии. HDMI-выхода у них нет, большой вентилятор они для охлаждения использовать не хотят, да и x86-процессоры ставят лишь в самые топовые модели. Плюс, цены на Qnap в России получаются получше.
Ну а в остальном что Qnap, что Synology — функциональность аналогична. Ещё и ASUStor есть очень похожий.
Ну а в остальном что Qnap, что Synology — функциональность аналогична. Ещё и ASUStor есть очень похожий.
Операционка DSM прекрасно ставится на любой х86. Достаточно загрузиться со специального образа XPenology и поставить штатную ось с помощью штатной утилиты. Даже патчить образ не надо, и образ и установщик берётся прямо с сайта синолоджи. Я её не использую только потому, что проприетарщина, но если вам это не проблема — всё делается за 10 минут без каких-либо особых требований к навыкам.
Речь не про софтовую часть, а про железку, которая у Synology развивается медленно. А к DSM никаких претензий нет — там всё на современном уровне вполне, а чего не хватает — добавляется через плагины. Просто исходный-то вопрос был о том, чем Qnap лучше Synology.
Многие выбирают Synology за «свой локальный дропбокс», видеонаблюдение «из коробки» и мобильные приложения «из коробки». И вообще в DSM (ось от синологии) регулярно появляются приятные плюшки.
А железо и правда «консервативное» по функциональности.
Неприятно только то, что при 90%+ заполнения дисков синология начинает жутко тормозить. Не знаю, как там у QNAPP.
А железо и правда «консервативное» по функциональности.
Неприятно только то, что при 90%+ заполнения дисков синология начинает жутко тормозить. Не знаю, как там у QNAPP.
QNAP в этом плане приятнее — просто выскакивают оповещения в интерфейсе (забивал на 97%) и на почту приходят уведомления, если настроить.
Видеонаблюдение на две камеры, кажется, идет по умолчанию. Для дополниельных камер просто докупаются лицензии, про свое облако я писал… в общем-то идут параллельными курсами
Видеонаблюдение на две камеры, кажется, идет по умолчанию. Для дополниельных камер просто докупаются лицензии, про свое облако я писал… в общем-то идут параллельными курсами
У меня самосборный NAS, полностью устраивает и менять на что-то готовое не хочется, разве что сделать небольшой апгрейд, о котором дальше.
Корпус — Bitfenix Prodigy: под mini-ITX маму, с 5 отсеками 3.5, шестой винт можно по-советски положить в 5.25 или заюзать переходник на 3.5, и три «кармана» 2.5 для SSD. Мать — на интегрированном AMD C-70 (аналог Атома) с гигабитной сетью. Винты — 4 зелёных трёхтерабайтника WD в двух софтовых RAID1. ОС — OpenMediaVault, установленная на две 8ГБ флешки, чтобы не тратить саты.
Теперь по поводу апгрейда: у процессора нет AES-NI, поэтому бутылочное горлышко возникает в скорости работы LUKS. Однако у большинства материнок miniITX с нужными процессорами только две саты, так что придётся брать ещё и PCIE контроллер.
Корпус — Bitfenix Prodigy: под mini-ITX маму, с 5 отсеками 3.5, шестой винт можно по-советски положить в 5.25 или заюзать переходник на 3.5, и три «кармана» 2.5 для SSD. Мать — на интегрированном AMD C-70 (аналог Атома) с гигабитной сетью. Винты — 4 зелёных трёхтерабайтника WD в двух софтовых RAID1. ОС — OpenMediaVault, установленная на две 8ГБ флешки, чтобы не тратить саты.
Теперь по поводу апгрейда: у процессора нет AES-NI, поэтому бутылочное горлышко возникает в скорости работы LUKS. Однако у большинства материнок miniITX с нужными процессорами только две саты, так что придётся брать ещё и PCIE контроллер.
BitFenix Prodigy — это вообще вершина корпусостроения. Я его под vmware сервер использую.
Для хранения — да, но по поводу «вообще» — не могу согласиться. Материнка-то детская. Для числодробилки на видеокарте ещё можно. Для шлюза, медиаприставки или чего-то подобного такая тумба тоже не нужна — маленький mini-ITX корпус, с одним винтом и slim-блоком питания.
Да ладно уж, прям так и вершина.
А как же AeroCool Dead Silence Cube
А как же AeroCool Dead Silence Cube
Дорого. Настоящий гик соберёт себе NAS сам.
В крайнем случае — купит HP Microserver за 220 евро вместе с доставкой.
В крайнем случае — купит HP Microserver за 220 евро вместе с доставкой.
Можете подсказать, где именно по такой цене можно купить?
В Ситилинке по 17к, только что смотрел. Примерно так и будет в евро.
17990 ;)
Чёртовы маркетинговые девятки. Я до сих пор не умею их правильно интерпретировать при беглом взгляде :(
Я думал взять в ситилинке (правда тот, что за 18990, с четырьмя гигами). Но посчитал — и с доставкой он бы мне в 19500 обошелся бы, да еще полдня тратить на поездку до ближайшего пункта выдачи заказов.
Потом решил подождать месяц, но сэкономить 3000. Заказ у немцев обошелся примерно в 16200, придёт на почту.
Потом решил подождать месяц, но сэкономить 3000. Заказ у немцев обошелся примерно в 16200, придёт на почту.
www.computeruniverse.ru/products/90620980/hp-proliant-microserver-gen8-819185-421.asp — 193, плюс 29 за доставку (придет по почте). ну там еще 3-5 евро комиссия за оплату, то есть 225-227 будет.
Либо можно взять в ситилинке — у них много куда доставка есть, но там несколько дороже будет:
www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/servers/851611 — 18 тысяч
www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/servers/327304 — 19 тысяч
Различие в количестве оперативки, 2 и 4 гигабайта. У немцев 4 гигабайта.
Но даже покупка микросервера в ситилинке обойдётся дешевле, чем покупка упомянутого в статье NAS.
Либо можно взять в ситилинке — у них много куда доставка есть, но там несколько дороже будет:
www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/servers/851611 — 18 тысяч
www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/servers/327304 — 19 тысяч
Различие в количестве оперативки, 2 и 4 гигабайта. У немцев 4 гигабайта.
Но даже покупка микросервера в ситилинке обойдётся дешевле, чем покупка упомянутого в статье NAS.
Пользовался дома Gen8. Продал через месяц. Очень шумный, если использовать дискретный контроллер дисков. Тогда его встроенная система не может мониторить температуру дисков и повышает скорость вращения вентиляторов примерно до 30%, что очень дофига и громко. Если исмпольовать все встроенное и диски, которые отдают температуру по смарт, то все ок. Жить можно.
Ниже сказали, что это уже исправлено.
В крайнем случае можно поменять вентилятор на более тихий, там даже паять ничего не надо, просто закоротить два контакта.
В крайнем случае можно поменять вентилятор на более тихий, там даже паять ничего не надо, просто закоротить два контакта.
Нет не решена. Ниже говориться про AHCI режим. Я же говорю про отдельный контроллер.
Если вы поставили дискретный контроллер, то и замену кулера осилите. Иначе какой вы гик после этого? :)
Я пошел несколько дальше поставив свой контроллер и на вентилятор. А потом обратился в поддержку HP, что и стало окончательным решением об отказе использовать эту платформу.
А я не вижу смысла из-за таких мелочей отказываться от довольно выгодного предложения.
Самосбор аналогичный будет не дешевле, как минимум. А цены мощные NAS'ы вообще в два-три раза выше. Да даже простенький длинк четырехдисковый стоит столько же.
Самосбор аналогичный будет не дешевле, как минимум. А цены мощные NAS'ы вообще в два-три раза выше. Да даже простенький длинк четырехдисковый стоит столько же.
Смысл есть всегда. Теперь у меня 64Гб оперативной памяти на платформе micro-ITX. Да, ценник выше, но не на много.
Вы там web-сервер подняли или кучу виртуалок запускаете?
Много виртуалок. Небольшая домашняя лаборатория.
А какой софт используете для виртуалок?
В зависимости от задачи, чаще всего бесплатный ESXi но есть и XEN/KVM/Openstack. ESXi потому что проще всего без бубна удалось запустить nested virtualization. На остальных тоже заработало, но намного позже.
Внутри разный софт для работы с сетями, около 30 инстансов маршрутизаторов. Трафик генератор. Большой NAS, который раздает потом диски по iSCSI, и содержит много еще чего сервисного, как web сервер например. Несколько машин, которые грузятся по iSCSI. RADIUS сервер.
Внутри разный софт для работы с сетями, около 30 инстансов маршрутизаторов. Трафик генератор. Большой NAS, который раздает потом диски по iSCSI, и содержит много еще чего сервисного, как web сервер например. Несколько машин, которые грузятся по iSCSI. RADIUS сервер.
Если вам надо 64 гигабайт оперативки, то микросервер — это просто не ваше предложение. Он всё же микро.
Таможня заработает на посылках
За покупки в зарубежных интернет-магазинах дороже €22 предложено доплачивать €15
Задумался о срочной покупке.
За покупки в зарубежных интернет-магазинах дороже €22 предложено доплачивать €15
Задумался о срочной покупке.
В Киеве MicroServer 7-го поколения реально купить за $100
Что-то мне подсказывает, что микросевер будет громче, даже если производительнее.
У меня есть микросервер в том числе — самая громкая деталь в нем — жесткий диск.
Вот тут Вы правы. Стоит такой в шкафу уже третий год. Не скажу, что его прям очень слышно, но в полной тишине вполне себе ощутимо шуршит. Но правда и возможностей у него на порядок больше :)
Вентиляторы там негромкие, а если хочется, то можно и на совсем бесшумные поменять. Но это, конечно, если вы туда не засунете xeon погорячее. :)
Особо оценил TS-451 за здоровый кулер и средние 450 об\мин при активной работе :)
Microserver G7 почти бесшумный (после замены вентилятора в БП).
А вот с G8 извращенцы из НР наизвращались и скорость вентилятора завязали на RAID. То есть если винты не в RAID'е, то вентилятор постоянно крутится на максимальных. А если создать RAID из одного диска, то вентилятор скидывает скорость до 10-20%.
Что-то там на счет того, что биос не может измерять температуру винтов не в RAID'e.
А вот с G8 извращенцы из НР наизвращались и скорость вентилятора завязали на RAID. То есть если винты не в RAID'е, то вентилятор постоянно крутится на максимальных. А если создать RAID из одного диска, то вентилятор скидывает скорость до 10-20%.
Что-то там на счет того, что биос не может измерять температуру винтов не в RAID'e.
а датчика температуры нет? или ручного управления вентиляторами через тот же биос или внутренний софт?
Так проблема в том, что температуру биос умеет брать с винтов только если они в RAID'е.
А если не знает температуру, то считает, что она высокая — потому и крутит вентилятор на максимальных оборотах.
Но вообще лично меня шум не особо волнует — всё равно сервер стоит в прихожей, чтобы не тянуть далеко в комнаты входящие кабели от всех провайдеров.
А если не знает температуру, то считает, что она высокая — потому и крутит вентилятор на максимальных оборотах.
Но вообще лично меня шум не особо волнует — всё равно сервер стоит в прихожей, чтобы не тянуть далеко в комнаты входящие кабели от всех провайдеров.
Вы ошибаетесь. Ответственно заявляю что в биосе 2014-го эта проблема решена. Теперь скорость регулируется и для AHCI режима. Настраивал такой сервер на прошлой неделе. И как раз ставил туда xpenology.
Шум сервер издаёт только при старте, раскручивая вентиляторы до максимальных оборотов. Потом работает весьма тихо.
Шум сервер издаёт только при старте, раскручивая вентиляторы до максимальных оборотов. Потом работает весьма тихо.
Это хорошо. У меня самого-то пока G7, G8 щупал в прошлом году, но себе созрел заказать только сейчас. Несколько часов назад выпущен с таможни в Калининграде. :)
Если соберетесь устанавливать XPEnology и будут вопросы — можете задавать.
Помню, долго бился, пытаясь заставить клавиатуру работать. А не нужно было ;) Ведь после загрузки все управление через локалку! Такой мелкий нюанс, про который почти никто не пишет.
Помню, долго бился, пытаясь заставить клавиатуру работать. А не нужно было ;) Ведь после загрузки все управление через локалку! Такой мелкий нюанс, про который почти никто не пишет.
XPEnology точно ставить не буду, мне полноценная ОС нужна.
Для удаленной работы?
Мне не хватает только браузера в интерфейсе QNAP, чтобы удаленно серфить — бывает такая необходимость. VPN делать пока не хочу
Мне не хватает только браузера в интерфейсе QNAP, чтобы удаленно серфить — бывает такая необходимость. VPN делать пока не хочу
Задачи — роутинг с поддержкой нескольких каналов, файлопомойка с автоматическим дублированием отдельных папок на разных дисках, торренты, виртуальные машины, vpn-сервер. Изредка — удаленное подключение для получения собственного рабочего стола (браузер там, офис, еще по мелочи что-нибудь).
Может быть еще plex media server поставлю, хотя пока не решил, нужно ли оно мне.
Может быть еще plex media server поставлю, хотя пока не решил, нужно ли оно мне.
А я вот уже лет 5 сижу на iOmega ix4-200d. В процессе эксплуатации (после того, как EMC продала iOmega компании Lenovo) перешил устройство в ix4-200d Cloud Edition. Полет нормальный. Единственный недостаток — поддержка далеко не всех дисков. Да и на сайте производителя HDD support matrix именно для моей модели просто нет в природе. А так, да — NAS — это здорово!
Тема бесперебойного питания для NAS совершенно не раскрыта.
Или такая задача не ставилась?
За статью спасибо, было интересно
Или такая задача не ставилась?
За статью спасибо, было интересно
А что особенного в бесперебойном питании для NAS'ов? Вопрос в получении данных с бесперебойника?
С UPS проблем то никаких, вставляете usb кабель от UPS в NAS, он определяется и работает. Synology DS1812+ \ APC ES 700G
У меня бесперебойник простой на 1000 VA — его заряда хватает на 8-12 часов. Любые авралы переживал.
Всё, что останавливает от самостоятельной сборки NAS — это необходимость ещё одного приложения на телефоне. С гуглом всё понятно — драйв идёт в комплекте, плюс Google Photos это очень удобно — захотел показать родственникам — расшарил в два клика. Покупаю 100 Гб для всей домашней коллекции хватает пока. Если бы можно было подключить собственное хранилище, но чтобы получать доступ через инфраструктуру гугл — было бы идеально.
Можно синхронизировать папку на NAS c Google Drive. Но в этом случае, конечно, от гугловских ограничений по объёму никуда не деться. Ну и в качестве альтернативы доступ через Web-интерфейс всегда есть.
Доп приложение — эт не страшно, если сделано грамотно. QNAP еще пару лет назад не очень заморачивался с софтом под смарты, а сейчас утилиты вполне толковые. Особенно удобно по пути домой ставить новые торренты на закачку.
Synology спокойно синхронизируется с облачными файлосервисами. Очень удобно — купил один терабайтный аккаунт на дропбоксе, засинхронизировал на NAS, и туда весь офис ходит за файлами.
Стесняюсь спросить, что вы такое огромное храните, что скоро 12Тб забъёте?
Попробую ответить за автора, ссылками в тему
geektimes.ru/post/256806
bash.im/quote/411292
geektimes.ru/post/256806/#comment_8576442
Ну и вот здесь, кажется, совсем ненормальный:
extrememediaservers.blogspot.com
geektimes.ru/post/256806
bash.im/quote/411292
geektimes.ru/post/256806/#comment_8576442
Ну и вот здесь, кажется, совсем ненормальный:
extrememediaservers.blogspot.com
Вставлю свои 5 копеек. Имею 6 кунапов в офисе. Старшие модели — TS-EC1279U (27 Тб доступного пространства в рейд6) и TS-EC2480U-RP (114 Тб доступно в рейд6). Мой вывод — для средней компании эти девайсы совершенно не пригодны. ИМХО кунап более чем на 2 или 4 (с натяжкой) диска — брать смысла нет никакого. Поясню:
прошивка кунапа основана на Linux (который очень знатно почикали). Но с какого-то перепугу там нету даже LVM. Управлять квотами эффективно нельзя — а это значит, что любой юзер у которого етсь доступ до вашего НАСА может положить всех юзеров, которые имеют доступ к тому же волюму. А по скольку гибко волюмами упроавлять вы не можете (LVM-то нет — вы врятли заходите разбивать ваши диски на много волюмов т.к. в этом случае вы будете терять впустую свободное место)
Нет поддержки снапшотов
Репликация работает очень плохо.
В прошивках имеются баги, которые проявляются особенно заметно под нагрузкой. Чего только стоит отвал всех волюмов при высоком IO.
Иногда отваливается вебморда — как выход — ребут.
Техподдержка вам понравится, если вы домашний юзер и не знаете как жамкать мышкой по вебморде.
Сообщения вида
5261950.895372] EXT4-fs (dm-0): error count: 1
[5261950.896221] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5261950.897097] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5348207.181484] EXT4-fs (dm-0): error count: 1
[5348207.182353] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5348207.183240] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5434463.850787] EXT4-fs (dm-0): error count: 1
[5434463.851701] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5434463.852518] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5520720.529023] EXT4-fs (dm-0): error count: 1
[5520720.529855] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5520720.530680] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5606977.187554] EXT4-fs (dm-0): error count: 1
[5606977.188435] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5606977.189277] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5664324.422063] Set msys_nodify as 31743
[5664324.422937] Set msys_nodify as 31743
[5665809.126359] file[3237]: segfault at f74a63ac ip 00000000f7658da9 sp 00000000ffe54b34 error 4 in libc-2.6.1.so[f75f1000+12e000]
[5665809.131380] file[3239]: segfault at f747d3ac ip 00000000f762fda9 sp 00000000ff9eab24 error 4 in libc-2.6.1.so[f75c8000+12e000]
и
[109168.814261] EXT4-fs (dm-0): ext4_da_update_reserve_space: ino 1449200770, allocated 2 with only 1 reserved metadata blocks
[109168.814262]
[109168.815954] ------------[ cut here ]------------
[109168.816753] WARNING: at fs/ext4/inode.c:294 ext4_da_update_reserve_space+0x230/0x250()
[109168.817566] Hardware name: QV99
[109168.818346] Modules linked in: iscsi_tcp(O) libiscsi_tcp(O) libiscsi(O) scsi_transport_iscsi(O) iscsi_target_mod target_core_file target_core_iblock target_core_mod fbdisk(O) 8021q uvcvideo videobuf2_vmalloc videobuf2_memops videobuf2_core v4l2_common videodev v4l2_int_device snd_usb_caiaq snd_usb_audio snd_usbmidi_lib snd_seq_midi snd_rawmidi fnotify(PO) udf isofs iTCO_wdt rtcmod(O) cryptodev(O) thfsplus(O) tntfs(PO) ufsd(PO) pl2303 usbserial i915_hsw i2c_algo_bit drm_kms_helper drm intel_agp intel_gtt intel_ips agpgart flashcache(O) qdm_main dm_thin_pool dm_persistent_data dm_bufio hal_netlink(O) coretemp igb(O) e1000e(O) mpt3sas(O) mpt2sas scsi_transport_sas raid_class usb_storage xhci_hcd usblp uhci_hcd ehci_hcd
[109168.823562] Pid: 22304, comm: flush-253:0 Tainted: P O 3.4.6 #1
[109168.824439] Call Trace:
[109168.825328] []? ext4_da_update_reserve_space+0x230/0x250
[109168.826224] [] warn_slowpath_common+0x8b/0xc0
[109168.827115] [] warn_slowpath_null+0x15/0x20
[109168.827977] [] ext4_da_update_reserve_space+0x230/0x250
[109168.828870] [] ext4_ext_map_blocks+0x199b/0x1a30
[109168.829743] [] ext4_map_blocks+0x10a/0x390
[109168.830700] []? __switch_to+0x146/0x3f0
[109168.831647] []? _raw_spin_lock+0x9/0x10
[109168.832500] [] mpage_da_map_and_submit+0xd4/0xc00
[109168.833355] []? mpage_da_map_and_submit+0x6dc/0xc00
[109168.834204] []? read_tsc+0x16/0x40
[109168.835053] []? start_this_handle+0x4a7/0x4c0
[109168.835876] []? _raw_spin_lock_irqsave+0x2f/0x50
[109168.836713] []? delayacct_end+0x85/0xa0
[109168.837538] []? find_get_pages_tag+0xc1/0x150
[109168.838365] [] mpage_add_bh_to_extent+0x75/0xe0
[109168.839184] [] ext4_da_writepages+0x61b/0xa70
[109168.839997] [] do_writepages+0x33/0x70
[109168.840774] [] writeback_single_inode+0x10e/0x2a0
[109168.841582] []? _raw_spin_lock+0x9/0x10
[109168.842386] [] writeback_sb_inodes+0x145/0x230
[109168.843181] [] __writeback_inodes_wb+0x84/0xc0
[109168.843964] [] wb_writeback+0x1d3/0x1e0
[109168.844720] [] wb_do_writeback+0x108/0x1a0
[109168.845501] [] bdi_writeback_thread+0x66/0x140
[109168.846271] []? inode_wb_list_del+0x80/0x80
[109168.847022] [] kthread+0x99/0xb0
[109168.847754] [] kernel_thread_helper+0x4/0x10
[109168.848517] []? kthread_freezable_should_stop+0x60/0x60
[109168.849269] []? gs_change+0x13/0x13
[109168.850012] ---[ end trace 2bf021b85307c12f ]---
поддержкой игнорируются начисто. Никаких коментариев кроме «у вас что-то сломалось?» — нет. Как по мне это очень похоже на кернел баг, но я не девелопер и расшифровать не могу.
Сейчас я очень озадачен тем, как поставить на эти железки FreeNAS или хотя бы обычный Linux. Да, меня покусал ZFS и да, я считаю RAID устаревшей технологией. При современных объемах данных использовать RAID не очень эффективно.
Накипело.
прошивка кунапа основана на Linux (который очень знатно почикали). Но с какого-то перепугу там нету даже LVM. Управлять квотами эффективно нельзя — а это значит, что любой юзер у которого етсь доступ до вашего НАСА может положить всех юзеров, которые имеют доступ к тому же волюму. А по скольку гибко волюмами упроавлять вы не можете (LVM-то нет — вы врятли заходите разбивать ваши диски на много волюмов т.к. в этом случае вы будете терять впустую свободное место)
Нет поддержки снапшотов
Репликация работает очень плохо.
В прошивках имеются баги, которые проявляются особенно заметно под нагрузкой. Чего только стоит отвал всех волюмов при высоком IO.
Иногда отваливается вебморда — как выход — ребут.
Техподдержка вам понравится, если вы домашний юзер и не знаете как жамкать мышкой по вебморде.
Сообщения вида
5261950.895372] EXT4-fs (dm-0): error count: 1
[5261950.896221] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5261950.897097] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5348207.181484] EXT4-fs (dm-0): error count: 1
[5348207.182353] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5348207.183240] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5434463.850787] EXT4-fs (dm-0): error count: 1
[5434463.851701] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5434463.852518] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5520720.529023] EXT4-fs (dm-0): error count: 1
[5520720.529855] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5520720.530680] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5606977.187554] EXT4-fs (dm-0): error count: 1
[5606977.188435] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5606977.189277] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5664324.422063] Set msys_nodify as 31743
[5664324.422937] Set msys_nodify as 31743
[5665809.126359] file[3237]: segfault at f74a63ac ip 00000000f7658da9 sp 00000000ffe54b34 error 4 in libc-2.6.1.so[f75f1000+12e000]
[5665809.131380] file[3239]: segfault at f747d3ac ip 00000000f762fda9 sp 00000000ff9eab24 error 4 in libc-2.6.1.so[f75c8000+12e000]
и
[109168.814261] EXT4-fs (dm-0): ext4_da_update_reserve_space: ino 1449200770, allocated 2 with only 1 reserved metadata blocks
[109168.814262]
[109168.815954] ------------[ cut here ]------------
[109168.816753] WARNING: at fs/ext4/inode.c:294 ext4_da_update_reserve_space+0x230/0x250()
[109168.817566] Hardware name: QV99
[109168.818346] Modules linked in: iscsi_tcp(O) libiscsi_tcp(O) libiscsi(O) scsi_transport_iscsi(O) iscsi_target_mod target_core_file target_core_iblock target_core_mod fbdisk(O) 8021q uvcvideo videobuf2_vmalloc videobuf2_memops videobuf2_core v4l2_common videodev v4l2_int_device snd_usb_caiaq snd_usb_audio snd_usbmidi_lib snd_seq_midi snd_rawmidi fnotify(PO) udf isofs iTCO_wdt rtcmod(O) cryptodev(O) thfsplus(O) tntfs(PO) ufsd(PO) pl2303 usbserial i915_hsw i2c_algo_bit drm_kms_helper drm intel_agp intel_gtt intel_ips agpgart flashcache(O) qdm_main dm_thin_pool dm_persistent_data dm_bufio hal_netlink(O) coretemp igb(O) e1000e(O) mpt3sas(O) mpt2sas scsi_transport_sas raid_class usb_storage xhci_hcd usblp uhci_hcd ehci_hcd
[109168.823562] Pid: 22304, comm: flush-253:0 Tainted: P O 3.4.6 #1
[109168.824439] Call Trace:
[109168.825328] []? ext4_da_update_reserve_space+0x230/0x250
[109168.826224] [] warn_slowpath_common+0x8b/0xc0
[109168.827115] [] warn_slowpath_null+0x15/0x20
[109168.827977] [] ext4_da_update_reserve_space+0x230/0x250
[109168.828870] [] ext4_ext_map_blocks+0x199b/0x1a30
[109168.829743] [] ext4_map_blocks+0x10a/0x390
[109168.830700] []? __switch_to+0x146/0x3f0
[109168.831647] []? _raw_spin_lock+0x9/0x10
[109168.832500] [] mpage_da_map_and_submit+0xd4/0xc00
[109168.833355] []? mpage_da_map_and_submit+0x6dc/0xc00
[109168.834204] []? read_tsc+0x16/0x40
[109168.835053] []? start_this_handle+0x4a7/0x4c0
[109168.835876] []? _raw_spin_lock_irqsave+0x2f/0x50
[109168.836713] []? delayacct_end+0x85/0xa0
[109168.837538] []? find_get_pages_tag+0xc1/0x150
[109168.838365] [] mpage_add_bh_to_extent+0x75/0xe0
[109168.839184] [] ext4_da_writepages+0x61b/0xa70
[109168.839997] [] do_writepages+0x33/0x70
[109168.840774] [] writeback_single_inode+0x10e/0x2a0
[109168.841582] []? _raw_spin_lock+0x9/0x10
[109168.842386] [] writeback_sb_inodes+0x145/0x230
[109168.843181] [] __writeback_inodes_wb+0x84/0xc0
[109168.843964] [] wb_writeback+0x1d3/0x1e0
[109168.844720] [] wb_do_writeback+0x108/0x1a0
[109168.845501] [] bdi_writeback_thread+0x66/0x140
[109168.846271] []? inode_wb_list_del+0x80/0x80
[109168.847022] [] kthread+0x99/0xb0
[109168.847754] [] kernel_thread_helper+0x4/0x10
[109168.848517] []? kthread_freezable_should_stop+0x60/0x60
[109168.849269] []? gs_change+0x13/0x13
[109168.850012] ---[ end trace 2bf021b85307c12f ]---
поддержкой игнорируются начисто. Никаких коментариев кроме «у вас что-то сломалось?» — нет. Как по мне это очень похоже на кернел баг, но я не девелопер и расшифровать не могу.
Сейчас я очень озадачен тем, как поставить на эти железки FreeNAS или хотя бы обычный Linux. Да, меня покусал ZFS и да, я считаю RAID устаревшей технологией. При современных объемах данных использовать RAID не очень эффективно.
Накипело.
Про RAID вы так зря. У вас еще не подыхали три диска из четырех в RAID 10 :)
Админы делятся на тех, кто еще не делает бэкапы и на тек, кто уже делает (с)bash.org.ru
Админы делятся на тех, кто еще не делает бэкапы и на тек, кто уже делает (с)bash.org.ru
А как вы обеспечите сохранность данных в процессе износа винта? Я вот, напротив, не представляю себе, как можно хранить ценные данные не на рейде. Логика проста: конкретно взятый винт может сдохнуть внезапно, а два винта вряд ли сдохнут настолько одновременно, чтобы не успел среагировать админ. Отказал винт — спокойно выключил NAS и пошёл в магазин.
Некоторые системы не отключаются годами. Винты меняются на горячую. Поэтому только дублирование! Лучше трехкратное. Позволяют финанскы — четырехкратное.
Вы не решите задачу сохранности данных только лишь использованием рейда. У рейда есть свои проблемы. В данном случае следует упомянуть о том, что при ребилде рейда вероятность потерять все данные в массиве относительно высока. В случае ZFS например — файловая система сама будет заботиться о целостности данных в т.ч. будет решать т.н. проблему cold data corruption. Вы уверены, что ваш рейд контроллер решает эту проблему? Я — нет. Об этом писали на хабре еще году в 2008-2009. Например при создании аналога рейд0 при помощи ZFS в отличии от простого рейда сбойный блок на одном из дисков не приведет к полной потере данных. Вы потеряете только один файл, и вы будете знать какой. Так же рейд не защитит вас от ошибочных действий пользователя — например если кто-то удалит ваши файлы — то рейд тут не поможет. А если вы используете ZFS и снапшоты — вы легко переживете такую оказию.
RAID — это не сохранность данных, а бесперебойность доступа к ним. Сохранность — это бэкапы.
Если вы выключаете систему при проблемах в RAID'e, то он вам не нужен. Лучше второй винт под бэкапы использовать — поможет не только в случае смерти винта, но и в случае, если что-то удалите, не так сохраните и т.п.
А RAID нужен тогда, когда вам нужна круглосуточная доступность. Сдох один из винтов — заменили, не выключая систему. Бэкапов это не отменяет.
Если вы выключаете систему при проблемах в RAID'e, то он вам не нужен. Лучше второй винт под бэкапы использовать — поможет не только в случае смерти винта, но и в случае, если что-то удалите, не так сохраните и т.п.
А RAID нужен тогда, когда вам нужна круглосуточная доступность. Сдох один из винтов — заменили, не выключая систему. Бэкапов это не отменяет.
У меня боевой сервак на RAID 5, другой сервак на RAID 10. С обоих каждую ночь идут бэкапы на один NAS. И этот NAS дублируется вторым, стоящим за много километров… на всякий случай :)
И это… я не параноик, я из тех, кто «уже делает бэкапы»
И это… я не параноик, я из тех, кто «уже делает бэкапы»
Тут где-то считали, что после выхода из строя первого диска в рейд5, вероятность выхода из строя (или возникновения ошибки чтения) может достигать 25%?
Ну и если в уравнение добавить SSD, то все может стать еще веселее. Тут сразу выяснится что определенные типы рейдов использовать практически бесполезно и что ваш контроллер скорее всего не сможет загрузить SSD по полной.
Ну и если в уравнение добавить SSD, то все может стать еще веселее. Тут сразу выяснится что определенные типы рейдов использовать практически бесполезно и что ваш контроллер скорее всего не сможет загрузить SSD по полной.
собирал на сервере RAID5 в 2009 году. С тех пор менялись только правила файрвола, да добавлялись пользователи, настраивались группы. В начале этого года сдох винт, узнал это случайно от бухгалтерии (что-то 1С начала подтормаживать). Поменял сдохший винт и запустил Rebuilding. Больше бед не знаю. RAID на SSD — это из разряда небедной фантастики :)
У меня важные базы данных крутятся на первых и десятых рэйдах, файлопомойки — на пятых.
Но бэкапов всё это не отменяет. Причем тоже хотя бы в пару-тройку разных мест.
Но бэкапов всё это не отменяет. Причем тоже хотя бы в пару-тройку разных мест.
Вас не смущает, что концепт рейда появился где-то в 80х годах? А кто-то может еще припомнить похожие имплементации из 60х.
И еще — тут выяснилось, что в этих топовых кунапах используются дешевые дисковые контроллеры десктоп-класса. Те, которые можно найти в дешевых десктопных мамках.
Подробности тут:
https://forums.freenas.org/index.php?threads/can-i-install-freenas-on-qnap-ts-ec1279u-and-or-ts-ec2480u-rp.39490/
Подробности тут:
https://forums.freenas.org/index.php?threads/can-i-install-freenas-on-qnap-ts-ec1279u-and-or-ts-ec2480u-rp.39490/
У меня самосборный NAS из китайского «атомного» неттопа и коробки на 8 дисков Mediasonic Probox, подключенной по USB3.0.
Ну и ищё ИБП до кучи.
На неттопе помимо функций NAS развёрнута ещё куча сервисов.
Ну и ищё ИБП до кучи.
На неттопе помимо функций NAS развёрнута ещё куча сервисов.
То есть такой контроллер наверняка исключает RAID-массивы, а скорость чтения\записи ограничены производительностью контроллера sata-usb3. Не замеряли скорости чтения\записи при работе по сети?
RAID можно сделать программный, либо сразу взять коробку с аппартной поддержкой RAID (у них есть такие, у меня просто JBOD).
Основная задача — отдавать контент, т.е. больше чтение, чем запись. И в этом случае скорости для гигабитной сетки хватает с запасом головой. Запись же порядка 40-60 МБ/с. То есть заливать контент по гигабиту тоже норм.
Основная задача — отдавать контент, т.е. больше чтение, чем запись. И в этом случае скорости для гигабитной сетки хватает с запасом головой. Запись же порядка 40-60 МБ/с. То есть заливать контент по гигабиту тоже норм.
А как поведет себя программный RAID или JBOD при крушении одного диска? Просто интересно, сам использую только аппаратные решения, вспоминая, как на старых материнках поднимали RAID'ы, а потом материнки дохли и все данные… эх…
В JBOD просто отвалится точка монтирования. У меня такое уже было. Сдохли два знаменитых сигейтовских трёхтеребайтника.
Насчёт программного рейда сказать точно не могу, но могу предположить, что если это, например, будет RAID5, то сильно упадёт производительность, но данные выживут. Нужно будет как можно скорее заменить диск, потому как при выходе из строя второго диска, данные будут точно потеряны.
Насчёт программного рейда сказать точно не могу, но могу предположить, что если это, например, будет RAID5, то сильно упадёт производительность, но данные выживут. Нужно будет как можно скорее заменить диск, потому как при выходе из строя второго диска, данные будут точно потеряны.
А если сдохнет материнка, на котором поднят софтовый RAID?
На то он и софтовый, чтобы от железа не зависеть. Меняете материнку и продолжаете пользоваться.
Ответили уже выше.
Да, проблем никаких в отличие от выхода из строя аппаратного рейда.
Более того, для ZFS как раз рекомендуют использовать JBOD.
Да, проблем никаких в отличие от выхода из строя аппаратного рейда.
Более того, для ZFS как раз рекомендуют использовать JBOD.
Не совсем так. Для ZFS настоятельно не рекомендуется ставить диски за рейд контроллер. В таком случае вы не сможете использовать большинство плюсов которые дает ZFS и начинаете жить с ее минусами. Например ZFS регулярно сверяет контрольные суммы и в случае обнаружения ошибки она попытается ее исправить. И если это не возможно — она отрапортует вам об этом. Ошибки могут быть как на самом винте, так и в контроллере и банально в плохих контактах у SATA кабеля. На серьезных серверах ZFS следует использовать с HBA контроллерами.
система сообщила о заполнении пространства на 90% (максимум — 2 диска по 4 Тб). И я перешел к следующей модели.
Вспоминается анекдот про пепельницу.
Господа, а где NAS найти с поддержкой AES-NI и on-the-fly шифрованием дисков?
Благодарю.
Благодарю.
Имел дело больше чем с десятком разных моделей NASов, большинство было от QNAP.
Наиболее хорошее впечатление — от изделий QNAP и Synology.
Для домашнего использования возможность многих QNAP моделей благодаря наличию HDMI порта выполнять еще и функции медиаплеера может быть очень полезна.
В целом для домашних и small business систем QNAP выглядит очень достойно.
Из неприятностей — одна особенность политики производителя относительно техподдержки.
Есть два вида приложений, которые можно запускать на их NAS — разработанные QNAP и сторонние приложения, одобренные для использования на продукции QNAP. Если с поддержкой первой группы приложений (например Surveillance Station) проблем не возинкает, то при возникновении проблем с каким-то из приложений второй группы вы остаетесь со своей проблемой наедине. Техподдержка QNAP решать такую проблему отказывается. Об этом они открыто пишут, например, вот здесь qnap.ru/kb/4591
Но при этом приложение (в примере — Plex Media Server) присутствует в перечне продуктов, подходящих для установки на NAS qnap.ru/qpkg
Понятно, что разработчик платформы, на которую можно много чего поставить, не в ответе за приложения.
Но ситуация, когда вы устанавливаете одно из официально рекомендуемых приложений, а его поддержку получить не можете — она не самая приятная.
Наиболее хорошее впечатление — от изделий QNAP и Synology.
Для домашнего использования возможность многих QNAP моделей благодаря наличию HDMI порта выполнять еще и функции медиаплеера может быть очень полезна.
В целом для домашних и small business систем QNAP выглядит очень достойно.
Из неприятностей — одна особенность политики производителя относительно техподдержки.
Есть два вида приложений, которые можно запускать на их NAS — разработанные QNAP и сторонние приложения, одобренные для использования на продукции QNAP. Если с поддержкой первой группы приложений (например Surveillance Station) проблем не возинкает, то при возникновении проблем с каким-то из приложений второй группы вы остаетесь со своей проблемой наедине. Техподдержка QNAP решать такую проблему отказывается. Об этом они открыто пишут, например, вот здесь qnap.ru/kb/4591
Но при этом приложение (в примере — Plex Media Server) присутствует в перечне продуктов, подходящих для установки на NAS qnap.ru/qpkg
Понятно, что разработчик платформы, на которую можно много чего поставить, не в ответе за приложения.
Но ситуация, когда вы устанавливаете одно из официально рекомендуемых приложений, а его поддержку получить не можете — она не самая приятная.
Все это хорошо, когда приносит удовольствие ковыряться с собственным домашним сервером. Есть сегмент пользователей, которые вообще не знают и не хотят знать, как это работает. Есть сегмент юзеров, которые знают, как это работает, но хотят за минимум времени получить максимум результата. Собственно для таких и есть готовые решения.
Где-то год назад на хабре проскакивал материал по самостоятельной сборке сотового телефона из Arduino+GSM шилда — тоже интересно, но большая часть людей пойдут и купят простую трубку за 500-1000 рублей, чтобы просто позвонить.
Где-то год назад на хабре проскакивал материал по самостоятельной сборке сотового телефона из Arduino+GSM шилда — тоже интересно, но большая часть людей пойдут и купят простую трубку за 500-1000 рублей, чтобы просто позвонить.
Я некоторое время назад делал upgrade небольшого сервера c аппаратным RAID, 16Gb RAM, Intel I7 процессором и 10G Ethernet. Сделал, посчитал затраты, и потом зачем-то сравнил по цене с 8 дисковым QNAP, благо он под рукой окзалался.
И сильно, помню, меня результата расстроил. По деньгам и потраченному времени.
И сильно, помню, меня результата расстроил. По деньгам и потраченному времени.
AMD режут если проц с суффиксом u — энергоэффективный, зато без виртуализации.
Обратите внимание, я вас ни за что не агитирую, я рассказываю свою историю. Вдруг она кому полезна будет.
Что касается того NAS ссылку на статью про который я давал, то там стоял i3 и 4Гб памяти. Это чуть устаревшая модель. Эквивалентные ему модели типа TVS-871 сейчас производятся и на i5, и на i7.
Что касается загрузки процессора, то я знаю минимум 3 задачи, которые не редко выполняются на NAS системах в наших проектах, и требуют довольно производительного процессора:
— виртуализация,
— транскодирование видео на лету для видео мультирум систем,
— работа в 10Gb сети при записи-чтении на программном RAID массиве достаточно больших объемов данных
Что касается того NAS ссылку на статью про который я давал, то там стоял i3 и 4Гб памяти. Это чуть устаревшая модель. Эквивалентные ему модели типа TVS-871 сейчас производятся и на i5, и на i7.
Что касается загрузки процессора, то я знаю минимум 3 задачи, которые не редко выполняются на NAS системах в наших проектах, и требуют довольно производительного процессора:
— виртуализация,
— транскодирование видео на лету для видео мультирум систем,
— работа в 10Gb сети при записи-чтении на программном RAID массиве достаточно больших объемов данных
Везде видите рекламу и продукт плейсмент?
Трудно вам живется…
Вам нравится компьютер, собранный из компонентов. Прекрасно, это ваш выбор.
Вам не нужны аппаратные RAID — отлично, в вашем окружении нет задач для них.
Вы можете собрать хорошую высокопроизводительную машину самостоятельно? Вы очень-очень крутой специалист. Я завидую вам. Сам я за такую задачу не возьмусь, потому что знаю, какого уровня производительность достигается, скажем, в рабочих станциях HP Z.
В своем же мире я предпочту делать то, что делаю последние лет 20 — строить офисные системы для компаний Fortune 500 и топовые системы AV и управления для ни разу не бюджетных домашних инсталляций. И делать все это по возможности из готовых «кубиков».
При этом я допускаю, что мой подход для вас не оптимален.
Трудно вам живется…
Вам нравится компьютер, собранный из компонентов. Прекрасно, это ваш выбор.
Вам не нужны аппаратные RAID — отлично, в вашем окружении нет задач для них.
Вы можете собрать хорошую высокопроизводительную машину самостоятельно? Вы очень-очень крутой специалист. Я завидую вам. Сам я за такую задачу не возьмусь, потому что знаю, какого уровня производительность достигается, скажем, в рабочих станциях HP Z.
В своем же мире я предпочту делать то, что делаю последние лет 20 — строить офисные системы для компаний Fortune 500 и топовые системы AV и управления для ни разу не бюджетных домашних инсталляций. И делать все это по возможности из готовых «кубиков».
При этом я допускаю, что мой подход для вас не оптимален.
Я бы не стал так утверждать, что рейд на уровне ОС так уж хорош. Приведу пару примеров из своей практики:
Linux — уже дважды сталкивался со связкой mdadm+lvm когда это выходило боком. Например создание снапшота иногда приводит к глухому зависанию системы. Да так, что даже SysRq не помогает. Другой раз данные совсем попортились, из-за того, что mdadm не смог договориться с lvm по поводу размера сектора. При ребилде рейда ровно половина данных пропала.
В винте софтовый рейд1 приводил к значительным задержкам (500мс+) при работе тяжелой БД. Аппаратный рейд контроллер на серваке IBM вел себя не лучше — во время интенсивной работы мышка по экрану не ездила. Помогла замена контроллера на более производительный m5015 с performance key. Так же мы заметили, что если в рейде используются ССД, то всяческие кеши и прочие свистелки доступные на энтерпрайз рейд контроллере лучше выключать — все они негативно сказываются на производительности. И вообще к связке рейд+ссд надо подходить ну очень внимательно, ибо слишком много нюансов.
Linux — уже дважды сталкивался со связкой mdadm+lvm когда это выходило боком. Например создание снапшота иногда приводит к глухому зависанию системы. Да так, что даже SysRq не помогает. Другой раз данные совсем попортились, из-за того, что mdadm не смог договориться с lvm по поводу размера сектора. При ребилде рейда ровно половина данных пропала.
В винте софтовый рейд1 приводил к значительным задержкам (500мс+) при работе тяжелой БД. Аппаратный рейд контроллер на серваке IBM вел себя не лучше — во время интенсивной работы мышка по экрану не ездила. Помогла замена контроллера на более производительный m5015 с performance key. Так же мы заметили, что если в рейде используются ССД, то всяческие кеши и прочие свистелки доступные на энтерпрайз рейд контроллере лучше выключать — все они негативно сказываются на производительности. И вообще к связке рейд+ссд надо подходить ну очень внимательно, ибо слишком много нюансов.
Возник вопрос: а если в аппаратный RAID воткнуть винте не рекомендованные SAS, a SATA? Я разницы в работе не замечал, но может есть какие-то феньки, которые становятся недоступны?
Я специально не замерял, но судя по тому, что я видел в интернетах — разница в производительности минимальна.
То есть и переплачивать смысла нет? Опять маркетинг?
SAS лучше себя показывает на многопоточном чтении. Скорость чтения и записи примерно одинаковая и там и там.
Грубо говоря, если вам надо много одновременных клиентов обслуживать, то берите SAS.
Если надо хранить много данных и недорого или писать/читать много данных в мало потоков — можно брать SATA.
К примеру, у меня на файлопомойках стоят sata-винты — потому что объем, а на серверах БД — sas. Потому что многопоточная работа. В принципе, сегодня можно было бы уже и ssd под это дело попробовать, но системы собраны на заре ssd, а апгрейд пока не требуется.
Грубо говоря, если вам надо много одновременных клиентов обслуживать, то берите SAS.
Если надо хранить много данных и недорого или писать/читать много данных в мало потоков — можно брать SATA.
К примеру, у меня на файлопомойках стоят sata-винты — потому что объем, а на серверах БД — sas. Потому что многопоточная работа. В принципе, сегодня можно было бы уже и ssd под это дело попробовать, но системы собраны на заре ssd, а апгрейд пока не требуется.
На сколько я знаю, когда-то давно SAS действительно был быстрее. А сейчас — что есть, то есть.
Добавлю про рейд. Это не то что бы зло (хотя недостатки имется), это устаревший подход. Вангую, что рулить будет подход, что реализован в ZFS и BTRFS.
Я все понимаю, мне тоже нравятся QNAP/Synology. Но ~52000 (TS-451) за мать с селероном в корпусе без дисков как-то перебор имхо. Причем неадекват цены не объясняется только курсом деревянного. Оно в $$ перебор.
Кто знает — как обратиться в поддержку QNAP, которая работает в те же часы, что и центральная Европа? Подойдет русский, итальянский, польский или английский язык. По умолчанию тикеты идут в Тайвань, что очень не удобно ибо их рабочие часы с нашими почти не пересекаются.
Вроде как ТУТ форма связи со службой тех.поддержки
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Эволюция домашнего NAS. Итог шести лет