Подсоединяем 5 винчестеров через sata мультипликатор одним сата кабелем



    В этой статье я расскажу немного о sata мультипликаторах CFI-B53PM на базе чипа SiI3726, которые я покупал для большого хоронилища на много террабайт. Как и где их заказать я написал в этой статье(в конце статьи я приложил трекинг посылки). Также расскажу про скорости работы в linux в 6-ом рейде.


    Преимущества


    1)Требуется меньшее количество проводов sata.
    2)Требуется меньше проводов питания.
    3) Дешевизна мультипликатора и контроллеров для них.
    4)Быстрая скорость чтения.

    Недостатки


    1)Мультипликаторы не продаются в России, хотя контроллеров на каждом углу куча(sil3132).
    2)Очень легко отламываются твердотельные конденсаторы(требуется осторожность и прямые руки).
    3)Относительно низкая скорость записи.

    По мнению silicon image работает это примерно вот так:



    Для подключения к компьютеру я использовал контроллер stlab a-410 стоимостью 600 рублей.

    Вот так в ubuntu собирается raid6 из 5 дисков воткнутых в мультипликатор.

    cat /proc/mdstat
    Personalities: [raid6] [raid5] [raid4]
    md0: active raid6 sdh1[2] sdj1[4] sdg1[1] sdi1[3] sdf1[0]
    8790795264 blocks super 1.2 level 6, 512k chunk, algorithm 2 [5/5] [UUUUU]
    [==============>......] resync = 73.0% (2140472708/2930265088) finish=504.8min speed=26074K/sec

    Диски wd green 3TB, сделано специальное выравнивание в parted для блоков 4k(если не делать то на рандомных операциях будут наблюдаться жуткие тормоза).

    Скорость записи на 6-ой рейд с файловой системой xfs начинается от 100 мегабайт и устаканивается на уровне 40 МБ. Скорость чтения стабильно 320 МБ.

    Низкая скорость записи я думаю связана с методом мультипликации command-based switching, при котором в один момент времени контроллер может отправлять команду только одному винчестеру.

    Ну а теперь куча фоток.



    Контроллер спереди



    Контроллер сзади



    Контроллер в интерьере винчестера



    Втыкаем в контроллер 5 винчестеров wd 3tb green





    Чип контроллера



    Запускаем в тестовую работу



    Контроллер stlab a-410



    Скан трекинга посылки

    Комментарии 60

      +4
      Диски не перегреваются при таком близком расположении?
        0
        у меня примерно так же расположены в корпусе, ответ — нет.
        Только сбоку у меня прилеплено 2 небольших кулера.
          0
          У меня хорошие вентиляторы, позже про них напишу.
            –4
            «хорошие» это «хорошо дуют» или «бесшумно работают»?

            к сожалению в домашних условиях шум — важнейший критерий, а «частая» установка винтов с бешумностью мало совместима…
              +1
              Хорошо дуют, у меня хороший балкон.
                0
                по чем комплект вентиляторов с балконом? в России можно купить?
                  0
                  Думаю миллионов семь в России.
                    0
                    дайте две!
                      0
                      НУ тут же все элементарно, работай, работай, работай, работай.
                        –1
                        честно работая, квартиру купить нельзя.
                          0
                          Вы пропустили пункт работай, работай, работай, работай.
                          Да честно и много работая можно купить квартиру, но надо конечно не дворником работать и все время развиваться, учиться в свободное время, посещать конференции, уметь отдыхать и ещё раз работать, работать, работать, работать.
            +4
            Да они во всех корзинах RAID так располагаются. Уже сто лет в обед как.
            0
            вот вам стартап — закупайте партиями контроллеры и вперед на путь распродажи
              –2
              Это плохой стартап, контроллеры доступны всем.
                +3
                большенство готовы платить больше, чтобы не заморачиваться заказами за границами страны
                  0
                  Это не будет мешать тем кто готов заморачиваться продавать их, да и в целом нет спроса на такие вещи у нас.
              +1
              Можно чуть подробнее про выравнивание блоков 4к? В чем смысл-фокус? Или хороший пруфлинк, плиз. :)
                0
                хз на счет пруфлинков, могу статью опубликовать мою с корпоративной вики.
                  0
                  опубликуйте
                  0
                  в двух словах: на диске физические сектора по 4К, а логически, он таки показывает по 512байт. Если блоки на файловой системе совпадают с физическими секторами, то всё работает нормально. Если нет — всё плоха.
                  пруфлинки
                  www.thg.ru/storage/wd_4k_sector/print.html
                  www.fcenter.ru/online.shtml?articles/hardware/hdd/28121
                    +1
                    Современный fdisk в linux и стандартная утилита разбиения дисков в windows server 2008 и windows 7 решают эту проблему не просто, а очень просто. У них по умолчанию первый раздел начинается не как раньше с 63-го (логического) сектора (которые по 512 байтов), а с 2048-го, т.е. перед разделом оставляют свободный мегабайт. (Туда потом запишется grub, если речь о линуксе.) Если физические секторы на диске по 4096 байтов, получится 256-й (физический) сектор. Никаких тормозов не будет — мы раздел начинаем на границе сектора, а не посреди его.

                    Неужели это умолчание до сих пор не внедрили в parted? И кроме того, что такого «особенного» в таком разбиении, я не понимаю.
                      0
                      В каком дистрибе современный фдиск?
                        +1
                        У меня Gentoo. Но вообще дистрибутив не имеет значения, имеет значения версия fdisk.

                        util-linux у меня версии 2.19.1 — в ней работает
                          +1
                          p.s. я знаю, что он не умеет делать gpt и что сделать mbr на 3 гб винте нельзя. Речь о секторах и умолчаниях.

                          Кстати, если эти ваши диски не загрузочные, их можно было вообще не разбивать на разделы, а собрать в массив целиком.
                  0
                  Попробуйте поиграться с параметром stripe_cache_size. Например так:
                  echo 8192 > /sys/block/md0/md/stripe_cache_size
                  У меня для семи дисков скорость записи свыше 300МБ/с, но это на прямых контроллерах, без такого «хаба»
                    0
                    Я написал причину почему такая скорость, так что увы.
                    +1
                    М… меня всегда интересовало, как работают мультипликаторы. Ведь SATA (в отличие от SAS) не имеет WWID (идентификаторов железок) и, теоретически, работает как p2p коннект (когда каждая сторона знает «себя» и «обратный конец»).

                    Мы используем для этого SAS-enclosure (корзины) в SAS-контроллер — в этом случае каждый SATA заворачивается в SAS и корзина ему выдаёт свой WWID.
                      +2
                      Там есть два алгоритма, на базе command-based switching, когда только одна команда выполняется, это не позволяет нормально использовать NCQ, это похоже на работу идевых винтов и из-за этого есть проблемы с записью.
                      Второй алгоритм FIS–based на основе фреймов, контроллер довольно равномерно распределяет полосу на винчестеры и не мешает при этом NCQ.
                        0
                        Я про другое — каким образом они друг друга находят и определяют кто есть кто?
                          +2
                          Там в пакете есть поле port multiplier как то там, наверно его подписывает контроллер.
                            0
                            О! А вот за эту информацию спасибо. Ещё большее спасибо будет за ссылку где этот формат описан.
                      0
                      Вот кстати хороший пруф, с динамичными картинками.
                      www.sata-io.org/technology/port_multipliers.asp
                        0
                        Спасибо, прочитал, но так и не понял, как это работает. Когда в порт посылается команда, каким образом указывается, к какому из дисков эта команда относится?
                        +1
                        Разруливается еще на транспортном уровне.
                        Ничего особо сложного нету здесь.

                        16.3.1 Addressing Mechanism
                        The Port Multiplier uses four bits, known as the PM Port field, in all FIS types to route FISes
                        between the host and the appropriate device. Using the PM Port field, the Port Multiplier routes
                        FISes to up to 15 Serial ATA devices from one active host. The PM Port field is filled in by the
                        host on a host-to-device FIS with the port address of the device to route the FIS to. For a device-
                        to-host FIS, the PM Port field is filled in by the Port Multiplier with the port address of the device
                        that is transmitting the FIS.
                          0
                          Понятно. То есть диск адресуют по «порт, PM-порт».
                        +1
                        >Низкая скорость записи я думаю связана с методом мультипликации
                        >command-based switching, при котором в один момент времени
                        >контроллер может отправлять команду только одному винчестеру.

                        Интересно, а если поставить несколько таких репликаторов и собрать несколько raid 6 массивом, но диски для каждого массива использовать из разных репликаторов, как будет с производительностью записи?
                          0
                          массивом=массивов, опечатался…
                            0
                            А смысл? Думаю на трех мультипликаторах скорость записи будет выше гигабита.
                              +1
                              Смысл в том, что если делать большую файлопомойку, винтов на 25 например и делать массивы, то производительность можно увеличить если массивы располагать не в пределах репликатора, а на разных, как я выше написал… 40 мег в секунду в общем-то маловато… имхо.
                                0
                                НУ на 9 если умножить то будет 360 мегабайт, а это больше 3 гигабит.
                                  0
                                  Имеется ввиду сделать на 45 винтов один большой raid6? или я не понял про умножение на 9…
                                    0
                                    9 это количество мультипликаторов.
                            0
                            А есть опыт работы с железными RAID?

                            Есть, например, 4х портовый 3ware. Можно ли совместить приятное с полезным, и получить 20 дисков работающих на этом RAID?
                              0
                              Купите контроллер от silicon image, он дешевый и точно работает, на днях попробую затестить на ich10, на rocket raid 2360 не пошло.
                              Так что смотрите спецификацию вашего контроллера на момент поддержки port multiplier.
                                0
                                Судя по документации — поддерживает! Спасибо за идею, как раз место на домашнем NAS подходит к концу.
                                  0
                                  Если у вас 3ware САТАшный, то port multiplier. Если SASовый, то SAS Expander.
                                    0
                                    Для 3ware могут еще понадобиться ихние шнурочки 4-lane, правда от контроллера зависит. У нас вон 4x4 = 16, на контроллере 4 физических коннектора в каждом 4 SATA lane, подключается к 16 портовому backplane 4-мя шнурочками. Но тут скорее не участвуют мультипликаторы, просто електрическая разводка нестандартная
                                      0
                                      Это стандартный шнурок minisas to 4 sata, там прямые коннекты, никакой хитрой разводки, каждый кабелек идет отдельно внутри.
                                0
                                6-й рейд проц не сильно кушает?
                                  0
                                  Нет, почти не ест.
                                  0
                                  хм… Из 5 дисков отдавать 2. Кучеряво. Меня-бы жаба задушила. Да и сомневаюсь, что они будут супер в адовом режиме дома трудиться, так что 5 рейда должно будет хватить.
                                    0
                                    Это были тесты, шестой рейд будет на 15 дисках, для надежности никогда не жалко что нибудь отдать.
                                    +1
                                    Низкая скорость записи может быть связано с Raid6. Скорость даже теоретически должна быть хуже записи на 1 диск.
                                    Проверьте скорость, пожалуйста, на Raid1+0
                                      0
                                      Я написал с чем связана низкая скорость записи, скорость теоретически должна быть равна сумме скоростей записи на 4 диска.
                                      –3
                                      Наконец-то интересная статья в ленте на Хабре, а то все девочки в Китай уезжают.
                                      Спасибо!
                                        +1
                                        При RAID 0 скорость чтения и записи примерно одинаковые, а при 6-м скорость записи ниже раза в 2
                                          0
                                          Спасибо за статью. это настоящая находка еще и для владельцев малюсеньких, маложрущих и тихих компов типа Acer Aspire X3200-X3960, где всего 2 сата разъема и 2 слота для питания.У меня один из компов — X3200(та модель что с 4-х ядерным атлоном и 4 гига оперативы), мне пришлось вытащить из него DVD-привод и подключить вместо него еще один жесткий диск.
                                            0
                                            У контроллера с спеках написано, что диски более 2Tb не держит, при этом 3Tb винт подключали. Все без глюков работает? головки не паркуются каждые 10-30 секунд?

                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                            Самое читаемое