Новая технология ускоряет WAN-сети до 40 Гбит/с

    По мере развития облачных технологий растет потребность в эффективном управлении данными и серверами. Важным условием становится упрощение обслуживания инфраструктуры с помощью переноса генерируемых бизнесом данных в облачные среды. Выполнение новых технических требований влечет за собой многократный рост объемов данных, передаваемых между облачными средами по каналам WAN. Первостепенное значение приобретает создание и внедрение новых технологий ускорения передачи данных в WAN-сетях. Об одной из таких технологий, разработанной компанией Fujitsu, мы расскажем в этой статье.


    Использование технологии ускорения сетей WAN в облачной среде

    Сегодня чаще всего данные в сетях WAN передаются между облачными средами со скоростями от 1 до 10 Гбит/с. Однако для правильного функционирования современных ИТ-решений, включая Интернет вещей и искусственный интеллект, требуется еще более высокая скорость передачи данных. Существующие технологии ускорения WAN-сетей повышают эффективную скорость передачи за счет уменьшения передаваемого объема данных путем компрессии или дедупликации.

    Однако в 10-гигабитных сетях WAN общий объем информации уже сейчас достигает максимальных значений. Существующие технологии ускорения в облачных серверах не могут серьезно повысить скорость передачи данных, что становится «узким местом» всей облачной инфраструктуры. Для того чтобы вывести скорость работы облачных сервисов на качественно новый уровень, необходимо либо использовать процессоры с более высокой тактовой частотой, либо применять технологии ускорения WAN, работающие по иным алгоритмам.

    Как работает новая технология?


    Fujitsu разработала технологию ускорения WAN-сетей, которая обеспечит передачу данных в облачных средах (в режиме реального времени) со скоростью до 40 Гбит/с. Такая скорость достигается при условии одновременного использования нескольких 10-гигабитных каналов. При этом в качестве ускорителей выступают установленные на сервере матрицы Field-Programmable Gate Array (FPGA). Технология призвана помочь в переносе больших объемов данных между облачными средами. Реализация новой разработки стала возможной благодаря выделению специального вычислительного узла, предназначенного для обработки операций сжатия. Он обеспечивает высокопараллельную работу основных вычислительных узлов, передавая данные в точно заданное время, на основании спрогнозированного завершения каждого этапа вычислений.

    Ниже представлены особенности технологии.

    1. Технология параллелизации матриц FPGA использует выделенные вычислительные узлы

    Fujitsu разработала технологию параллелизации матриц FPGA, позволяющую значительно сократить время обработки данных, необходимое для их компрессии и дедупликации. Результат достигается за счет развертывания выделенных вычислительных узлов и обеспечения высокой степени параллелизации вычислений.


    Реализация ускорения работы сетей WAN с помощью серверов, оснащенных матрицами FPGA

    2. Оптимизация распределения потоков обработки данных между центральным процессором и матрицами FPGA

    Ранее для сжатия данных без потерь с помощью дупликации их нужно было прочитать два раза – до и после определения дупликации данных. В итоге потребление ресурсов увеличивалось, а скорость работы систем снижалась. Новая технология оптимизирует использование вычислительных ресурсов за счет передачи вычислительной нагрузки на матрицы FPGA.


    Метод сокращения объема потребления ресурсов между ЦП и матрицами FPGA

    Результаты



    Специалисты компании Fujitsu оценили скорость передачи больших объемов генерируемых бизнесом данных. В тестовой среде серверы с матрицами FPGA были подключены между собой с помощью 10-гигабитных каналов. В тесте, моделирующем резервное копирование данных, зафиксирована скорость передачи 40 Гбит/с. Это новый отраслевой рекорд. В итоге, скорость работы системы увеличилась примерно в 30 раз по сравнению с системой, оснащенной только процессором. Новая технология даст возможность создать новое поколение облачных сервисов, которые совместно используют большие объемы данных нескольких компаний из нескольких географически разнесенных ЦОД.

    Fujitsu планирует реализовать данную технологию в виде приложения, загруженного на серверы с матрицами FPGA. В первую очередь его можно будет использовать в облачных средах. Лаборатория компании продолжит тестирование новой разработки. Начало коммерческого применения технологии запланировано на середину 2018 года.

    Fujitsu

    72,00

    Японская компания-лидер ICT-рынка

    Поделиться публикацией
    Комментарии 15
      0
      [irony]
      со скоростью до 40 Гбит/с. Такая скорость достигается при условии одновременного использования нескольких 10-гигабитных каналов.

      — Скольких каналов?
      — Четырех.
        0

        Не понял в чем прикол? Эксперименты с такими скоростями делались еще в 2001 году, а коммерчески доступный InfiniBand со скоростью передачи 40 Gbit/s по 4 линиям доступен примерно с 2011 года. В 2001 уже велись эксперименты по передаче на скорости 1 Tbit/s с использованием спектрального уплотнения (WDM) по оптике. Может быть здесь инновация в коммерческой доступности 40 Gbit/s в потребительском секторе по приемлемым ценам, а не на оборудовании за $1MB? :)

          0
          Все верно, смысл именно в этом. Инновация в доступности ускорения WAN до 40 Gbit/s с помощью новой технологии, использующей установленные на сервере матрицы FPGA как ускорители.
          +1
          В тестовой среде серверы с матрицами FPGA были подключены между собой с помощью 10-гигабитных каналов. В тесте, моделирующем резервное копирование данных, зафиксирована скорость передачи 40 Гбит/с. Это новый отраслевой рекорд


          Дарю идею: соединяем сервера 100 Мб каналом, гоним специально подобранные данные, которые, после компрессии/декомпрессии по обоим концам линии, оказываются переданными со скоростью 100 Гб/сек, и — бьем отраслевой рекорд! Причем, как и авторы поста, не испытывая никаких мучений из-за подтасовки и явной «натяжки» в данных.

          А, если серьезно, подано так, что верить компании совсем не хочется. Задачу блог выполнил, но только ровно обратную той, ради которой блог на Хабре обычно оплачивается. Вы точно из Fujitsu, авторы (смайлик)?
            0
            Хотя среда была тестовой, тестирование проводилось на реальных данных, а не на специально подобранных. Ускорение сети WAN было достигнуто с помощью применения технологии параллелизации матриц FPGA и передачи на них вычислительной нагрузки от CPU.
              0

              Те фича в том, что вы 40 разбили на "несколько" (видимо, три или четыре: было бы их две, указали бы, а больше четырех вроде странно) "десяток", при этом сжав и разбив более менее поровну, а не по парам source ip/dest ip? Это не невидаль, но как продукт — неплохое предложение. Цены только нет, а от такого бренда опенсорсных цен ждать не стоит.
              И, да, с ценой за решение ещё нужно обязательно купить пакет поддержки на ответы суппорта "мы здесь для вас, пришлите логи!"?

                0
                Начало коммерческого применения технологии запланировано на середину 2018 года.
                — поэтому цены пока и нет.
                  0

                  Да, понимаю. Не опасаетесь конкуренции уже со стороны открытых стандартов — ведь допилят, и никакие fpga не спасут через недолгое время?

                    0
                    Пока сложно сказать, слишком много вариантов. А разработка еще тестируется.
                0

                Реальных это каких?


                параллелизации матриц FPGA, позволяющую значительно сократить время обработки данных, необходимое для их компрессии и дедупликации.

                Хотелось бы посмотреть как будут, например, реальные фильмы передаваться, на которых компрессия без потерь — пустая трата времени.

              0
              Зачем это, когда есть MPTCP и он вероятно станет стандартом?
                0
                Компания Fujitsu ведет разработку множества технологий. Возможно, в будущем технология ускорения WAN-сети, разработанная Fujitsu, окажется востребованной в некоторых задачах.
                0
                Тогда по факту это старая добрая агрегация каналов, только с обработкой на FPGA. Я так понимаю что Fujitsu просто сделала свою реализацию стандарта IEEE 802.3ad?
                  0
                  Можно сказать что это агрегирование каналов. Но это нестандартизированная технология.
                  0
                  В тесте, моделирующем резервное копирование данных, зафиксирована скорость передачи 40 Гбит/с. Это новый отраслевой рекорд.

                  И в чём новизна? Какой-то рекорд не сильно впечатляющий. Например вот тут (2016 г.) всё на реально и относительно давно доступном железе скорости в разы выше:



                  Вообще при передаче данных бОльшим ограничителем не сети выступают, а, скорее, носители данных.

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое