По мере того как архитектура ИИ совершенствуется, а затраты падают, эксперты говорят, что все больше предприятий будут осваивать эти технологии, что даст импульс инновациям и принесет большие дивиденды как для компаний, так и для разработчиков ИИ.
Приложения ИИ зачастую работают на базе совершенно других архитектур, нежели традиционные корпоративные приложения. В свою очередь, поставщики готовы на многое, чтобы предоставить новые компоненты, на которые растет спрос.
По его словам, сейчас главная задача директоров по информационным технологиям — подобрать подходящую архитектуру искусственного интеллекта для потребностей компании.
Стриер говорит, что поскольку ИИ — это математика в беспрецедентных масштабах, для реализации этой технологии необходимы совершенно другие технические условия и инструменты безопасности, чем для привычных корпоративных рабочих нагрузок. Чтобы использовать все преимущества ИИ, поставщикам потребуется обеспечить техническую инфраструктуру, облачные и другие необходимые для ИИ сервисы, без которых будут невозможны столь сложные вычисления.
Но мы уже на пути к этому, а в будущем появятся еще более продвинутые архитектуры искусственного интеллекта. Стриер считает, что обеспечивать гибкость, мощность и скорость работы вычислительных архитектур будут не только небольшие фирмы по разработке высокопроизводительных вычислений, но и другие представители отрасли высокопроизводительных вычислений, в том числе стартапы по созданию микросхем и облачных сервисов, которые стремятся задать высокую планку для ИИ-вычислений.
По мере того как появляется все больше специалистов и разработчиков в сфере ИИ, эта технология будет становится более доступной, что даст хороший импульс инновациям и принесет заметные дивиденды — для компаний и поставщиков.
А пока директорам по информационным технологиям стоит ознакомиться с трудностями, связанными с созданием архитектуры искусственного интеллекта для корпоративного применения, чтобы быть готовыми к их решению.
Развитие микросхем
Важнейшим условием перехода от традиционных вычислительных архитектур к ИИ стало развитие графических процессоров, программируемых логических интегральных схем (FPGA) и специализированных микросхем ИИ. Распространение архитектур на базе графических процессоров и FPGA поможет повысить производительность и гибкость систем вычислений и хранения, что позволит поставщикам решений предложить целый спектр продвинутых служб для приложений ИИ и машинного обучения.
Но пока новые микросхемы не способны на что-то более сложное. Чтобы подобрать оптимальную архитектуру для рабочих нагрузок ИИ, необходимо выполнить масштабные вычисления, которые требуют высокой пропускной способности и не обходятся без задержек. Залог успеха здесь — высокоскоростные сети. Но многие алгоритмы ИИ должны дождаться, пока не наберется следующий комплект данных, поэтому нельзя упускать из внимания задержку.
Кроме того, при пересечении серверных границ или передаче от серверов к хранилищу данные проходят через несколько протоколов. Чтобы упростить эти процессы, специалисты по данным могут постараться разместить данные локально, чтобы один сервер мог обрабатывать крупные порции данных, не дожидаясь других. Сэкономить средства также позволяет улучшенная интеграция между графическими процессорами и хранилищем. Другие поставщики ищут способы упростить проектирование серверов ИИ для обеспечения сочетаемости, чтобы одни и те же серверы можно было применять для разных рабочих нагрузок.
Энергонезависимая память для обработки рабочих нагрузок ИИ
В основе многих решений на базе графического процессора лежит накопитель с прямым подключением (DAS), который сильно усложняет для ИИ распределенное обучение и формирование логических выводов. В результате установка и управление этими линиями данных для глубинного обучения становятся сложными и трудоемкими задачами.
Для решения этой проблемы подойдет энергонезависимая память (NVM), которая изначально разработана для обеспечения качественного подключения между твердотельными накопителями (SSD) и традиционными корпоративными серверами. Сейчас такой тип памяти нередко входит в матрицы ввода-вывода для оптимизации рабочих нагрузок ИИ.
Суть в том, что NVMe over Fabrics (NVMeF) — так называются эти интерфейсы — помогут сократить расходы при конвертации между сетевыми протоколами и контролировать характерные особенности каждого типа SSD. Это позволит директорам по информационным технологиям обосновать стоимость приложений ИИ, которые используют большие наборы данных.
Интерфейсы NVMeF влекут за собой свои риски, в том числе необходимость больших затрат на передовые технологии. Кроме того, в данной отрасли еще остается зависимость от поставщиков NVMeF, поэтому при выборе продукта директорам по информационным технологиям необходимо постараться избежать привязки к поставщику.
Но реализация NVMeF позволит сделать еще один шаг к оптимизации корпоративной архитектуры искусственного интеллекта, считает Варанаси.
Директора по информационным технологиям, которые стремятся развивать приложения ИИ, могут попробовать создать для NVMeF общий пул хранения, оптимизированный для ИИ, если в краткосрочной перспективе он сможет успешно заменить существующие сети хранения. Но если ждать, пока будет обеспечена обратная совместимость NVMeF, можно многое потерять.
Сокращение перемещения данных
При планировании различных этапов развертывания ИИ необходимо обратить особое внимание на стоимость перемещения данных. Проекты ИИ, в том числе для обработки и трансформации данных, а также для обучения алгоритмов, требуют огромных объемов данных.
Аппаратные и человеческие ресурсы, необходимые для выполнения этих задач, а также время на перемещение самих данных, могут сделать проекты ИИ слишком дорогостоящими. Если директорам по информационным технологиям удастся избежать перемещения данных между этапами, вполне вероятно, что они смогут разработать жизнестойкую инфраструктуру ИИ, которая будет отвечать этим потребностям, считает Харис Позидис, доктор наук, менеджер, специалист по технологиям ускорения накопителей в IBM Research. Производители уже работают над этой проблемой.
Например, IBM экспериментирует с различными вариантами оптимизации оборудования и ПО, чтобы уменьшить перемещения данных для масштабных приложений ИИ в лабораториях в Цюрихе. Такие оптимизации помогли в 46 раз повысить производительность тестового сценария популярного инструмента для анализа кликов. Позидис говорит, в основе такой работы лежит распределенное обучение и ускорение графического процессора, что совершенствует поддержку структур разреженных данных.
Параллелизм — еще один важный компонент ускорения рабочих задач ИИ. Для распределенного обучения необходимо внести изменения на аппаратном и программном уровнях, что позволит повысить эффективность обработки алгоритмов параллельных графических процессоров. Исследователи IBM создали прототип платформы с параллелизмом данных, который позволяет выполнять масштабирование и обучаться на больших объемах данных, превышающих объемы памяти на одной машине. Это очень важно для крупномасштабных приложений. Новая платформа, оптимизированная для коммуникационного обучения и обеспечивающая локальность данных, помогла уменьшить перемещение данных.
На аппаратном уровне исследователи IBM воспользовались NVMeF, чтобы улучшить взаимосоединяемость графического процессора, ЦП и компонентов памяти на серверах, а также между серверами и хранилищем.
Составные вычисления
На сегодняшний день большинство рабочих нагрузок используют предварительно настроенную базу данных, оптимизированную для конкретной аппаратной архитектуры.
Сложность заключается в том, что для доступа к разным вариантам хранения предприятия используют разные вычислительные движки. Крупные корпорации предпочитают хранить ценные данные, к которым нужен регулярный доступ, например, к информации о клиентах, финансах, цепочке поставок, продуктах и других компонентах, с помощью высокопроизводительных сред ввода-вывода. В свою очередь, редко используемые комплекты данных, например, показания датчиков, веб-контент и мультимедиа, хранятся в недорогих облачных хранилищах.
Одна из целей составных вычислений — использовать контейнеры, чтобы оптимизировать работу таких экземпляров, как SQL-движки, графовые движки, движки машинного и глубинного обучения, которые получают доступ к данным, распределенным по разным хранилищам. Развертывание нескольких аналитических вычислительных движков позволяет использовать многопроцессорные модели, которые используют данные от разных движков и, как правило, приносят более высокие результаты.
Такие ИТ-поставщики, как Dell Technologies, Hewlett Packard Enterprise и Liquid, постепенно отходят от традиционных архитектур, которые назначают рабочие нагрузки на уровне вычислений. Вместо этого они стремятся назначать рабочие нагрузки ИИ целой системе, состоящей из центральных процессоров, графических процессоров, устройств памяти и хранения. Для такого перехода необходимо осваивать новые сетевые компоненты, которые повышают скорость и уменьшают задержку при соединении различных составляющих системы.
Например, во многих облачных центрах обработки данных для подключения вычислительных компонентов и хранилищ используется Ethernet, где задержка составляет около 15 микросекунд. Высокоскоростная коммутируемая компьютерная сеть InfiniBand, которая используется во многих конвергентных инфраструктурах, может уменьшить задержку до 1,5 микросекунды. Компания Liquid создала комплект инструментов для соединения разных узлов с помощью PCI Express (PCIE), что сокращает задержку до 150 наносекунд.
Кроме того, некоторые специалисты предлагают увеличить объемы памяти для графических процессоров, используемых для обработки больших нагрузок с быстрыми соединениями. К примеру, DDR4 нередко используется вместе с ОЗУ, что позволяет уменьшить задержку до 14 наносекунд. Но это работает лишь для небольших отрезков в несколько дюймов.
Мало Маррек, основатель и разработчик в сервисе по управлению ИИ ClusterOne, считает, что для обеспечения сочетаемости рабочих нагрузок ИИ в программной среде понадобится еще больше работы. Несмотря на то, что некоторые предприятия уже пробуют обеспечить сочетаемость с помощью Docker и Kubernetes, пока рано применять такой же подход к графическим процессорам.
Хранилище и графический процессор
Еще один подход — использовать графический процессор для предварительной обработки данных с целью уменьшить объемы, необходимые для того или иного типа анализа, и помочь организовать данные и присвоить им метки. Это позволит подготовить подходящий комплект данных для нескольких графических процессоров, участвующих в обработке, благодаря чему алгоритм сможет работать изнутри памяти вместо того, чтобы передавать данные из хранилищ по медленным сетям.
Телескопу SKA требовались большие объемы электропитания для обработки 160 ТБ данных радиосигналов в реальном времени, что стало главным препятствием на пути исследователей. В результате они решили отказаться от хранилищ RAID, которые чаще всего используются в центрах обработки данных, и развернуть параллельную кластерную файловую систему, например BeeGFS, которая упрощает подготовку данных для рабочих нагрузок ИИ.
Директорам по информационным технологиям, которые работают над оптимальной стратегией для архитектуры искусственного интеллекта, следует обратить особое внимание на удобство использования. Если разработчики, специалисты по данным и команды по интеграции разработки и эксплуатации смогут быстро освоить новую технологию, они смогут вложить свои силы и время в создание успешной бизнес-логики вместо того, чтобы решать проблемы развертывания и линий данных.
Кроме того, организациям необходимо внимательно рассчитать, сколько сил и времени понадобится для того, чтобы встроить новую архитектуру ИИ в существующую экосистему.
«Прежде чем реализовывать новые инфраструктуры и планировать большие рабочие нагрузки, директорам по информационным технологиям необходимо оценить, сколько истощимых ресурсов для этого потребуется», — говорит Асаф Сомех, основатель и генеральный директор Iguazio.
Приложения ИИ зачастую работают на базе совершенно других архитектур, нежели традиционные корпоративные приложения. В свою очередь, поставщики готовы на многое, чтобы предоставить новые компоненты, на которые растет спрос.
«Отрасль вычислительных технологий претерпевает большие изменения — интерес предприятий к ИИ дает толчок инновациям, которые помогут осваивать и разворачивать ИИ в любых масштабах», — говорит Кит Стриер, эксперт по ИИ, консультант в EY. Инвесторы вкладывают огромные деньги в стартапы, которые оптимизируют ИИ, а крупные производители начинают предлагать не только микросхемы и хранилища, но и сетевые и облачные сервисы, необходимые для развертывания».
По его словам, сейчас главная задача директоров по информационным технологиям — подобрать подходящую архитектуру искусственного интеллекта для потребностей компании.
Стриер говорит, что поскольку ИИ — это математика в беспрецедентных масштабах, для реализации этой технологии необходимы совершенно другие технические условия и инструменты безопасности, чем для привычных корпоративных рабочих нагрузок. Чтобы использовать все преимущества ИИ, поставщикам потребуется обеспечить техническую инфраструктуру, облачные и другие необходимые для ИИ сервисы, без которых будут невозможны столь сложные вычисления.
Но мы уже на пути к этому, а в будущем появятся еще более продвинутые архитектуры искусственного интеллекта. Стриер считает, что обеспечивать гибкость, мощность и скорость работы вычислительных архитектур будут не только небольшие фирмы по разработке высокопроизводительных вычислений, но и другие представители отрасли высокопроизводительных вычислений, в том числе стартапы по созданию микросхем и облачных сервисов, которые стремятся задать высокую планку для ИИ-вычислений.
По мере того как появляется все больше специалистов и разработчиков в сфере ИИ, эта технология будет становится более доступной, что даст хороший импульс инновациям и принесет заметные дивиденды — для компаний и поставщиков.
А пока директорам по информационным технологиям стоит ознакомиться с трудностями, связанными с созданием архитектуры искусственного интеллекта для корпоративного применения, чтобы быть готовыми к их решению.
Развитие микросхем
Важнейшим условием перехода от традиционных вычислительных архитектур к ИИ стало развитие графических процессоров, программируемых логических интегральных схем (FPGA) и специализированных микросхем ИИ. Распространение архитектур на базе графических процессоров и FPGA поможет повысить производительность и гибкость систем вычислений и хранения, что позволит поставщикам решений предложить целый спектр продвинутых служб для приложений ИИ и машинного обучения.
«Это такие архитектуры микросхем, которые освобождают от нагрузки множество продвинутых функций [например, обучение ИИ] и помогают реализовать улучшенный стек для вычислений и хранения, который дарит непревзойденную производительность и эффективность», — рассказывает Сурья Варанаси, основатель и технический директор Vexata Inc., компании-поставщика решений по управлению данными.
Но пока новые микросхемы не способны на что-то более сложное. Чтобы подобрать оптимальную архитектуру для рабочих нагрузок ИИ, необходимо выполнить масштабные вычисления, которые требуют высокой пропускной способности и не обходятся без задержек. Залог успеха здесь — высокоскоростные сети. Но многие алгоритмы ИИ должны дождаться, пока не наберется следующий комплект данных, поэтому нельзя упускать из внимания задержку.
Кроме того, при пересечении серверных границ или передаче от серверов к хранилищу данные проходят через несколько протоколов. Чтобы упростить эти процессы, специалисты по данным могут постараться разместить данные локально, чтобы один сервер мог обрабатывать крупные порции данных, не дожидаясь других. Сэкономить средства также позволяет улучшенная интеграция между графическими процессорами и хранилищем. Другие поставщики ищут способы упростить проектирование серверов ИИ для обеспечения сочетаемости, чтобы одни и те же серверы можно было применять для разных рабочих нагрузок.
Энергонезависимая память для обработки рабочих нагрузок ИИ
В основе многих решений на базе графического процессора лежит накопитель с прямым подключением (DAS), который сильно усложняет для ИИ распределенное обучение и формирование логических выводов. В результате установка и управление этими линиями данных для глубинного обучения становятся сложными и трудоемкими задачами.
Для решения этой проблемы подойдет энергонезависимая память (NVM), которая изначально разработана для обеспечения качественного подключения между твердотельными накопителями (SSD) и традиционными корпоративными серверами. Сейчас такой тип памяти нередко входит в матрицы ввода-вывода для оптимизации рабочих нагрузок ИИ.
Суть в том, что NVMe over Fabrics (NVMeF) — так называются эти интерфейсы — помогут сократить расходы при конвертации между сетевыми протоколами и контролировать характерные особенности каждого типа SSD. Это позволит директорам по информационным технологиям обосновать стоимость приложений ИИ, которые используют большие наборы данных.
Интерфейсы NVMeF влекут за собой свои риски, в том числе необходимость больших затрат на передовые технологии. Кроме того, в данной отрасли еще остается зависимость от поставщиков NVMeF, поэтому при выборе продукта директорам по информационным технологиям необходимо постараться избежать привязки к поставщику.
Но реализация NVMeF позволит сделать еще один шаг к оптимизации корпоративной архитектуры искусственного интеллекта, считает Варанаси.
«Несмотря на то, что распространение архитектуры NVMe over Fabrics в промышленных масштабах может занять еще год или полтора, основные компоненты у нас уже есть, а первопроходцы уже сообщают о многообещающих результатах», — говорит Варанаси.
Директора по информационным технологиям, которые стремятся развивать приложения ИИ, могут попробовать создать для NVMeF общий пул хранения, оптимизированный для ИИ, если в краткосрочной перспективе он сможет успешно заменить существующие сети хранения. Но если ждать, пока будет обеспечена обратная совместимость NVMeF, можно многое потерять.
Сокращение перемещения данных
При планировании различных этапов развертывания ИИ необходимо обратить особое внимание на стоимость перемещения данных. Проекты ИИ, в том числе для обработки и трансформации данных, а также для обучения алгоритмов, требуют огромных объемов данных.
Аппаратные и человеческие ресурсы, необходимые для выполнения этих задач, а также время на перемещение самих данных, могут сделать проекты ИИ слишком дорогостоящими. Если директорам по информационным технологиям удастся избежать перемещения данных между этапами, вполне вероятно, что они смогут разработать жизнестойкую инфраструктуру ИИ, которая будет отвечать этим потребностям, считает Харис Позидис, доктор наук, менеджер, специалист по технологиям ускорения накопителей в IBM Research. Производители уже работают над этой проблемой.
Например, IBM экспериментирует с различными вариантами оптимизации оборудования и ПО, чтобы уменьшить перемещения данных для масштабных приложений ИИ в лабораториях в Цюрихе. Такие оптимизации помогли в 46 раз повысить производительность тестового сценария популярного инструмента для анализа кликов. Позидис говорит, в основе такой работы лежит распределенное обучение и ускорение графического процессора, что совершенствует поддержку структур разреженных данных.
Параллелизм — еще один важный компонент ускорения рабочих задач ИИ. Для распределенного обучения необходимо внести изменения на аппаратном и программном уровнях, что позволит повысить эффективность обработки алгоритмов параллельных графических процессоров. Исследователи IBM создали прототип платформы с параллелизмом данных, который позволяет выполнять масштабирование и обучаться на больших объемах данных, превышающих объемы памяти на одной машине. Это очень важно для крупномасштабных приложений. Новая платформа, оптимизированная для коммуникационного обучения и обеспечивающая локальность данных, помогла уменьшить перемещение данных.
На аппаратном уровне исследователи IBM воспользовались NVMeF, чтобы улучшить взаимосоединяемость графического процессора, ЦП и компонентов памяти на серверах, а также между серверами и хранилищем.
«Выполнение разных рабочих нагрузок ИИ может быть ограничено узкими местами в сети, пропускной способностью памяти, а также пропускной способностью между ЦП и графическим процессором. Но если реализовать более эффективные алгоритмы подключения и протоколы во всех частях системы, можно сделать большой шаг к разработке более скоростных приложений ИИ», — считает Позидис.
Составные вычисления
На сегодняшний день большинство рабочих нагрузок используют предварительно настроенную базу данных, оптимизированную для конкретной аппаратной архитектуры. 
Чад Мили, вице-президент по аналитическим продуктам и решениям в Teradata, говорит, что рынок движется в сторону оборудования под управлением ПО, что позволит организациям грамотно распределять обработку по графическим процессорам и ЦП в зависимости от текущей задачи.
Сложность заключается в том, что для доступа к разным вариантам хранения предприятия используют разные вычислительные движки. Крупные корпорации предпочитают хранить ценные данные, к которым нужен регулярный доступ, например, к информации о клиентах, финансах, цепочке поставок, продуктах и других компонентах, с помощью высокопроизводительных сред ввода-вывода. В свою очередь, редко используемые комплекты данных, например, показания датчиков, веб-контент и мультимедиа, хранятся в недорогих облачных хранилищах.
Одна из целей составных вычислений — использовать контейнеры, чтобы оптимизировать работу таких экземпляров, как SQL-движки, графовые движки, движки машинного и глубинного обучения, которые получают доступ к данным, распределенным по разным хранилищам. Развертывание нескольких аналитических вычислительных движков позволяет использовать многопроцессорные модели, которые используют данные от разных движков и, как правило, приносят более высокие результаты.
Такие ИТ-поставщики, как Dell Technologies, Hewlett Packard Enterprise и Liquid, постепенно отходят от традиционных архитектур, которые назначают рабочие нагрузки на уровне вычислений. Вместо этого они стремятся назначать рабочие нагрузки ИИ целой системе, состоящей из центральных процессоров, графических процессоров, устройств памяти и хранения. Для такого перехода необходимо осваивать новые сетевые компоненты, которые повышают скорость и уменьшают задержку при соединении различных составляющих системы.
Например, во многих облачных центрах обработки данных для подключения вычислительных компонентов и хранилищ используется Ethernet, где задержка составляет около 15 микросекунд. Высокоскоростная коммутируемая компьютерная сеть InfiniBand, которая используется во многих конвергентных инфраструктурах, может уменьшить задержку до 1,5 микросекунды. Компания Liquid создала комплект инструментов для соединения разных узлов с помощью PCI Express (PCIE), что сокращает задержку до 150 наносекунд.
Кроме того, некоторые специалисты предлагают увеличить объемы памяти для графических процессоров, используемых для обработки больших нагрузок с быстрыми соединениями. К примеру, DDR4 нередко используется вместе с ОЗУ, что позволяет уменьшить задержку до 14 наносекунд. Но это работает лишь для небольших отрезков в несколько дюймов.
Мало Маррек, основатель и разработчик в сервисе по управлению ИИ ClusterOne, считает, что для обеспечения сочетаемости рабочих нагрузок ИИ в программной среде понадобится еще больше работы. Несмотря на то, что некоторые предприятия уже пробуют обеспечить сочетаемость с помощью Docker и Kubernetes, пока рано применять такой же подход к графическим процессорам.
«В целом, выполнять рабочие нагрузки графического процессора и отслеживать их — это не так просто, — говорит Маррек. — Пока нет универсального решения, которое позволит выполнять мониторинг всех систем».
Хранилище и графический процессор
Еще один подход — использовать графический процессор для предварительной обработки данных с целью уменьшить объемы, необходимые для того или иного типа анализа, и помочь организовать данные и присвоить им метки. Это позволит подготовить подходящий комплект данных для нескольких графических процессоров, участвующих в обработке, благодаря чему алгоритм сможет работать изнутри памяти вместо того, чтобы передавать данные из хранилищ по медленным сетям.
«Мы воспринимаем хранилище, вычисления и память как отдельные компоненты решения, что сложилось исторически, и поэтому пытаемся увеличивать объемы обработки», — говорит Алекс Сент-Джон, технический директор и основатель Nyriad Ltd., компании-поставщика ПО для хранения, которая появилась в результате исследований для самого большого в мире радиотелескопа — телескопа с антенной решеткой площадью в квадратный километр (SKA).Чем больше объемы данных, тем сложнее их перемещать куда-то для обработки.
Телескопу SKA требовались большие объемы электропитания для обработки 160 ТБ данных радиосигналов в реальном времени, что стало главным препятствием на пути исследователей. В результате они решили отказаться от хранилищ RAID, которые чаще всего используются в центрах обработки данных, и развернуть параллельную кластерную файловую систему, например BeeGFS, которая упрощает подготовку данных для рабочих нагрузок ИИ.
Директорам по информационным технологиям, которые работают над оптимальной стратегией для архитектуры искусственного интеллекта, следует обратить особое внимание на удобство использования. Если разработчики, специалисты по данным и команды по интеграции разработки и эксплуатации смогут быстро освоить новую технологию, они смогут вложить свои силы и время в создание успешной бизнес-логики вместо того, чтобы решать проблемы развертывания и линий данных.
Кроме того, организациям необходимо внимательно рассчитать, сколько сил и времени понадобится для того, чтобы встроить новую архитектуру ИИ в существующую экосистему.
«Прежде чем реализовывать новые инфраструктуры и планировать большие рабочие нагрузки, директорам по информационным технологиям необходимо оценить, сколько истощимых ресурсов для этого потребуется», — говорит Асаф Сомех, основатель и генеральный директор Iguazio.
