Как стать автором
Обновить
86.34
Рейтинг

Открытый фреймворк CodeFlare сокращает время настройки, выполнения и масштабирования тестов ML моделей

Блог компании IBM Open source *Big Data *Машинное обучение *Openshift *
В начале июля IBM официально представила CodeFlare, фреймворк с открытым исходным кодом, который призван упростить интеграцию и обеспечить эффективное масштабирование рабочих процессов с большими данными и средствами искусственного интеллекта в гибридном облаке. CodeFlare создан на базе Ray, активно развивающегося фреймворка для применения в сфере машинного обучения. CodeFlare расширяет возможности Ray, добавляя в  него компоненты, которые помогут упростить масштабирование рабочих процессов.



Чтобы создать модель машинного обучения, исследователи и разработчики должны сначала ее обучить и оптимизировать. Этот этап может включать в себя очистку данных, выделение признаков и оптимизацию модели. CodeFlare упрощает этот процесс, путем использования интерфейса для конвейера на основе Python, облегчая интеграцию, распараллеливание и совместное использование данных. Создавая новый фреймворк, команда IBM ставила перед собой задачу унифицировать рабочие процессы с конвейерами на разных платформах, чтобы специалистам по данным не пришлось осваивать новый язык рабочих процессов.

Конвейеры CodeFlare легко выполняются на базе новой бессерверной платформы IBM Cloud Code Engine и Red Hat OpenShift. Это позволяет развертывать их практически где угодно, а значит, еще больше специалистов по данным и исследователей ИИ смогут воспользоваться преимуществами платформы. Одновременно упрощается интеграция и соединение с другими облачными экосистемами через реакцию на события (срабатывающих, например, при поступлении нового файла), а также загрузка и разбиение данных из широкого круга источников, таких как облачные хранилища объектов, озеро данных, распределенные файловые системы.

Кроме того, при использовании CodeFlare разработчикам не придется дважды выполнять одну и ту же работу или гадать, что другие коллеги раньше делали для запуска определенного конвейера. С помощью CodeFlare IBM хочет предоставить специалистам по данным полезные инструменты и API, которые можно использовать более согласованно, чтобы они сосредоточились на исследованиях, а не тратили время на сложную настройку и развертывание.

Так, один пользователь применил фреймворк для анализа и оптимизации примерно 100 тыс. конвейеров для обучения моделей машинного обучения, CodeFlare сократил время, необходимое для выполнения каждого конвейера с 4 часов до 15 минут. Другим пользователям CodeFlare сэкономил месяцы времени на разработку и позволил решать более масштабные проблемы с данными.

IBM открыла исходный код CodeFlare и опубликует серию технических постов в блогах о том, как он работает и что нужно, чтобы начать его использовать. Компания не собирается останавливаться на достигнутом, пробуя применять эту технологию в проектах IBM и в собственных исследованиях ИИ. IBM будет и дальше развивать CodeFlare, постепенно наращивая сложность поддерживаемых конвейеров. Команда IBM планирует повысить отказоустойчивость и согласованность, а также улучшить интеграцию и управление данными для внешних источников и добавить поддержку визуализации конвейеров.
 
Оригинальный материал на английском языке доступен по ссылке.
Теги: IBMCodeFlareMLоткрытый исходный кодIBM Cloud Code EngineRed Hat OpenShift
Хабы: Блог компании IBM Open source Big Data Машинное обучение Openshift
Рейтинг 0
Комментарии 0
Комментарии Комментировать

Похожие публикации

Лучшие публикации за сутки