В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает.
/ Unsplash / Randy Fath
Автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры. Используя метод обучения с подкреплением, такие системы выбирают ИИ-модели, которые больше других подходят для решения той или иной задачи. Например, для автоматизации службы технической поддержки. Но AutoML-системы действуют как черные ящики, то есть их методы скрыты от пользователей.
Эта особенность значительно усложняет отладку алгоритмов машинного обучения. И, например, в случае с системами автопилотирования, последствия могут быть фатальными. В 2016 году Tesla на автопилоте впервые стала участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария.
Исправить ситуацию решили инженеры из MIT, Гонконгского университета науки и технологии и Чжэцзянского университета. Они представили инструмент для визуализации процессов, происходящих внутри черного ящика. Его назвали ATMSeer.
ATMSeer построен на базе Auto-Tuned Models (ATM). Это — автоматизированная система машинного обучения, которая ищет наиболее эффективные модели для решения конкретных задач (например, поиск объектов). Система произвольным образом выбирает тип алгоритма — нейросеть, деревья решений, «случайный лес» или логистическая регрессия. Таким же образом определяет гиперпараметры модели — размер дерева или число слоев нейронной сети.
ATM проводит серию экспериментов с тестовыми данными, автоматически подстраивая гиперпараметры и оценивая производительность. На основе этой информации она выбирает следующую модель, которая может показать лучшие результаты.
Каждая модель представляется в виде своеобразной «единицы информации» с переменными: алгоритм, гиперпараметры, производительность. Переменные отображаются на соответствующих графиках и схемах. Далее, инженеры могут вручную править эти параметры и в реальном времени мониторить изменения в интеллектуальной системе.
Интерфейс инструмента инженеры MIT показали в следующем видео. В нем же они разобрали несколько юзкейсов.
Контрольная панель ATMSeer дает возможность управлять процессом обучения и загружать новые своды данных. Там же отображаются показатели производительности всех моделей по шкале от нуля до десяти.
Инженеры говорят, что новый инструмент поспособствует развитию области машинного обучения, сделав работу с интеллектуальными алгоритмами более прозрачной. Ряд специалистов по МО уже отметили, что с ATMSeer они более уверены в корректности своих моделей, сгенерированных AutoML.
/ Unsplash / Esther Jiao
В будущем можно ожидать появления большего числа инструментов, позволяющих заглянуть в черный ящик. К примеру, инженеры из MIT уже работают над еще одним решением. Оно поможет студентам-медикам тренировать навыки составления анамнеза.
Кроме MIT, в этой области работает IBM. Совместно с коллегами из Гарварда они представили инструмент Seq2Seq-Vis. Он визуализирует процесс принятия решений при машинном переводе с одного языка на другой. Система показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть. Так, проще определить, произошла ли ошибка из-за неправильных исходных данных или алгоритма поиска.
Инструменты, которые делают алгоритмы машинного обучения более прозрачными, также найдут применение в сфере ITSM при внедрении службы Service Desk. Системы помогут с обучением интеллектуальных чат-ботов, и позволят избежать ситуаций, когда те ведут себя не так, как задумано.
Материалы из нашего корпоративного блога:
И блога на Хабре:
/ Unsplash / Randy Fath
Проблема черного ящика
Автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры. Используя метод обучения с подкреплением, такие системы выбирают ИИ-модели, которые больше других подходят для решения той или иной задачи. Например, для автоматизации службы технической поддержки. Но AutoML-системы действуют как черные ящики, то есть их методы скрыты от пользователей.
Эта особенность значительно усложняет отладку алгоритмов машинного обучения. И, например, в случае с системами автопилотирования, последствия могут быть фатальными. В 2016 году Tesla на автопилоте впервые стала участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария.
Чтобы объяснить, как машинный алгоритм пришел к тому или иному выводу, инженеры используют апостериорные методики или интерпретируемые модели вроде деревьев решений. В первом случае входные и выходные данные используют для аппроксимации «мыслительного процесса» алгоритма. Точность таких методик оставляет желать лучшего.
Деревья решений — более точный подход, но работает только с категорированными данными. Поэтому для сложных проблем компьютерного зрения неудобен.
Исправить ситуацию решили инженеры из MIT, Гонконгского университета науки и технологии и Чжэцзянского университета. Они представили инструмент для визуализации процессов, происходящих внутри черного ящика. Его назвали ATMSeer.
Как работает система
ATMSeer построен на базе Auto-Tuned Models (ATM). Это — автоматизированная система машинного обучения, которая ищет наиболее эффективные модели для решения конкретных задач (например, поиск объектов). Система произвольным образом выбирает тип алгоритма — нейросеть, деревья решений, «случайный лес» или логистическая регрессия. Таким же образом определяет гиперпараметры модели — размер дерева или число слоев нейронной сети.
ATM проводит серию экспериментов с тестовыми данными, автоматически подстраивая гиперпараметры и оценивая производительность. На основе этой информации она выбирает следующую модель, которая может показать лучшие результаты.
Каждая модель представляется в виде своеобразной «единицы информации» с переменными: алгоритм, гиперпараметры, производительность. Переменные отображаются на соответствующих графиках и схемах. Далее, инженеры могут вручную править эти параметры и в реальном времени мониторить изменения в интеллектуальной системе.
Интерфейс инструмента инженеры MIT показали в следующем видео. В нем же они разобрали несколько юзкейсов.
Контрольная панель ATMSeer дает возможность управлять процессом обучения и загружать новые своды данных. Там же отображаются показатели производительности всех моделей по шкале от нуля до десяти.
Перспективы
Инженеры говорят, что новый инструмент поспособствует развитию области машинного обучения, сделав работу с интеллектуальными алгоритмами более прозрачной. Ряд специалистов по МО уже отметили, что с ATMSeer они более уверены в корректности своих моделей, сгенерированных AutoML.
Также новая система поможет компаниям удовлетворить требования GDPR. Общий регламент по защите данных требует от алгоритмов машинного обучения прозрачности. Разработчики интеллектуальной системы должны быть в состоянии объяснить принимаемые алгоритмами решения. Это нужно для того, чтобы пользователи в полной мере могли понять, как система обрабатывает их персональные данные.
/ Unsplash / Esther Jiao
В будущем можно ожидать появления большего числа инструментов, позволяющих заглянуть в черный ящик. К примеру, инженеры из MIT уже работают над еще одним решением. Оно поможет студентам-медикам тренировать навыки составления анамнеза.
Кроме MIT, в этой области работает IBM. Совместно с коллегами из Гарварда они представили инструмент Seq2Seq-Vis. Он визуализирует процесс принятия решений при машинном переводе с одного языка на другой. Система показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть. Так, проще определить, произошла ли ошибка из-за неправильных исходных данных или алгоритма поиска.
Инструменты, которые делают алгоритмы машинного обучения более прозрачными, также найдут применение в сфере ITSM при внедрении службы Service Desk. Системы помогут с обучением интеллектуальных чат-ботов, и позволят избежать ситуаций, когда те ведут себя не так, как задумано.
Материалы из нашего корпоративного блога:
- Управление ИТ-проектами – 5 вызовов и их преодоление
- Искусственный интеллект классифицирует запросы в ServiceNow
- IT Operations Management: как управлять ИТ-инфраструктурой
И блога на Хабре:
