Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения

    В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает.


    / Unsplash / Randy Fath

    Проблема черного ящика


    Автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры. Используя метод обучения с подкреплением, такие системы выбирают ИИ-модели, которые больше других подходят для решения той или иной задачи. Например, для автоматизации службы технической поддержки. Но AutoML-системы действуют как черные ящики, то есть их методы скрыты от пользователей.

    Эта особенность значительно усложняет отладку алгоритмов машинного обучения. И, например, в случае с системами автопилотирования, последствия могут быть фатальными. В 2016 году Tesla на автопилоте впервые стала участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария.

    Чтобы объяснить, как машинный алгоритм пришел к тому или иному выводу, инженеры используют апостериорные методики или интерпретируемые модели вроде деревьев решений. В первом случае входные и выходные данные используют для аппроксимации «мыслительного процесса» алгоритма. Точность таких методик оставляет желать лучшего.

    Деревья решений — более точный подход, но работает только с категорированными данными. Поэтому для сложных проблем компьютерного зрения неудобен.

    Исправить ситуацию решили инженеры из MIT, Гонконгского университета науки и технологии и Чжэцзянского университета. Они представили инструмент для визуализации процессов, происходящих внутри черного ящика. Его назвали ATMSeer.

    Как работает система


    ATMSeer построен на базе Auto-Tuned Models (ATM). Это — автоматизированная система машинного обучения, которая ищет наиболее эффективные модели для решения конкретных задач (например, поиск объектов). Система произвольным образом выбирает тип алгоритма — нейросеть, деревья решений, «случайный лес» или логистическая регрессия. Таким же образом определяет гиперпараметры модели — размер дерева или число слоев нейронной сети.

    ATM проводит серию экспериментов с тестовыми данными, автоматически подстраивая гиперпараметры и оценивая производительность. На основе этой информации она выбирает следующую модель, которая может показать лучшие результаты.

    Каждая модель представляется в виде своеобразной «единицы информации» с переменными: алгоритм, гиперпараметры, производительность. Переменные отображаются на соответствующих графиках и схемах. Далее, инженеры могут вручную править эти параметры и в реальном времени мониторить изменения в интеллектуальной системе.

    Интерфейс инструмента инженеры MIT показали в следующем видео. В нем же они разобрали несколько юзкейсов.


    Контрольная панель ATMSeer дает возможность управлять процессом обучения и загружать новые своды данных. Там же отображаются показатели производительности всех моделей по шкале от нуля до десяти.

    Перспективы


    Инженеры говорят, что новый инструмент поспособствует развитию области машинного обучения, сделав работу с интеллектуальными алгоритмами более прозрачной. Ряд специалистов по МО уже отметили, что с ATMSeer они более уверены в корректности своих моделей, сгенерированных AutoML.

    Также новая система поможет компаниям удовлетворить требования GDPR. Общий регламент по защите данных требует от алгоритмов машинного обучения прозрачности. Разработчики интеллектуальной системы должны быть в состоянии объяснить принимаемые алгоритмами решения. Это нужно для того, чтобы пользователи в полной мере могли понять, как система обрабатывает их персональные данные.


    / Unsplash / Esther Jiao

    В будущем можно ожидать появления большего числа инструментов, позволяющих заглянуть в черный ящик. К примеру, инженеры из MIT уже работают над еще одним решением. Оно поможет студентам-медикам тренировать навыки составления анамнеза.

    Кроме MIT, в этой области работает IBM. Совместно с коллегами из Гарварда они представили инструмент Seq2Seq-Vis. Он визуализирует процесс принятия решений при машинном переводе с одного языка на другой. Система показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть. Так, проще определить, произошла ли ошибка из-за неправильных исходных данных или алгоритма поиска.

    Инструменты, которые делают алгоритмы машинного обучения более прозрачными, также найдут применение в сфере ITSM при внедрении службы Service Desk. Системы помогут с обучением интеллектуальных чат-ботов, и позволят избежать ситуаций, когда те ведут себя не так, как задумано.



    Материалы из нашего корпоративного блога:


    И блога на Хабре:

    ИТ Гильдия
    Российский интегратор ITSM решений

    Комментарии 35

      +3
      А можно для тупых — как инструмент для подбора лучшего метода связан с прозрачностью этого (или не этого) метода?
        0
        Система наглядно показывает, как гиперпараметры влияют на тот или иной результат. В MIT говорят, что инженеры получают возможность выбирать сгенерированные модели и подстраивать их, опираясь на собственную экспертизу, – их система как раз показывает, на какие из параметров стоит дополнительно обратить внимание.

        Также в конце видео разработчики приводят пример с дебаггингом – когда система МО была «предвзятой» в отношении одного из алгоритмов. Без ATMSeer такие вещи заметить гораздо сложнее.
        –4
        Поясните кто-нибудь: можно ли с помощью машинного обучения заставить комп освоить игру в покер?

        Просто есть разные версии, а я не верю, что это возможно.
          0
          Краем уха слышал что-то о том, как нейросеть вздёрнула в покер несколько топовых игроков-людей. Но конкретику не помню, попробуйте спросить гугл.
            +1
            Уже два года как сделали: arxiv.org/pdf/1701.01724.pdf
            Когда-то люди не верили в существование летательных аппаратов тяжелее воздуха.
              0
              Или придумали, что сделали, получив хороший грант за работу.
              Кхм… А где, собственно, победа? Робот занял далеко не первое место, что вполне подпадает под единственный возможный результат в играх с ГСЧ: случайное распределение.

              A closer look at the results shows that DeepStack did not win by a statistically significant amount against every player. Eleven out of the 33 professional poker players completed the requested 3,000 games, and for all but one of the 11 games, DeepStack didn’t win by a remarkable amount – the top human poker player only lost by about 70 mbb/g.

              Почему покерный бот сбербанка, который создавали на хакатоне (и даже тут была статья) — с тех пор скромно не упоминается? Где хотя бы публикации старше 17-го года?

              Когда-то люди верили и лечились магнитными палками и даже лечатся до сих пор, хотя уже это признано псевдонаучным методом, в то же время ежегодные мировые обороты индустрии магнитотерапии превышают миллиард долларов, только в США — $ 300 млн.
                0
                Я полистал ваши комментарии, у вас, кажется, какое-то странное религиозное представление о случайности. Полагаете, все случайности одинаковые? И если сделать бота, который просто выбирает рандомное действие, он покажет такой же результат против топовых игроков-людей?
                  0
                  Ну да, у меня может и религиозное представление. Но я знаю, что в покер румах ГСЧ основан на таком механизме: он улавливает фотоны и пропускает их через полупрозрачное зеркало. Два события: отражение и прохождение света принимаются за 0 и 1. При обычной раздаче, тоже все основывается только на случайном порядке карт в колоде.

                  Я полагаю, что все случайности одинаково случайны. А это значит, что никаких топовых игроков нет. И любой индиго из 6-го б может обыграть любого из них. На короткой дистанции — это 100% так. А вот на длинной — я изучаю этот вопрос. Но мое религиозное чувство подсказывает мне, что точно так же, как и на короткой. Ведь случайность никуда не исчезает из процесса игры. Может я и ошибаюсь. Этим азартные игры с несовершенной информацией и отличаются от го и шахмат, например.
                    0
                    Ну, влияние случайности не означает, что игра полностью случайна. Между шахматами и костями есть ещё очень широкий спектр.

                    Представит себе такое семейство игр: пусть задано число p из [0, 1]. Когда два игрока решают сыграть, с вероятностью p они определяют победителя подбрасыванием монетки, а с вероятностью (1 — p) они играют в шахматы. При p = 0 исход зависит полностью от скилла игроков (детерменированная игра с полной информацией). При p = 1 исход полностью случаен. А между ними — целый континуум игр, в которых скилл, по мере увеличения p, играет всё меньшую и меньшую роль, но никогда не становится полностью неважен.

                    Как думаете, при каком p влияние навыка на результат станет таким же, как в покере? Лично я точно не знаю. Но уверен, что не при p = 1. И если влияние навыка в принципе есть, то при увеличении длины серии оно будет расти, стремясь к единице при длине серии, стремящейся к бесконечности.
                      0
                      При p = 1 исход полностью случаен. А между ними — целый континуум игр, в которых скилл, по мере увеличения p, играет всё меньшую и меньшую роль, но никогда не становится полностью неважен.


                      Но в отличие от шахмат, где новичок из 100 000 игр вряд ли выиграет хоть одну у Магнуса Карлсена (или схожего по уровню ИИ), в покере победы новичков на турнирах — не такая уж и редкость.

                      И если влияние навыка в принципе есть, то при увеличении длины серии оно будет расти, стремясь к единице при длине серии, стремящейся к бесконечности.

                      Навык игры в покер никак не влияет на результат, например, конкретного нового турнира, где игрок переигрывает только несколько тысяч партий.
                        0
                        «Никак» — это очень сильное утверждение. Вы не пробовали его доказать статистическими методами? Новичок может победить на покерном турнире. Но вероятность победы конкретного новичка меньше, чем вероятность победы конкретного профессионала.
                          0
                          Берем новичка и профессионала, садим их за стол. Если бы это были шахматы, то шансы у новичка против Магнуса Карлсена — 0.
                          Если это покер, то шансы у новичка — 50%. То есть такие же, как при подбрасывании монеты или прохождении фотонов через зеркало. Потому что это — элемент игры. И все зависит только лишь от «удачи».

                          Если новичок будет постоянно ставить весь банк, таким образом сокращая количество игр, то он или быстро проиграет, или быстро выиграет. Но в отличие от шахмат, его шанс на выигрыш просто огромен. Так называемые профессиональные игроки, конечно же, чаще выигрывают чем новички просто потому, что они чаще участвуют в турнирах.
                            0
                            Если это покер, то шансы у новичка — 50%
                            Вот именно это утверждение и нуждается в доказательстве.

                            Если новичок постоянно ставит весь банк, то это чудесно. Оценивая свои шансы и принимая либо не принимая эту ставку, его противник имеет замечательное мат. ожидание выигрыша (что, впрочем, не исключает возможность проиграть). Я бы привёл вам выкладки, но у меня крепнет опасение, что вы их не поймёте, поскольку никогда не занимались теорией вероятностей =(
                              0
                              ценивая свои шансы и принимая либо не принимая эту ставку, его противник имеет замечательное мат. ожидание выигрыша


                              Мат. ожидание не значит победу в конкретной партии или раздаче.
                              А Магнус тем временем выигрывает со 100% вероятностью.
                                0
                                Вот это, батенька, некропостинг)

                                А с чего вы взяли, что Магнус точно выиграет? Новичок же может чисто случайно выбрать правильные ходы. Вероятность не то чтобы очень большая, но вполне себе есть.
                                  0
                                  Вероятность не то чтобы очень большая, но вполне себе есть.

                                  Поржал тут.

                                  Какой же некропостинг? Был же вроде ИИ, который прямо всех выигрывать в кокер стал. А тут про него и забыли. Вроде как и нет такого.
                                    0
                                    А по какому поводы вы, собственно, поржали? Мой аргумент технически верен)
                                      0
                                      Про Магнуса и выигрыш у него.

                                      У новичка есть только один шанс выиграть у Магнуса — ударить его по голове часами. Или подсыпать что-нибудь в кофе.
                                      У него вообще мало проигрышей ведущим шахматистам мира. А вы говорите про новичков.

                                      В шахматах есть сеансы одновременной игры. Гроссмейстеры могут проводить до 30 партий и выиграть каждую из них. Совершая ходы за несколько секунд раздумий.

                                      А вот в покере, любого из известных призеров может за столом обыграть 15-летний шкет с вероятностью подбрасываемой монетки.
                                          0
                                          >>Iranian chess prodigy
                                          >>second-youngest player to reach the 2700 Fédération Internationale des Échecs (FIDE) rating
                                          >>the world's no.21 player
                                          >>three-minute game
                                          21 рейтинг фиде и гроссмейстер. Такой себе новичок.
                                          Выиграл правда, только в блиц.
                                          0
                                          Ваши утверждения, мягко говоря, нуждаются в пруфах. Строго говоря — неверны.

                                          Если Магнус играет не идеально (т.е. теоретически существует последовательность ходов противника, позволяющая ему победить), то если мы вместо противника посадим обезьянку, делающую ходы случайно, у неё есть вероятность победить.

                                          А насчёт покера… Знаете, да достали вы меня уже, если честно. Карантин этот, рубль обвалился, что с экономикой дальше будет, непонятно. А я вместо того, чтобы работать, спорю с человеком, который не осилил теорвер. Идите откройте уже учебник.

                                          «Случайно» и «с вероятностью 1/2» — это разные вещи. Если удаётся сделать так, чтобы вероятность твоего выигрыша была больше 1/2, то при достаточно большой серии игр твои соперники останутся без штанов, а ты — с их штанами. Казино достигают такого перевеса за счёт правил игры. Профессиональные игроки в азартные игры получают перевес за счёт своих навыков.
                                            0
                                            Если Магнус играет не идеально (т.е. теоретически существует последовательность ходов противника, позволяющая ему победить), то если мы вместо противника посадим обезьянку, делающую ходы случайно, у неё есть вероятность победить.

                                            Ответ — нет, обезьянка не победит, с чего вдруг? В учебнике теорвер много можно написать, но это — теоретические модели. В реальности же у Магнуса выиграть можно только подсыпав ему в чай слабительного или самому быть гроссмейстером хотя бы в полсотни сильнейших.

                                            «Случайно» и «с вероятностью 1/2» — это разные вещи. Если удаётся сделать так, чтобы вероятность твоего выигрыша была больше 1/2


                                            Чего не делает ни один покерист. Его выигрыш целиком зависит от ГСЧ — случайного распределения.
                                            . Казино достигают такого перевеса за счёт правил игры. Профессиональные игроки в азартные игры получают перевес за счёт своих навыков.

                                            За счет зеро и рейков. Вот за счет чего выигрывает казино. А вот к «профессиональным игрокам» в покер — большие вопросы. И какие же эти навыки? Очки и перебирание фишек? Смешно ведь.

                                            Приехали к тому, что типа они читали теорвер. Но банально, если есть в игре ГСЧ — то она будет азартной.
                                            Как переводиться азартная игра? Аза́ртная игра́ (фр. jeu de hasard. букв. «игра случая».
                                            Это изначально понимали тогда, когда ее создавали.
                                            Странно то, что это совсем не понимают современные тугодумы, почему-то прикрываясь некой теорвер из параллельной реальности, где можно обойти наличие ГСЧ, а игроки своими ужимками и кривляниями создают больше 1/2. Ага ЩАЗ.
                                              0
                                              Ответ — нет, обезьянка не победит, с чего вдруг?
                                              Кажется, я выше уже просил каких-либо обоснований. Воз и ныне там. Вы понимаете, что это совершенно неконструктивно, когда вам приводят какие-то аргументы, а вы в ответ — нет, потому что нет?

                                              Странно то, что это совсем не понимают современные тугодумы, почему-то прикрываясь некой теорвер из параллельной реальности, где можно обойти наличие ГСЧ, а игроки своими ужимками и кривляниями создают больше 1/2. Ага ЩАЗ.
                                              Сходите почитайте про блэкджек и «счётчиков». Классический пример, когда игроки в азартную игру сделали себе вероятность настолько выше 1/2, что их стали отслеживать и в казино не пущать.

                                              Ознакомившись, вы скажете «но покер — это же совсем другое». Разумеется, другое. Но я привёл контрпример к вашему рассуждению в целом. Задумайтесь об этом. Вероятно, что-то с вашим рассуждением не так.
                0

                Ну а покере для начала надо распознавание эмоций, потом уже сама игра, не думаю что покер сложнее игры Го

                  0
                  Так в том и дело, что в программах по обучению покерного ИИ такого нет, но уже поспешили заявить: компьютер обыгрывает этих ваших мешков с костями. Все публикации почему-то только за 2017 год. А потом — тишина. Сбербанк даже тут собирал людей, чтобы они ему написали бота (может Греф подсел на карты). С тех пор — молчание.
                    0
                    Зарабатывают. =)
                    +1
                    освоить игру в покер

                    Давайте для начала определим "освоить". Если под "освоить" вы понимаете "всегда обыгрывать любого человека на планете", то нет — в покере слишком много случайности для этого. А вот играть так, что при большом числе партий компьютер будет лучше человека — вполне возможно, и, скорее всего, скоро будет сделано.

                      0
                      Пишут, что это уже сделали такие программы как Libratus. Но почему-то публикации о них только за 2017-й год. Свежее ничего нет.

                      А можете пояснить, чем большое число партий отличается от малого числа партий? Ведь в турнирной покерной игре партия может завершиться за одну раздачу.
                    +3

                    Заголовок один статья о другом

                      0
                      Да, и КДПВ говорит о другом. Мозг намного сложнее любых существующих нейросетевых ИИ, но даже для него семантические поля можно картировать, вот пример такого исследования. То же самое можно сделать для любого нейросетевого ИИ, произведя картирование нейронов, кот. больше всего, с некоторой заданной точностью, реагируют на ввод. По этой информации можно построить модель области, для которой производилось обучение. Для автопилотов она должна включать объекты дорожного движения, кот. она распознает, и связи между ними. В частности, должны воспроизвестись, в каком-либо виде, правила дорожного движения. То-же самое имеется у человека. Человек обучается в какой-либо области, при этом в мозге подсознательно строится модель этой области, кот. описывается весами нейронов, в сетях связанных с этой областью. При необходимости эта модель может быть формально описана с некоторой точностью (аппроксимирована). Так появляются, например, научные теории. Эта фаза осознания у одних происходит с помощью внутренней интроспекции, другим элементы теории или изобретения могут приснится, у всех индивидуально) Возможно в будущем удастся разработать аналогичную процедуру своеобразной интроспекции, и создать продукт, для формализации моделей любых обученных нейросетевых ИИ. Дополнительно может потребоваться содержательная интерпретация элементов этой модели.
                      В 2016 году Tesla на автопилоте впервые стала участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария.
                      В криминалистике в таких случаях ставится следственный эксперимент. Ничто не мешает и в случае автопилота воспроизвести эту аварийную ситуацию. Взят такой же авто, с таким же автопилотом, с таким же грузовиком и ситуацией на дороге, и тд. Точно ситуацию воспроизвести возможно нельзя, случайный блик может добавить шум, который приведет к тому, что из-за наличия неустойчивости в пространстве решений сети, чаша весов склонится в сторону неверного решения. И у людей так бывает — случайные тени или детали могут привести к тому, что можно обознаться приняв незнакомого человека за знакомого, похожего на него.
                        +1
                        Заголовок о том, что система покажет, что творится внутри алгоритмов МО. Статья об инструменте, который показывает, какой из параметров оказывает наибольшее влияние на результат работы нейросети. Не вижу расхождений. Даже сами разработчики на сайте MIT пишут, что их система помогает увидеть, как работают системы машинного обучения. Если вы ожидали, что система ИИ самостоятельно расскажет о причинах своих решений – то до таких технологий еще очень далеко
                        0
                        Оно поможет студентам-медикам тренировать навыки составления анамнеза.

                        Анамнез все-таки собирают. Составление анамнеза — это о фальсификациях и пост-правде?
                          0
                          AutoML выбирает рандомно алогоритмы и тестирует их… Очень напоминает попытки решать задачу минимизации функции рандомом до того, как был придуман градиентный спуск.
                            0

                            К сожалению градиентный спуск не панацея

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое