Магия самообучения или Self-Supervised Learning

#нейрословарь

В своих разработках «Криптонит» активно использует искусственные нейронные сети. Поэтому мы решили расшифровать связанные с этой сферой термины и их практический смысл. Все материалы из рубрики "Нейрословарь" подготовлены при помощи наших экспертов из лаборатории больших данных.

Self-Supervised Learning или магия самообучения. Способность нейросетей к самообучению выглядит фантастически, но на самом деле это всего лишь метод ML, основанный на избыточности данных. В отличие от классического подхода «обучение с учителем», здесь не требуются аннотированные человеком примеры (размеченные изображения, проверенные фрагменты текста и т.д.).

В парадигме self-supervised learning нейросеть учится на «сырых» (немаркированных) данных. Она сама расставляет метки при первом прогоне обучающей выборки, а затем использует их на следующих этапах обучения. Обычно для достижения сравнимого результата при самообучении требуется в разы больше данных, поэтому метод неприменим для автоматической классификации редких событий. Зато он удобен в тех случаях, когда можно дать ИИ массу однотипных примеров.

Иногда словосочетание self-supervised learning сокращается до SSL, но из контекста обычно понятно, когда речь идёт о самообучении, а когда о Secure Sockets Layer. Впрочем, ИИ уже применяют для анализа трафика, поэтому фраза «SSL для SSL» тоже не лишена смысла.

PS: Какие еще термины из сферы ИИ нам еще раскрыть? Пишите в комментариях!

Что такое explaining away?

В сфере машинного обучения есть англоязычные термины, которые не переводятся дословно. Их нужно объяснять, что мы и делаем вместе с нашими экспертами.

Explaining Away — эффект редукции причины как упрощённая схема рассуждений. В машинном обучении она применяется для настройки весов нейросети. Встречаются и другие варианты перевода: «объяснение-отступление» и «эффект оправдания». По смыслу они эквивалентны.

Суть эффекта редукции сводится к тому, что из множества причин, способных вызвать наблюдаемое явление, выделяется какая-то одна. В дальнейшем предполагается, что выбранная причина преимущественно объясняет следствие, в то время как значимость других возможных причин снижается. При этом необходимость проверки других (альтернативных) причин не исключается полностью.

Например, в системах автопилота ИИ одновременно сравнивает показания разных датчиков. На близком расстоянии приоритет отдаётся показаниям ультразвуковых сенсоров. Если они сигнализируют о сближении с препятствием, а камеры показывают, что «всё чисто», то данные с камер игнорируются.

Здесь в качестве причины срабатывания датчика выбрано событие «опасное сближение», хотя реальной причиной может быть налипание снега или попадание брызг на УЗ-сенсоры. Просто в целях безопасности ИИ прекращает анализ возможных причин, выбирая угрозу столкновения как наиболее вероятную.

Напишите в комментариях, какие ещё термины вам хотелось бы увидеть в нашей рубрике #нейрословарь.

Что такое инференс?

В своих разработках «Криптонит» активно использует машинное обучение. Поэтому вместе с нашими экспертами из лаборатории больших данных мы решили расшифровать некоторые термины из этой сферы.

Термин «инференс» в зависимости от контекста может употребляться в разных значениях. С точки зрения разработчика инференс — это третий этап жизненного цикла искусственной нейронной сети (после её обучения и развёртывания). Часто инференсом называют процесс работы уже обученной нейросети на конечном устройстве, или её логический вывод (конечный результат обработки данных).

С понятием «инференс» тесно связаны две следующие характеристики нейросетей:

Скорость инференса — важная метрика для сравнения производительности решений на базе ИИ. Она оценивается для разных нейросетей на одинаковом оборудовании, либо наоборот: для одной и той же нейросети на разном железе (например, на ядрах архитектур x86-64 и ARM, с ускорением на ГП и без него).

Точность инференса — количественная оценка, обычно выражаемая в процентах. Она показывает, насколько результат работы нейросети соответствует истине. Например, сколько слов нейросеть правильно распознала в аудиозаписи, или сколько дорожных знаков интерпретировала верно.

При разработке нейросетей одновременно стараются повысить как скорость, так и точность инференса. Именно по этим характеристикам их оценивает конечный потребитель.

Напишите в комментариях, какие ещё термины вам хотелось бы увидеть в нашей рубрике #нейрословарь