Что такое инференс?

В своих разработках «Криптонит» активно использует машинное обучение. Поэтому вместе с нашими экспертами из лаборатории больших данных мы решили расшифровать некоторые термины из этой сферы.

Термин «инференс» в зависимости от контекста может употребляться в разных значениях. С точки зрения разработчика инференс — это третий этап жизненного цикла искусственной нейронной сети (после её обучения и развёртывания). Часто инференсом называют процесс работы уже обученной нейросети на конечном устройстве, или её логический вывод (конечный результат обработки данных).

С понятием «инференс» тесно связаны две следующие характеристики нейросетей:

Скорость инференса — важная метрика для сравнения производительности решений на базе ИИ. Она оценивается для разных нейросетей на одинаковом оборудовании, либо наоборот: для одной и той же нейросети на разном железе (например, на ядрах архитектур x86-64 и ARM, с ускорением на ГП и без него).

Точность инференса — количественная оценка, обычно выражаемая в процентах. Она показывает, насколько результат работы нейросети соответствует истине. Например, сколько слов нейросеть правильно распознала в аудиозаписи, или сколько дорожных знаков интерпретировала верно.

При разработке нейросетей одновременно стараются повысить как скорость, так и точность инференса. Именно по этим характеристикам их оценивает конечный потребитель.

Напишите в комментариях, какие ещё термины вам хотелось бы увидеть в нашей рубрике #нейрословарь