Исследователи из Facebook и Университета штата Аризона представили новый инструмент под названием AutoScale, который определяет, где запустить нейросеть — в смартфоне или в облаке. Инструмент предназначен для увеличения срока службы батареи и повышения производительности устройств.
Многие ИИ-инструменты выполняются на смартфонах, однако это может привести к сокращению срока службы батареи устройства и понижению его производительности, пишет VentureBeat. Поэтому решение о том, должна ли нейросеть запускаться на устройстве или в облаке, важно не только для конечных пользователей, но и для предприятий, разрабатывающих ИИ-инструменты. AutoScale автоматизирует принятие решений о развертывании нейросетей.
При каждом запуске нейросети AutoScale учитывает архитектурные характеристики алгоритма и возможные отклонения во времени его выполнения, такие как уровень сигнала Wi-Fi, Bluetooth и LTE, динамическое масштабирование частоты процессора и объём использованной памяти. Затем он выбирает аппаратные средства — процессоры и видеокарты, — которые максимизируют эффективность энергопотребления при максимальном качестве выполнения алгоритма. Затем AutoScale запускает нейросеть, следя за показателями устройства, и определяет, насколько выбор оборудования улучшил эффективность.
Чтобы проверить AutoScale, авторы разработки провели эксперименты на трёх смартфонах, измерив энергопотребление на каждом из них: Xiaomi Mi 8 Pro, Samsung Galaxy S10e и Motorola Moto X Force. Для имитации выполнения алгоритма в облаке они подключили смартфоны к серверу через Wi-Fi. Запуск нейросети на устройстве они имитировали с помощью планшета Samsung Galaxy Tab S6, подключенного к смартфонам через Wi-Fi Direct. Для каждого теста исследователи разработали три сценария: проверка компьютерного зрения без потоковой передачи, когда нейросеть анализировала фото с камеры; проверка компьютерного зрения на видео в реальном времени с камер; перевод текста, введённого с клавиатуры.
Разработчики сообщает, что во всех сценариях AutoScale превосходит базовые показатели, сохраняя при этом низкую задержку выполнения алгоритма и высокую производительность. Кроме того, использование AutoScale повысило энергоэффективность в 1,6–9,8 раз для разных сценариев. Более того, для AutoScale потребовалось только 0,4 МБ памяти, что составляет 0,01% от объема ОЗУ (примерно 3 ГБ) типичного смартфона среднего класса.
Информация об AutoScale опубликована на arxiv.org.
