Прорыв последних лет систем искусственного интеллекта в областях автономного вождения, распознавания речи, машинного зрения и автоматического перевода стал возможен благодаря развитию искусственных нейронных сетей. Но для их запуска и обучения необходимо много памяти и энергии. Поэтому часто ИИ-компоненты работают на серверах в облаке и обмениваются данными с настольными или мобильными устройствами.
Нейронные сети состоят из тысяч простых, но тесно взаимосвязанных узлов обработки информации, обычно организованных в слои. Нейросети различаются числом слоев, соединений между узлами и узлов в каждом слое.
Соединения между узлами связаны с ними весами, которые определяют, насколько выход узла будет способствовать вычислению следующего узла. Во время обучения, в котором сети представлены с примерами вычислений, которые они учатся выполнять, эти веса постоянно корректируются, пока результат последнего слоя сети не будет соответствовать результату вычисления.
Какая сеть будет более энергоэффективной? Мелкая сеть с большими весами или более глубокая сеть с меньшими весами? Многие исследователи пытались дать ответ на эти вопросы. В последнее время основная активность в сообществе глубокого обучения была направлена на разработку эффективных нейронных сетевых архитектур для платформ с ограниченными вычислительными возможностями. Однако большинство этих исследований было сосредоточено либо на сокращении размера модели, либо вычислений, в то время как для смартфонов и многих других устройств потребление энергии имеет первостепенное значение из-за использования батарей и ограничений по теплопакету.
Исследователи из Массачусетского технологического института (МТИ) под руководством доцента кафедры электротехники и информатики Вивьен Сэ (Vivienne Sze) разработали новый подход к оптимизации сверточных нейронных сетей, который ориентирован на минимизацию энергопотребления с использованием нового инструмента оценки расходования энергии.
