Машинное обучение загрязняет атмосферу сильнее, чем автомобили и самолеты



    Исследователи Массачусетского университета предупреждают о теневой стороне искусственного интеллекта в новой работе: необходимый для тренировки модели объем вычислений требует огромного количества энергии и вызывает выброс углекислого газа в атмосферу. Цифры, которые приводят авторы, показывают, что обучение одной модели обходится человечеству дороже, чем эксплуатация пяти автомобилей.

    Объектом исследования стала группа алгоритмов искусственного интеллекта, созданных для задач, связанных с обработкой естественного языка: машинный перевод, анализ и генерирование текста. Для эксперимента ученые отобрали четыре модели последних лет, которые дали максимальный скачок в производительности: Transformer, ELMo, BERT и GPT-2. Модели запускались на отдельных графических процессорах, чтобы замерить расход мощности. Далее, используя информацию о продолжительности обучения, исследователи рассчитали общий объем энергии, потребляемой каждой из программ, и количество углекислого газа, которое выделилось в процессе.

    Результаты показали, что влияние машинного обучения на экологию сильно варьирует в зависимости от сложности модели и числа параметров. Например, для модели Transformer обучение на 65 млн параметров вызывает выброс объемом примерно в 11 кг, когда же количество параметров возрастает до 213 млн, выделяется уже 87 кг вредных для окружающей среды веществ. Также большое значение имеет то, используется ли нейронная архитектура для оптимизации работы и повышения точности результатов. По расчетам авторов, именно процессы тюнинга и корректировки настроек потребляют больше всего энергии.

    Чтобы дать читателям возможность в полной мере оценить, чего нам стоит разработка новых алгоритмов, исследователи приводят несколько сравнений с другими хорошо известными источниками загрязнения. Так, без применения нейросетей наиболее затратная модель BER равнозначна по степени воздействия на окружающую среду перевозке одного пассажира на самолете из одного конца США в другой. Модель Transformer с оптимизацией нейронным поиском и максимальным числом параметров дает такой же выброс углекислого газа и эквивалентов как полный жизненный цикл пяти автомобилей, включая производство и весь срок службы.



    Источник: MIT Technology Review

    Авторы подчеркивают, что приведенные цифры обобщают только последствия первых этапов работы над моделями искусственного интеллекта, до того момента, когда их можно представить научному сообществу. В дальнейшем они, как правило, дорабатываются и проходят дополнительное обучение на новом материале, производя все больше и больше выбросов. Динамику этого процесса еще предстоит изучить.

    В заключение, признавая, что процесс создания и совершенствования компьютерного разума не может и не должен останавливаться, исследователи указывают на необходимость более ответственного и разумного подхода к использованию существующих ресурсов. «Многие исследования в сфере искусственного интеллекта не принимают во внимание фактор эффективности, — поясняет Карлос Гомез-Родригез, ученый, задействованный в проекте, — ведь сейчас у компаний и организаций есть широкий доступ к очень крупным нейросетям, которые рассчитаны на самые разнообразные задачи и могут дать им конкурентное преимущество». Исследователи надеются, что проведенный ими анализ побудит разработчиков изменить некоторые практики, в частности отказаться от ресурсозатратных методов оптимизации, которые дают незначительный эффект.
    Поделиться публикацией

    Комментарии 44

      +1
      А как они рассчитывали выброс углекислоты? При выработке энергии «из» солнца или воды углекислый газ в прямую не выделяется, например
        +5
        См. конец 2-й страницы работы. Они используют соотношение фунты CO2 на киловатт*час по США (от EPA — U.S. Environmental Protection Agency). У них же в работе на той же странице есть таблица с пропорциями используемых источников энергии для США, Германии и Китая. На ней видно, что США не слишком экологична в этом плане — меньше всего возобновляемых источников энергии, в разы большая доля угля, чем у двух других стран.
          +3
          Вы что-то путаете, самая большая доля угля как раз у Китая, хотя доля возобновляемых источников энергии у них все же больше, чем у США:
        0
        А когда заканчивается активное обучение и вшивается в мозги автомобиля, тогда какие затраты? Или это затраты на постоянной основе, для каждого робомобиля, в том смысле, что обучение бесконечно, ибо идеалов нет пределов.
          +4
          Причем тут автомобили вообще?
            0
            Ну, я цели пропустил, а 5 автомобилей увидел… Да, в данной теме их нет… Увидел то, чего нет.
              –1
              Авторы подчеркивают, что приведенные цифры обобщают только последствия первых этапов работы над моделями искусственного интеллекта, до того момента, когда их можно представить научному сообществу.
          +1
          Это конечно плохо, но мы не можем отказаться от прогресса в ИИ, да и бизнес не захочет. Поэтому имхо проблема не в неэффективном использовании ИИ, а в источнике энергии. Если б мы использовали везде «более чистую» энергию, то и таких исследований не возникало бы
            +4
            И если бы излишки тепла не выкидывали бы в трубу.
            Например, предварительный подогрев горячей воды, отопление помещений, теплицы.
            +25

            А сколько CO2 выделяется за время установления TLS-соединения между пользователем и сервером, который отдаёт комментарий о выделении CO2 при установлении TLS-соединения?

              0
              Шок, сенсация, одна посиделка на природе с жаркой шашлыков наносит бОльший вред природе чем 2 (джва) автомобиля. А ещё лес может сгореть.
              +1
              Увы, для многих слово CO2 — звучит как для папуасов «карго», только с негативом.
                +2
                Ну да, мы же не уверены до конца, там мало что понятно, нужно больше экспериментов, научные наблюдения.
                Только вот планета у нас всего одна для экспериментов.
                +4
                Исследователи Массачусетского университета предупреждают о теневой искусственного интеллекта

                Чего? Существительное где?
                  +9

                  Ну есть гончая, а это теневая.

                    –1
                    Там пропущено слово. Должно было быть:
                    теневой производной искусственного интеллекта
                      0

                      Спасибо, Кэп!

                  • НЛО прилетело и опубликовало эту надпись здесь
                    +3
                    Люди выдыхают 2.5*10^12 килограмм углекислоты в год.
                      +6
                      И почему читая ваши слова я практически слышал Бендера?
                        +6

                        Бендер потребляет ещё больше электричества (в пересчёте на CO2).

                          0
                          Чем один человек или чем группа людей, которых он может заменить? )
                          Вспоминая, что раньше отделы той же бухгалтерии требовали чуть ли не на порядок больше человек, чем сейчас. А ещё всякие телефонистки и прочие ушедшие специальности...
                          А ещё можно так:

                            0
                            Каким образом численность человеческой популяции зависит от потребности в специалистах той или иной профессии?
                              0
                              Требуемая численность!
                              Если оценивать что для решения какой-то задачи ИИ требуется выработать столько CO₂, то вполне нужно сравнивать выработку этого же CO₂ человеками для решения этих же задач. И если окажется, что у человечества параметры хуже ИИ, то можно пилить новую научную статью об угрозе экологии, вызываемого решением человечества задач, которые лучше решаются ИИ. И вообще, слава роботам…
                                0
                                … нужно сравнивать выработку этого же CO₂ человеками для решения этих же задач ...
                                А если люди не заняты в решении этих задач, то они перестают вырабатывать CO₂? Или, может быть, их популяция автоматически сокращается на количество высвободившихся специалистов?
                                  –1
                                  А если люди не заняты, то они перестают получать O₂…
                                    +1
                                    А мы всё еще обсуждаем известный мем с Бендером?
                                    Мне кажется, вы как-то больно серьезно воспринимаете мои слова…
                        +5
                        Очередной кликбейтный заголовок… Где суммарные расчёты, сколько конкретно, например, за прошлый год, было затрачено энергии на все исследования в области ИИ и машинного обучения в сравнении с транспортом?
                        И что вообще за призыв «не расходуйте ресурсы на изучение ИИ»? Ага, щаз, в ближайшем будущем аренда ИИ будет самым прибыльным бизнесом, и кто раньше всех получит универсальную «болванку» — быстрообучаемый на любую задачу ИИ — сможет подмять под себя просто гигантский рынок. Естественно, крупные корпорации бросят все силы, средства и ресурсы на то, чтобы первыми создать коммерчески успешный ИИ.
                        Тут если к чему и призывать, то к использованию ВИЭ для подобных исследований и для big data крупных корпораций, ну так они и так движутся в этом направлении.
                          +2
                          Немного оффтоп, но Human Life и American Life с разницей в 3 раза? Это что за параметры такие?
                            +2
                            Думаю, имеется в виду потребление энергии на душу населения.
                            +1
                            Они бы ещё посчитали к какому выбросу CO2 приводит выпуско очередной игры GTA, если посчитать всех геймеров * количество проведённых часов. Относительно всех энергозатрат в ИТ сфере, обучение нейронок это погрешность округления. Исследование ради громкого заголовка. Вот к чему это всё? Запретить ИИ?
                              +3
                              не забудьте про криптовалюту.
                              Сколько кг CO2 выделятся за выполнение смарт-контракта или подтверждение транзакции?
                              +4
                              Надо бы уточнить эти расчёты на нейросетях, может найдёт более точную связь.
                              • НЛО прилетело и опубликовало эту надпись здесь
                                  0
                                  Уже была пугалка: «один поиск в Google сжирает как кипячение полного электрочайника». Потом оказалось, что кто-то ошибся в расчётах не помню на сколько порядков.
                                    +1

                                    Ну, кажется, примерно столько он и занимает. Я где-то видел оценку поиск = чашка кофе. С другой стороны, Гугл много энергии берет из возобновляемых источников, и покупает оффсеты на остальное: https://sustainability.google/projects/announcement-100/

                                      0
                                      Потом была другая оценка — 100 джоулей на один поиск. Этого на чашку кофе не хватит точно.
                                        0
                                        Ну закипятить чайник стоит 2-5 рублей(в зависимости от температуры воды).

                                        Имхо, гугл бы обанкротился столько на каждый поиск терять.
                                      +2

                                      Это они ещё не считали затраты на использование веб-интерфейса Gmail.

                                        0

                                        Slack, и вообще — Electron.

                                        –1
                                        У зеленых опять кончились деньги?
                                          +1
                                          Тут надо посчитать, сколько энергии было бы потрачено, если бы анализ текстов проводили живые люди вместо обученных моделей.
                                            +4
                                            Непонятна фиксация конкретно на этой задаче. Очевидно, что любое использование компьютера требует энергии. И обучение ИИ далеко не самая бесполезная задача. Пусть для сравнения приведут сколько сжирают майнеры всяких электронных валют, игроки в видеоигры, просмотр видео, да просто тупящие в фейсбуке. Более чем уверен, что машинное обучение в этом списке даже в тысячу самых прожорливых не попадёт.
                                              0

                                              Это они ещё не пробовали крипту майнить и в последний Doom резаться...

                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                              Самое читаемое