AnandTech заподозрил MediaTek в накрутке производительности чипсетов в ходе тестов

    image

    Эксперты AnandTech выпустили расследование, посвященное возможным махинациям тайваньского MediaTek. Производителя микропроцессоров подозревают в том, что он искусственно завышает показатели производительности в тестах.

    Авторы расследования проанализировали тесты и пришли к выводу, что компания манипулирует настройками Dynamic Voltage and Frequency Scaling (Динамическое масштабирование частоты и напряжения). Технология отвечает за энергосбережение, частоту процессора при нагрузке и некоторые другие параметры.

    Подозрения у экспертов вызвала версия смартфона Oppo Reno3 Pro, вышедшая в Европе. Она работает на базе чипсета MediaTek Helio P95. В системном бенчмарке PCMark производительность SoC была выше, чем у подобного класса процессоров с ядрами Cortex-A75. Так, смартфон оказался быстрее, чем китайский Reno3 на базе Dimensity 1000L, хотя последний чип вышел позднее и отличался более высокой производительностью. Интересно, что у китайской версии устройства на базе Snapdragon 765G никаких отклонений в показателях производительности нет, таким образом, сама Oppo не имеет отношения к искажению показателей, делают вывод авторы материала.

    Эксперты перепроверили показатели с помощью анонимной версии PCMark от UL. Выяснилось, что разница в общем балле производительности достигает почти 30 %, а в некоторых показателях (производительность в текстовом редакторе) — и 75%.

    image imageФото: www.anandtech.com

    Затем расследователи изучили файлы прошивки устройства. В них обнаружился power_whitelist_cfg.xml, который обычно находится в директории /vendor/etc.

    image

    Фото: www.anandtech.com

    Файл включал настройки управления питанием для разных популярных синтетических тестов, в том числе GeekBench, AnTuTu, 3DBench, PCMark, а изменяемым параметром был выставлен «спортивный режим» (Sports Mode).

    image
    image

    Фото: www.anandtech.com

    Были обнаружены и настройки для профессионального теста GFXBench.

    image

    Фото: www.anandtech.com

    «Спортивный режим» может изменить параметры для SoC, в том числе, настройки работы контроллера памяти, чтобы постоянно удерживать максимальную частоту работы. В данном режиме ядра CPU быстрее набирают максимальную частоту и дольше её удерживают.

    Затем журналисты проверили и другие устройства, работающие на процессорах MediaTek. Вот сводная таблица итогов:

    image Фото: www.anandtech.com

    Интересно, что в списке есть модель Sony XA1 2016 года. Производитель старался избегать подобной практики, из чего специалисты сделали вывод, что Mediatek внедряет свои настройки в программные пакеты поддержки платформы Board Support Package.

    Кстати, в новой прошивке для Oppo Reno3 Pro файлов конфигурации «спортивного режима» для тестов уже нет. А вот в бенчмарках производительность по-прежнему завышается.

    MediaTek утверждает, что бенчмарки отражают реальную картину по возможностям чипсетов, а все вопросы стоит адресовать производителям устройств.

    Ранее, в 2013 году, в подобных действиях уже уличили Samsung, которая через DVFS завышала результаты производительности в бенчмарках чипсетов Exynos в смартфонах Galaxy S4 и Galaxy Note 3. В итоге компания проиграла суд на сумму $13,4 млн.

    Затем на недобросовестной практике поймали Huawei. Компания при бенчмарках отключала в своих устройствах механизм, который отвечал за троттлинг процессора, и они работали на максимуме вплоть до полного отключения от перегрева. Теперь же Huawei сделала этот механизм более прозрачным.
    См. также:

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 21

      +1
      Непонятна суть претензий. В бенчмарках нужно «выложиться на полную», а в реальной работе — найти баланс между производительностью и энергопотреблением, иначе потребители взвоют, когда смартфон сядет через 2 часа работы.
        +1
        Если есть «белый список» бенчмарков — в других приложениях «спортивный» режим активирован не будет, следовательно в условно полезных приложениях телефон никогда не будет «выкладываться на полную».
          0
          Будет. Просто на более короткие промежутки времени, а в остальное время будет троттлить и снижать частоты, чтобы устройство жило дольше без подзарядки. Как и любой другой процессор.
            +5
            У вас напряжение в бытовой сети 160 вольт вместо 230. Когда приходят проверяющие напряжение становится 230.
            Давление воды в трубах 1/6 от номинального, вы вызываете ответственных лиц, собираете комиссию, на момент проверки давление нормальное.

            Вы жалуетесь на несоотвествие.

            А Валерий Петрович, начальник, вам рассказывает:

            Непонятна суть претензий. Во время работы комиссии нужно «выложиться на полную», а в реальной работе — найти баланс между номинальными показаниями и затратами компании на предоставление услуг.


            Сочуствую)
              –2
              Зачем сравнивать несравнимое?
              100% от номинального напряжения в сети и давления в водопроводе не причинит никаких проблем. Постоянная работа процессора на номинальной частоте заставит устройство греться и быстро разряжаться.
              P.S. Чему сочувствуете?
                0
                В реальности уже был хороший пример: уровень выбросов у некоторых автопроизводителей. Который снижался лишь во время тестов, хотя заявлено было, что уровень выбросов такой всегда.
                  0
                  Это тоже так себе пример. Многие пришли к реальному разочарованию, узнав, что их V8 м 240 сил на самом деле 360, но задавленный электроникой только лишь для того, «чтобы экологам лучше спалось».
                  Это в целом не плохо, но такой осадочек остался… Имеешь, а использовать не можешь…
                  Мы в ИТ мире давно уже к такому привыкли, а граждане — пользователи автомобилей к такому повороту были не готовы.
                0
                Это не соответствует моим ожиданиям при покупке и скорее всего приведет к возврату устройства и/или я больше никогда не буду покупать устройства этого производителя.

                Касательно телефонов мне в принципе пофиг какая там производительность, лишь бы не тормозило совсем очевидно, но вот ноутбуки, которые вроде бы быстрые и долго работают (а по факту — выберите из перечисленного что-то одно, либо быстро, либо долго) — категорически не устраивают.
                  0
                  Будет. Просто на более короткие промежутки времени

                  Не будет. Иначе бы переименованные бенчмарки могли достигнуть этих показателей.
                  Там же не только на максимум врубаются частоты, но и твикается ядро/драйвера, что, видимо для обычных приложений недоступно.
                +6

                В тестах на экологичность нужно выложиться на полную, а в реальной эксплуатации — найти баланс между уровнями оксидов азота в выхлопе, мощностью двигателя и количеством сжигаемой солярки.
                © Volkswagen

                  0
                  Я знал, что эта аналогия появится в комментах, но здесь ситуация иная: VW не мог обеспечить одновременно и экологичность, и мощность двигателя. Потому занижал мощность на тестах.
                  С процессорами все несколько иначе — раз CPU достиг некоторого результата в бенчмарке, значит, он способен на эту производительность. Другой вопрос, что он не сможет выдавать эту же производительность в долговременной перспективе из-за проблем с энергопотреблением, охлаждением и т.д.
                  Если уж проводить параллели с автомобилями — при замере мощности на стенде газ давится постоянно «в пол», чтобы получить максимальный результат, но никто так не ездит постоянно в жизни.
                    0
                    не мог обеспечить одновременно и экологичность, и мощность двигателя
                    Не можешь обеспечить — не обещай. В этом-то и проблема.
                  0

                  Бенчмарки это не отдельный класс приложений. Хороший бенчмарк симулирует работу обычных приложений определённого класса. Пользователи выбирают процессоры по результатам бенчмарков. Поэтому результаты должны быть приближены к реальности настолько, насколько это возможно. Иначе выйдет ситуация, что пользователь выбирает телефон на Mediatek, который показывает себя хорошо в бенчмарке, но на практике он оказывается хуже, чем процессоры конкурентов.

                    –2
                    Нормальный бенчмарк проверят всё сразу. И если проц для бенча выкручен на максимум, значит будет провал по времени работы и нагреву.
                    Если бенч можно тупо обмануть — проблемы бенча, а не железа.
                      0

                      Судя по статье весь тупой обман заключается в if (appname == 'benchmark') overclock()

                  0

                  Помню как тут на хабре в корпоративном блоге Mediatek показывал красивые вершки графика, где он в чем-то превосходил конкурентов. При это в реальности преимущество было в районе пары процентов.

                    +1
                    Бенчмарк (а многие на мобилках больше похожи на стресс-тесты) показывает на что способен проц, а не что он делает 24/7.

                    В случае с MTK — отключаем троттлинг и имеем как раз эту производительность. И, в случае с MTK (храни его китайские боги) это обычно делается (делалось когда пользовался) парой пунктов инженерного меню, вызываемого кодом из звонилки без всякого рута.

                    Чего нельзя сказать например о Qualcomm/Exynos/Kirin, у которых троттлинг зачастую фиг обойдешь. И настроен он так, что при первом запуске бенчмарка CPU в троттлинг свалиться не успеет, но если тут же запустить второй раз — цифры станут гораздо менее красивыми (и в играх/тяжелых задачах производительность спустя 5 минут будет как раз из 2-го прогона, а не из красивого 1-го).

                    Так что MediaTek тут врет не больше других, просто они (на флагманских CPU) греются сильнее и без вайт-листа троттлинг могут включить раньше окончания бенчмарка.

                    Другое дело, что пользоваться смартфоном с температурой 60+ градусов мало кто захочет, да и батарея не очень рада такому температурному режиму… Но MTK, в отличии от старших товарищей, хотя бы позволяет пользователю включить такой режим при желании.

                    P.S. так то мой рузен 5 на ПК тоже в стресс-тестах бустится до 4.2 по всем ядрам и греется до 87. Но в жизни он перманентно бустится лишь на 2 лучших, а остальные подскакивают эпизодически, греясь лишь до 72. И вроде как все этим довольны =)
                      +1
                      Бенчмарк (а многие на мобилках больше похожи на стресс-тесты) показывает на что способен проц

                      Бенчмарки должны показывать достижимую для обычных программ производительность.

                      В случае с MTK — отключаем троттлинг и имеем как раз эту производительность.

                      Посмотрите список твиков, которые они включают.
                      Кроме частоты контроллера памяти, есть буст накопителя, включается sched_boost и ещё чёрти что.

                      просто они (на флагманских CPU) греются сильнее и без вайт-листа троттлинг могут включить раньше окончания бенчмарка.

                      Это и есть мошенничество. Делают вид, что процессор не хуже других справляется с задачей, когда он хуже.

                      Чего нельзя сказать например о Qualcomm/Exynos/Kirin, у которых троттлинг зачастую фиг обойдешь

                      Samsung получил class action suit за обман в бенчмарках.
                        0

                        Он справляется не хуже, а так же. От того, что МТК в игре у вас уйдет в троттлинг по перегреву через 4 минуты, а куалком — через 5, вам легче не станет. Играть вы в любом случае будете с равными тормозами. Но куалком будет и дальше хвалиться цифрами в бенчмарках (ведь никакого мошенничества, лишь "грамотно подобранный" порог включения троттлинга).


                        На МТК хотя бы можно отключить всё это энергосберегающее и защитное добро (на свой страх и риск, конечно), в то время как у остальных придется есть кактус, о котором в маркетинговых материалах ни слова.

                          0
                          Он справляется не хуже, а так же.
                          От того, что МТК в игре у вас уйдет в троттлинг по перегреву через 4 минуты, а куалком — через 5

                          У вас предложения противоречат друг другу.
                          К тому же, как я уже говорил — там не только троттлинг.

                          Вы можете через (доступное и открытое всем) меню настройки телефона включить точно такой же Sport-режим для всех программ?
                          С оверклокингом, отключением троттлинга и прочим?
                            0
                            Если вы внимательно смотрели статью, то могли заметить, что там нет оверклокинга. Там обычный турбо-буст (имеющийся и при обычно работе) с вполне номинальными пиковыми частотами, который в спорт-режиме просто активируется быстрее (профили питания CPU) и удерживается дольше (игнорируя нагрев).

                            На счет скорости активации турбо-буста в инженерном меню — не уверен (не имею на руках актуального MTK-устройства для проверки), а вот его удержание (отключение троттлинга) вполне активируется.

                            Более того, это явно официально заложенная в CPU вещь и, при желании, производитель конечного устройства в прошивке может активировать данный режим для всех приложений простым указанием пары строк в XML (но не делает, видимо из желания хвалиться временем автономной работы устройства). Более того, в кастомных прошивках еще со времен Android 2.3 и CyanogenMod зачастую стоят утилиты (доступные в маркете) для точно такого же управления профилями питания CPU (который у всех по-умолчанию в PowerSafe либо Ondemand стоит, с переходом в Max Perfomance лишь в частных случаях) в теми же парами строк в XML (требует Root).

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое