AlexTikhonov Mar 16 2011 at 14:21

О тестировании скорости или как не надо писать тесты

4 min

2.9K

Website development*

+109

Comments 67

danilissimus Mar 16 2011 at 14:30

>У меня в Chrome было 4мс, а в FF4 четко на 10мс держалось.
Опера держит 2мс.
>На Windows он упирается в лимит VSync — 60 fps. Есть Issue об этом, за который можно проголосовать поставив звездочку.
Но зачем? Чтобы на изображении проступали вертикальные полосы несинхронизированной прорисовки?

AlexTikhonov Mar 16 2011 at 14:44

Там в иссю описано — чисто для бенчмарков добавить опцию в комманд-лайн. Типа мерятся у кого длинее fps :)

tangro Mar 16 2011 at 15:59

Полосы, к стати, будут горизонтальные.

danilissimus Mar 16 2011 at 16:02

Да, точно.

SKYnv Mar 16 2011 at 14:34

И тогда вступает в силу особенности реализации очереди событий в броузерах. Есть вот такой интересный тест, который должен показать минимальную точность setTimeout. У меня в Chrome было 4мс, а в FF4 четко на 10мс держалось.

opera 2мс выдаёт (точнее 2,3мс)

Amka Mar 16 2011 at 14:39

Safari, OS X 10.6.6: 10 мс.
100 iterations of setZeroTimeout took 15 milliseconds.
100 iterations of setTimeout(0) took 1087 milliseconds.
Странные они, эти тесты.

neptune Mar 16 2011 at 15:06

ага, в сафари также, в Хроме на OS X держится на 5
В сафаре на iPhone-е тоже 10мс

spmbt Mar 16 2011 at 14:41

Да, понятно было, что что-то нечисто, но не было времени разобрать. Чутьё подтверждалось тем, что автор того топика в MS работает :) (написано на его странице xaoccps.habrahabr.ru/ ).

vanfukov Mar 16 2011 at 14:46

Знамо дело: habrahabr.ru/blogs/webstandards/107405/#comment_3386030

TheShock Mar 16 2011 at 14:58

О, как всегда, MS в тестах сфейлили.

HomoLuden Mar 16 2011 at 15:10

У меня с этими изменениями в IE9 производительность поднялась со 150 до 400

AlexTikhonov Mar 16 2011 at 15:53

Что еще раз показывает бессмысленность этого теста.

Тут был в комментах скриншот с 600 фпс. Мало?

HomoLuden Mar 16 2011 at 22:02

Я еще затестил открытие контекстного меню поверх канваса. Динамика резко затормозилась, но ФПС-каунтер оказался очень инерционен. Счетчик просел всего на 20-30 ФПС, а видимое торможение намного больше.

TheShock Mar 17 2011 at 21:07

Потому что каунтер считает средний ФПС за все время работы, а не за последние Н секунд. То есть 5 минут поработал — берется количество отрендеренных фреймов и делится на 300 секунд.

HomoLuden Mar 21 2011 at 21:50

ИМХО Moving Average лучше

AgentSmith Mar 16 2011 at 14:58

Типичный пример того, как безграмотность меняет смысл текста.
Как правильно хотел написать автор:
«О, тестирование скорости! „
или
“О тестированиИ скорости ...»

TheShock Mar 16 2011 at 15:00

Типичный пример, как надо было писать в личку, потому что автор опечатку исправит, а ваш пост тут будет висеть тут ещё долго и безсмысленно.

Error_403_Forbidden Mar 16 2011 at 15:01

Нет уж, пусть все видят и сами учатся на чужих ошибках

Dragonizer Mar 16 2011 at 15:07

Чтоб ветка зря не пропадала, :) приставка без-/бес- пишется в зависимости от следующей за ней буквы: «без-» для гласных и звонких согласных, «бес-» для глухих согласных. Примеры: Безответственность, бездарность, беспечность.

xn__p2a Mar 16 2011 at 15:25

Ну тогда уж до кучи: «браузеры», а не «броузера».

danSamara Mar 17 2011 at 21:04

Вы со своим оксфордским акцентом совсем английского не знаете. Правильно «бравзеры», мне одна бухгалтерша по секрету сказала…

m_z Mar 18 2011 at 04:50

какие нафиг бравзеры? посмотрите хотя бы транскрипцию в словаре или послушайте в гугл транслейте, там четко «браузер»

danSamara Mar 18 2011 at 18:14

Это вы мне или той бухгалтерше? ;)

UFO just landed and posted this here

Gol Mar 16 2011 at 16:54

Ну, про беЗграмотность всё ок

AlexTikhonov Mar 16 2011 at 15:04

Спасибо, поправил.

Действительно название я менял несколько раз не зная что выбрать, по этому в конце концов вышел средний вариант :)

UFO just landed and posted this here

dmitry_vk Mar 16 2011 at 15:06

>Возможно это из-за гранулированности работы с таймером для Windows систем (без использования high-performance counter-ов или мультимедия расширений).

Все проще.

developer.mozilla.org/en/DOM/window.setInterval

As with setTimeout, there is a minimum delay enforced.

HTML 5 defines the minimum delay = 4 ms, starting with the second successive setTimeout().

AlexTikhonov Mar 16 2011 at 15:20

Я не нашел в спецификации W3C или WhatWG упоминания про 4мс (ссылки на setTimeout в посте есть), хотя в блог-постах действительно часто упоминается. Может раньше было?

Если найдете, скажите — я добавлю в текст.

dmitry_vk Mar 16 2011 at 15:33

www.whatwg.org/specs/web-apps/current-work/multipage/timers.html

The setInterval() method must run the following steps:
5. If timeout is less than 10, then increase timeout to 10

The setTimeout() method must run the following steps:
5. If the currently running task is a task that was created by the setTimeout() method, and timeout is less than 4, then increase timeout to 4.

AlexTikhonov Mar 16 2011 at 15:41

Ха, забавно. Сейчас сделаю апдейт статьи.

Выходит что те браузера, которые делают setTimeout < 2мс уже не следуют стандарту WhatWG.

Но IE9 больше следует W3C-варианту HTML5, в котором вроде нет этого ограничения, что и объясняет огромные FPS на этом… гм, «тесте».

dmitry_vk Mar 16 2011 at 16:25

Собственно, текущий вариант спецификации от W3C говорит то же самое, что и WHATWG: www.w3.org/TR/2011/WD-html5-20110113/timers.html#timers

kolpeex Mar 16 2011 at 15:10

У меня ваша версия показывает больший фпс (57 против 40), но при этом на вид не 57, а 20, все летит медленее и прерывистее, чем в оригинале, в котором все идет очень гладко и шустро.

AlexTikhonov Mar 16 2011 at 15:24

Именно это я и хотел написать — что этот тест на самом деле «меряет» вообще непонятно что.

Смысл поста — критика подобных «тестов», которые непонятно что показывает, да еще в ракурсе «IE 9: 300+ fps, все остальные — меньше 100», в то время в тесте столько проблем, что даже мой пост только чуть затронул.

Я уверен, что если еще глубже копнуть можно еще много найти откуда взялись эти 300+ fps.

SovGVD Mar 16 2011 at 15:22

if (!IE) {
delay(100500);
}

mokus Mar 16 2011 at 15:24

с переключениями табок это вы лихо — понятно что фф перестает отрисовывать неактивную табку и фпс скачет до небес.

может попробовать setInterval(moveIt,10); и будет все честно?

AlexTikhonov Mar 16 2011 at 15:26

тогда Вы ограничите результат до 100 fps (которых в реальных проектах хватает с головой), и не дадите IE9 набрать свои сотни fps :)

mokus Mar 16 2011 at 15:29

Создать сложную сцену, которую любой браузер гарантировано будет рендерить дольше 10мс?

mokus Mar 16 2011 at 15:31

кстати на моем макбук про хром показывает 30фпс. никак не «200+ под не-Windows платформами»

AlexTikhonov Mar 16 2011 at 15:36

А включенны всякие там «GPU Accelerated Compositing/GPU Accelerated Canvas 2D»? У меня на Ubuntu без никаких трюков и на сравнительно среднем cpu/gpu — 250

mokus Mar 16 2011 at 15:43

насколько я понял в хроме 10.0.648.134 этого нет. вкладка about:labs — пустая.

OlegXxl Mar 16 2011 at 15:47

В последних версиях Chrome about:labs переехало в about:flags

mokus Mar 16 2011 at 15:50

Спасибо за подсказку.
Включил. Странно но теже 32фпс.

AlexTikhonov Mar 16 2011 at 15:51

Буквально последний абзац перед «Вывод» — там про about:flags:)

OlegXxl Mar 16 2011 at 15:27

На последней(сегодняшней) dev версии Chrome под Win7 x64, Ваш исправленный вариант в купе с описанной системой tab-анья даёт 600+ фпс. Пруф имг.

AlexTikhonov Mar 16 2011 at 15:32

Если я не ошибаюсь, с «табанием» можно и до 1000+ довести :) но я не проверял — надо оставить на пол часика-часик покрутиться :)

TheShock Mar 16 2011 at 15:36

Не надо. Главное — сразу при открытии вкладки переключиться в соседний таб.

rednaxi Mar 16 2011 at 15:28

У меня в FF 3.6 под windows 7 модифицированная версия работает чуть медленнее(15-20 фпс против 20-25) и визуально хуже (дерганней) чем оригинал

TheShock Mar 16 2011 at 15:37

Ну это неудивительно. Данный фикс имеет смысл только если время выполнения меньше, чем минимальная задержка таймера.

FlexIDK Mar 16 2011 at 16:59

IE9 — показывает 3ms

Aleksov Mar 16 2011 at 18:13

Ну как то так…
MAC OS X 10.6.6
Firefox 4 — s41.radikal.ru/i091/1103/38/b797f9a68904.jpg
Safari 5 — s48.radikal.ru/i122/1103/23/28c662d980fe.png
Chrome 10 — s60.radikal.ru/i168/1103/0d/de6cd14a7b47.png
Opera 11 — s004.radikal.ru/i205/1103/14/16dab0c5b292.png

Leong Mar 16 2011 at 18:17

win7, ff 3.6.x i7-950, hd4870 2gb.
100 iterations of setZeroTimeout took 8 milliseconds.
100 iterations of setTimeout(0) took 993 milliseconds.

Оригинальный тест — 30-34 фпс.
Модифицированный — 40 фпс. (табался, тоже самое)

setTimeout — 9.5

Leong Mar 16 2011 at 18:22

лохе. 4890 2gb.

bolk Mar 16 2011 at 20:33

Веб-кит под Андроид (2.3.3) — 11.2

bolk Mar 16 2011 at 20:57

Веб-кит под iPhone4 — около 12.

mephisto Mar 16 2011 at 21:54

оО на довольно сильном камне (phenom II x2 550) в хроме 10 под вин с включенным ускорением канваса — всего 46фпс в обычной версии и 21 в версии с увеличенным числом полигонов оО
почему так мало?

kashey Mar 17 2011 at 08:07

FF4, 180FPS, явные лаги прорисовки.
Люди — знайте — в ФФ нельзя использовать таймауты которые быстрее функции переносимой.
Получается просто — вы проапдейтили канвас, ФФ думает что можно бы и страницу обновить, а вы его опять начинайте апдейтить.
В итоге Браузер просто не обновляет картинку, генеря при этом жуткий ФПС( так как он попросту начинает пропускать фреймы)
Я всем сильно рекомендую вызывать аниматор «через-тик», тоесть гарантировать между двумя таймаутами один «пустой-таймауат-гарант» отрисовки( либо в одном таймауте поднимаете таймаут на отрисовку, либо просто только по четным фреймам работаете)
И не надо гнаться за ФПС, в реальность 25 кадра лично я не верю :)

danilissimus Mar 17 2011 at 09:47

>не надо гнаться за ФПС
надо, еще как.
хотя-бы довести до 60-70 + синхронизировать с перерисовкой монитора.
вы когда-нибудь пробовали играть в какую-нибудь 3д игрушку, одновременно записывая фрапсом например? он искуственно снижает FPS до 30 — ощущения не из приятных. больше частоты синхронизации — при резких (и даже не очень) движениях игрока (поворотах) в разные стороны будут ощутимо заметны вертикальные полосы, разделяющий 2 кадра. т.е. какбы старый кадр на месте, поверх начал отрисовываться новый и дошел только до трети монитора. поэтому идеал — синхронизация с частотой монитора.

AlexTikhonov Mar 17 2011 at 11:16

хотя-бы довести до 60-70 + синхронизировать с перерисовкой монитора.

Может именно по этому у хромого не хотят отключать vsync при использовании gpu? :)

TheShock Mar 17 2011 at 21:08

В браузерах это всё не имеет смысла, т.к. они обновляют картинку когда захотят.

danilissimus Mar 17 2011 at 21:32

ну, ГУГЛ, снова придумает какой-нибудь новый стандарт по этому поводу.

f0rk Mar 17 2011 at 22:39

Если бы еще лет 7 назад мне бы кто-нибудь сказал что люди будут меняться fps-ами в браузерах, я бы не поверил…

AlexTikhonov Mar 17 2011 at 22:42

Этот комментарий надо было бы поставить как эпиграф к этому посту!

olegchir Mar 17 2011 at 23:38

прошла тысяча лет, каждый линуксоид знает, что «glxgears — не бенчмарк», но каждый день находится как минимум один человек, создающий на форуме писькомерку показаний glxgears. Это неистребимо, желание помериться разницами простых мужицких timeout'ов гораздо сильнее, чем мудрствовать о сути графикики.

Для пользователей windows, glxgears — это такая прога, рисующая на экране цветные шестеренки, и печатающая fps'ы с которыми они рисуются на экране.
ru.wikipedia.org/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:Glxgears.gif

marazm Mar 18 2011 at 06:52

MacBook 5.2 2 Ггц 2Гб
MacOS 10.6.6
Первый тест: 5
Второй: 15fps

2tl Mar 18 2011 at 10:44

В первой табличке результат в попугаях?

AlexTikhonov Mar 18 2011 at 11:09

Первая табличка — минимальная задержка, которую обеспечивает броузер при setTimeout(x,1) в мс. По стандарту должно быть 4мс (есть ссылочки на стандарт)