На днях
bbsod опубликовал заметку про независимое
тестирование браузера Safari. Думаю надо поподробнее остановиться на этом, например, сервисы Google такие как Gmail и Google Maps в Safari 3 работают не так быстро как в FireFox и IE, ну об этом чуть ниже. Итак в этой заметке мы остановимся о методиках тестирования скорости работы веб браузеров на примере
Safari.
Измерение реальной производительности браузера от Apple
11 июня Apple выпустил версию своего OSX браузера Safari 3.0 для Windows, заявив, что это «самый быстрый Windows браузер». Это заявление было сделано на основании тестов, проводимых Apple, на базе
бенчмарка iBench сделанного Зифом Дэвисом, который разделяет результаты тестирования производительности HTML, JavaScript и время запуска приложения. Существует бесчисленное множество бенчмарков для проверки производительности, и мы решили проверить соответствует ли заявление Apple действительности.
Подготовка тестирования
Другие тесты прогоняют Safari 3.0 Windows beta через бенчмарки и проверят, как они работают в строго определенных требованиям теста условиях. Мы же были больше заинтересованы в проверке того, как этот браузер работает непосредственно при работе с ним простых пользователей. То есть мы измеряли то, как работает Safari во время работы с веб-страницами, составив для этого несколько испытаний, отличающихся от обычных бенчмарков для браузера.
Какие веб-страницы?
При тестировании Safari 3.0 только на Gmail и Google Maps оказалось, что Safari 3.0 работает медленней, чем Firefox 2 и IE7 под Windows, но тестирование на основе только этих двух сайтов не может показать в полной мере возможностей браузера для всех пользователей. Разумеется, что проверять надо на большем количестве веб-сайтов, но на каких конкретно? Проблема была решена отбором для тестирования шестнадцати англоязычных сайтов, находящихся на первых строчках рейтинга
Alexa на 29.08.07. Это позволило протестировать сайты с совершенно разным дизайном, начиная от простейших страниц на DHTML. Подобный подход позволил учесть максимально возможные варианты дизайнов веб-страниц. Большее количество тестируемых веб-страниц, конечно, позволило бы повысить точность, но шестнадцать – это хорошее число для точного и простого тестирования, плюс покрываются одновременно все самые популярные сайты.