Как мы тестировали российский speedtest

Все хотя бы раз в жизни пользовались сервисом speedtest.net для измерения скорости доступа в Интернет дома или на работе. Точность не высокая, но зато бесплатно. Аналогичных сервисов мне лично известно более 20 как российских, так и зарубежных.

Возникла мысль оценить, насколько эти сервисы показывают «правду» относительно реальной картинки. Для этого был собран стенд, который имитирует «последнюю милю» абонентского подключения по технологиям: FTTx, GPON и xDSL. Логическая схема собранного стенда представлена на рисунке ниже.



В качестве подопытного сервиса мы взяли сервис, который опубликован на сайте Банки.ру.

Для ограничения скорости был выбран маршрутизатор Cisco 7600, на котором настраивались политики (policies) «шейпинга» трафика для скоростей от 1 до 200 Мбит/сек. Использовались следующие 2 конфигурации:

Конфигурация 1:

sh running-config policy-map 1m-2s-out
Building configuration...

Current configuration: 170 bytes
!
policy-map 1m-2s-out
class class-default
police cir 1000000 bc 250000
conform-action set-dscp-transmit cs1
exceed-action drop
violate-action drop
!
end

Конфигурация 2:

sh running-config policy-map 1024k-mg-out
Building configuration...

Current configuration: 176 bytes
!
policy-map 1024k-mg-out
class class-default
police cir 1048500 bc 131072 be 196608 conform-action set-dscp-transmit cs1 exceed-action drop violate-action drop
!
end

В качестве тестовых оконечных устройств использовались следующие машины:

Sony

ОС: Windows 7 x64
Процессор: Intel Core i5 (2 ядра)
Оперативная память (ОЗУ): 4Гб
WEB-браузер: Chrome 44.0.2403.125 m
Версия FlashPlayer: 18.0.0.209
Сетевая карта: 1GE

HP 8470

ОС: Fedora x64
Процессор: Intel Сore i7 (4 ядра)
Оперативная память (ОЗУ): 4Гб
WEB-браузер: Chrome 44.0.2403.125
Версия FlashPlayer: 18.0.0.209
Сетевая карта: 1GE

Dell Insperon 11 series 3138

ОС: Windows 8 x64
Процессор: Intel Celeron N2815 (2 ядра)
Оперативная память (ОЗУ): 4Гб
WEB-браузер: Chrome 43.0.2357.134 m
Версия FlashPlayer: 18.0.0.209
Сетевая карта: 1GE

Notebook Asus s220n

ОС: Windows XP
Процессор: Intel Pentium 1000Mhz (2 ядра)
Оперативная память (ОЗУ): 256 Мб
WEB-браузер: Mozilla FireFox ver.26
Версия FlashPlayer: 11.9.900.170
Сетевая карта: 100FE

Для каждой конфигурации ограничения скорости тест повторялся 3 раза. Ниже приведены агрегированные результаты измерений.

Sony

Тип подключения: FTTx

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s-in; 1m-2s-out	1,00	0,97	0%	3%
1,024	1024k-mgts-in; 1024k-mgts-out	1,02	1,01	0%	2%
5	5m-2s-in; 5m-2s-out	4,98	4,96	0%	1%
5,12	5120k-mgts-in; 5120k-mgts-out	5,21	5,24	2%	2%
10	10m-2s-in; 10m-2s-out	9,90	9,98	1%	0%
10	10m-mgts-in; 10m-mgts-out	10,13	10,29	1%	3%
20	20m-2s-in; 20m-2s-out	19,67	19,85	2%	1%
20	20m-mgts-in; 20m-mgts-out	20,16	20,37	1%	2%
30	30m-2s-in; 30m-2s-out	29,81	30,18	1%	1%
30	30m-mgts-in; 30m-mgts-out	29,89	29,77	0%	1%
50	50m-2s-in; 50m-2s-out	49,61	50,18	1%	0%
50	50m-mgts-in; 50m-mgts-out	50,53	51,25	1%	3%
70	70m-2s-in; 70m-2s-out	68,74	68,60	2%	2%
90	90m-2s-in; 90m-2s-out	88,86	89,47	1%	1%
100	100m-2s-in; 100m-2s-out	98,92	99,74	1%	0%
100	100m-mgts-in; 100m-mgts-out	98,98	100,40	1%	0%
150	150m-2s-in; 150m-2s-out	149,15	155,79	1%	4%
150	150m-mgts-in; 150m-mgts-out	149,05	153,17	1%	2%
200	200m-2s-in; 200m-2s-out	197,41	208,35	1%	4%
200	200m-mgts-in; 200m-mgts-out	201,34	194,20	1%	3%

Тип подключения: GPON

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	0,97	1,02	3%	2%
1,024	1024k-mg	0,98	1,01	4%	1%
5,12	5120k-2s	5,05	5,10	1%	0%
5,12	5120k-mg	5,27	5,21	3%	2%
15	15m-mg	15,45	15,19	3%	1%
20	20m-2s	20,16	19,82	1%	1%
20	20m-mg	19,78	20,53	1%	3%
50	50m-2s	48,17	47,91	4%	4%
50	50m-mg	49,62	48,07	1%	4%
70	70m-2s	67,97	68,72	3%	2%
90	90m-mg	87,95	87,12	2%	3%

Тип подключения: SHDSL

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	0,95	1,04	5%	4%
1,024	1024k-mgts	1,02	1,01	0%	1%
3,072	3072k-mgts	3,17	3,14	3%	2%
5,12	5120k-mgts	5,28	5,08	3%	1%
5,12	5120k-2s	5,22	4,99	2%	3%
15	15m-mgts	14,96	14,53	0%	3%
20	20m-mgts	19,84	20,23	1%	1%
20	20m-2s	19,79	20,17	1%	1%

HP 8470

Тип подключения: FTTx

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s-in; 1m-2s-out	1,01	0,97	1%	1%
1,024	1024k-mgts-in; 1024k-mgts-out	1,02	1,01	1%	1%
5	5m-2s-in; 5m-2s-out	4,98	5,01	0%	1%
5,12	5120k-mgts-in; 5120k-mgts-out	5,28	5,24	3%	2%
10	10m-2s-in; 10m-2s-out	9,90	9,95	1%	1%
10	10m-mgts-in; 10m-mgts-out	10,13	10,20	2%	1%
20	20m-2s-in; 20m-2s-out	19,67	19,73	1%	0%
20	20m-mgts-in; 20m-mgts-out	20,19	20,37	1%	2%
30	30m-2s-in; 30m-2s-out	29,82	30,18	1%	0%
30	30m-mgts-in; 30m-mgts-out	29,80	29,77	1%	0%
50	50m-2s-in; 50m-2s-out	49,60	50,18	1%	0%
50	50m-mgts-in; 50m-mgts-out	50,82	51,25	2%	3%
70	70m-2s-in; 70m-2s-out	68,95	68,60	2%	0%
90	90m-2s-in; 90m-2s-out	89,23	89,47	1%	0%
100	100m-2s-in; 100m-2s-out	98,97	99,74	1%	0%
100	100m-mgts-in; 100m-mgts-out	99,08	100,40	1%	0%
150	150m-2s-in; 150m-2s-out	149,70	155,79	0%	0%
150	150m-mgts-in; 150m-mgts-out	149,75	153,17	0%	0%
200	200m-2s-in; 200m-2s-out	197,54	208,35	1%	0%
200	200m-mgts-in; 200m-mgts-out	202,06	194,20	1%	2%

Тип подключения: GPON

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	0,96	0,98	4%	2%
1,024	1024k-mg	1,02	1,04	0%	2%
5,12	5120k-2s	5,11	5,06	0%	1%
5,12	5120k-mg	4,99	5,03	3%	2%
15	15m-mg	15,15	15,19	1%	1%
20	20m-2s	19,51	20,17	2%	1%
20	20m-mg	19,33	19,88	3%	1%
50	50m-2s	47,89	40,15	4%	2%
50	50m-mg	49,36	48,87	1%	2%
70	70m-2s	68,92	67,58	2%	3%
90	90m-mg	87,15	88,63	3%	2%

Тип подключения: SHDSL

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	0,99	1,01	1%	1%
1,024	1024k-mgts	1,01	1,01	1%	1%
3,072	3072k-mgts	3,03	2,95	1%	4%
5,12	5120k-mgts	4,98	5,01	3%	2%
5,12	5120k-2s	5,21	4,95	2%	3%
15	15m-mgts	14,61	14,87	3%	1%
20	20m-mgts	19,76	19,84	1%	1%
20	20m-2s	20,14	20,09	1%	0%

Dell Insperon 11 series 3138

Тип подключения: FTTx

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s-in; 1m-2s-out	1,03	1,00	3%	0%
1,024	1024k-mgts-in; 1024k-mgts-out	1,03	1,01	3%	0%
5	5m-2s-in; 5m-2s-out	4,98	5,00	0%	0%
5,12	5120k-mgts-in; 5120k-mgts-out	5,27	5,24	2%	3%
10	10m-2s-in; 10m-2s-out	9,92	10,02	1%	0%
10	10m-mgts-in; 10m-mgts-out	10,18	10,25	2%	2%
20	20m-2s-in; 20m-2s-out	19,82	20,12	1%	1%
20	20m-mgts-in; 20m-mgts-out	20,31	20,40	2%	2%
30	30m-2s-in; 30m-2s-out	29,98	30,42	0%	1%
30	30m-mgts-in; 30m-mgts-out	29,98	30,63	0%	2%
50	50m-2s-in; 50m-2s-out	49,95	51,28	0%	1%
50	50m-mgts-in; 50m-mgts-out	50,91	51,61	2%	3%
70	70m-2s-in; 70m-2s-out	69,06	71,43	1%	2%
90	90m-2s-in; 90m-2s-out	89,47	89,38	1%	1%
100	100m-2s-in; 100m-2s-out	99,57	99,81	0%	0%
100	100m-mgts-in; 100m-mgts-out	99,54	100,41	0%	0%
150	150m-2s-in; 150m-2s-out	149,96	153,13	0%	2%
150	150m-mgts-in; 150m-mgts-out	150,06	149,11	0%	1%
200	200m-2s-in; 200m-2s-out	204,37	201,76	2%	1%
200	200m-mgts-in; 200m-mgts-out	207,15	204,81	4%	2%

Тип подключения: GPON

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	0,97	0,96	3%	4%
1,024	1024k-mg	0,99	1,04	3%	2%
5,12	5120k-2s	5,06	5,11	1%	0%
5,12	5120k-mg	5,17	4,97	1%	3%
15	15m-mg	14,79	15,06	1%	0%
20	20m-2s	19,77	20,37	1%	2%
20	20m-mg	19,82	19,73	1%	1%
50	50m-2s	48,99	48,71	2%	3%
50	50m-mg	49,57	49,93	1%	0%
70	70m-2s	69,24	67,98	1%	3%
90	90m-mg	89,23	88,17	1%	2%

Тип подключения: SHDSL

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	1,03	0,96	5%	4%
1,024	1024k-mgts	1,00	1,07	0%	1%
3,072	3072k-mgts	2,91	3,17	3%	2%
5,12	5120k-mgts	5,11	5,05	3%	1%
5,12	5120k-2s	4,99	5,09	2%	3%
15	15m-mgts	14,94	15,02	0%	3%
20	20m-mgts	19,99	19,95	1%	1%
20	20m-2s	19,83	21,09	1%	1%

Notebook Asus s220n

Тип подключения: FTTx

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s-in; 1m-2s-out	1,02	0,99	2%	1%
1,024	1024k-mgts-in; 1024k-mgts-out	1,05	1,04	3%	2%
5	5m-2s-in; 5m-2s-out	4,98	4,95	0%	1%
5,12	5120k-mgts-in; 5120k-mgts-out	5,18	5,26	1%	3%
10	10m-2s-in; 10m-2s-out	9,90	9,80	1%	2%
10	10m-mgts-in; 10m-mgts-out	10,12	10,18	1%	2%
20	20m-2s-in; 20m-2s-out	19,90	19,36	0%	3%
20	20m-mgts-in; 20m-mgts-out	20,46	19,83	2%	1%
30	30m-2s-in; 30m-2s-out	29,97	28,85	0%	4%
30	30m-mgts-in; 30m-mgts-out	30,02	28,48	0%	5%
50	50m-2s-in; 50m-2s-out	49,83	46,77	0%	6%
50	50m-mgts-in; 50m-mgts-out	50,81	46,75	2%	6%
70	70m-2s-in; 70m-2s-out	68,80	64,96	2%	8%
90	90m-2s-in; 90m-2s-out	89,23	94,48	1%	5%
100	100m-2s-in; 100m-2s-out	96,95	96,86	3%	3%

Тип подключения: GPON

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	0,99	0,99	1%	1%
1,024	1024k-mg	1,02	1,01	0%	1%
5,12	5120k-2s	5,07	5,05	1%	1%
5,12	5120k-mg	5,30	5,14	4%	0%
15	15m-mg	15,37	15,33	2%	2%
20	20m-2s	20,08	19,97	0%	0%
20	20m-mg	20,35	20,09	2%	0%
50	50m-2s	48,40	47,85	3%	4%
50	50m-mg	49,55	48,32	1%	3%
70	70m-2s	68,47	67,72	2%	3%
90	90m-mg	87,88	88,43	2%	2%
97,5	без ограничений	95,62	94,38	2%	3%

Тип подключения: SHDSL

Скорость Мбит/с	Service Policy	Download Result	Upload Result	Усредненная погрешность загрузки, %	Усредненная погрешность отдачи, %
1	1m-2s	1,03	1,05	3%	5%
1,024	1024k-mgts	1,03	1,01	1%	1%
3,072	3072k-mgts	3,21	3,10	4%	1%
5,12	5120k-mgts	5,18	5,10	1%	0%
5,12	5120k-2s	5,12	4,98	0%	3%
15	15m-mgts	14,83	14,60	1%	3%
20	20m-mgts	19,79	20,39	1%	2%
20	20m-2s	19,47	20,07	3%	0%

* Порт имеет физическое ограничение 100 мбит, что дает максимальную скорость на третьем (IP) уровне ~ 97,5 мбит при MTU=1500.

Выводы

Результаты измерений приятно удивили. Погрешность измерений в большинстве случаев не превысила 5% на разных скоростях и для разных технологий абонентского доступа, что приемлемо для подобного сервиса. Даже на самом стареньком ноутбуке Asus с оперативной памятью 256 Мбайт и процессором Pentium 1000 МГц погрешность не превысила 8%.