larrabee Dec 16 2017 at 22:33

RFC для слабаков или история одного расследования

3 min

19K

*nix*IT Standards*Network technologies*System administration*

+60

Comments 23

Tortortor Dec 17 2017 at 11:04

«Мы собрали на руках карт-бланш» — когда хотелось выпендриться, но получилось только опозориться.

gats Dec 17 2017 at 11:26

Материал интересный, зачем так язвить?

Tortortor Jun 5 2018 at 18:22

мда, такое количество людей не знает что такое «карт-бланш». и как он «собирается».

gats Jun 5 2018 at 18:45

За полгода вы так и не поняли что высокомерный тон здесь ни к месту

aensidhe Dec 17 2017 at 11:56

В идеале бы не ссылаться на устаревший RFC (в новом, насколько я помню, плюс-минус тоже самое, но).

larrabee Dec 17 2017 at 12:14

Спасибо, заменил ссылку на RFC 7230.

mickvav Dec 17 2017 at 12:01

Материал действительно интересный, но у «кард-бланш» значение несколько другое, проверьте ;).

larrabee Dec 17 2017 at 12:10

Спасибо, заменил на более подходящее по смыслу выражение.

UFO landed and left these words here

larrabee Dec 17 2017 at 12:26

Пока еще думаем как с этим жить дальше и к кому можно уйти.

tyomitch Dec 17 2017 at 15:56

Дешевле разрабатывать собственный кривой сервер, чем взять открытый и бесплатный??

firk Dec 17 2017 at 13:11

Поддержу Highwinds в данном споре. Chunked encoding совсем не для того, как вы его используете — он для случаев, когда на стороне источника потока данных есть какая-то относительно сложная логика, данных много и заранее неизвестно, когда они закончатся. Тело запроса к cdn — определённо не тот случай.

larrabee Dec 17 2017 at 13:23

он для случаев, когда на стороне источника потока данных есть какая-то относительно сложная логика, данных много и заранее неизвестно, когда они закончатся.

Да, и это не обязательно должен быть сервер, это может быть и клиент. И в спецификации HTTP сказано, что этот функционал должен быть реализован.

firk Dec 17 2017 at 13:44

Да, может быть и клиент. Но (может я конечно не так понял?) в вашем случае нет множества данных которые неизвестно когда закончатся, а есть короткий запрос.
Зачем вот слать вот такое:

Transfer-Encoding: chunked\r\n\r\n
4\r\ndata\r\n
4\r\ntest\r\n
0\r\n\r\n

Когда можно послать так:

Content-Length: 8\r\n\r\n
datatest

Отдельно хочу заметить, что проблема не возникла, если бы Highwinds использовали любую Open Source реализацию HTTP сервера, например Varnish или Nginx, а не писали свою

Как раз написали свою, оптимизированную под работу в режиме CDN (а не http-сервера общего назначения, где может быть обоснованно нужен первый вариант), для сокращения расходов на эксплуатацию, и смогли предложить вам дешевые услуги. По-моему это с их стороны правильное действие.

larrabee Dec 17 2017 at 13:49

Ну это всего лишь тестовый скрипт. В Android приложении, как я понимаю дело было в том, что программисты отправляли в http клиент данные через stream buffer, а он отправлял данные чанками по мере получения.

mayorovp Dec 17 2017 at 13:45

А вы рассматривайте CDN как не поддерживающую POST-запросы вообще. Спецификация HTTP это не запрещает :-)

larrabee Dec 17 2017 at 13:57

К сожалению не получится. Когда подключали cdn проводили тестирование скорости и получился следующий топ (от самого быстрого к медленному, замеряли время dom ready на клиентах):
1) Статика на основном домене через CDN
2) Статика на основном домене без CDN
3) Статика на отдельном домене через CDN
4) Статика на отдельном домене без CDN
То есть использовать CDN есть смысл только в 1 случае, когда через cdn проксируется весь трафик сайта, а статика лежит на том же домене. Работать в таком режиме без POST запросов естественно нельзя. Вообще тема достаточно большая и если интересно могу написать отдельную статью о том, как мы это замеряли и к каким выводам пришли. ;)

lexore Dec 18 2017 at 00:08

Очень странно, что у вас статика на отдельном домене медленнее.
Я бы вам рекомендовал найти причину этого, т.к. обычно ситуация ровно обратная.
Может у вас для разных доменов разные ssl сертификаты (ну и 2 https соединения установить дольше, чем одно)?

Вообще, заводя логику через CDN, вы расставляете очень много грабель.
А если те ребята так обращаются, с RFC…
Вы бы узнали, например, как они обрабатывают другие заголовки, например Cache-Control.

larrabee Dec 18 2017 at 09:50

Да, у нас есть своя специфика. Во первых сайт довольно легкий, страница весит около 500 кб, то есть она грузится достаточно быстро и дополнительный tcp+ssl хендшейк на отдельный домен тратит больше времени, чем выигрывает. Особенно если клиент в US или Австралии (сервера у нас в Европе). А если соединение по HTTP/2, то разница еще заметнее.

symbix Dec 17 2017 at 15:40

В этом случае CDN на POST должен отвечать 405 Method Not Allowed :-)

symbix Dec 17 2017 at 17:14

если бы Highwinds использовали любую Open Source реализацию HTTP сервера, например Varnish или Nginx

Справедливости ради, nginx очень долго — до версии 1.3.9 — не поддерживал chunked encoding в запросах. Может, у них форк старого nginx.

xcore78 Dec 18 2017 at 23:09

Один штрих для понимания картины: вы нашли проблему в фазе тестирования сервиса или в продакшене?

larrabee Dec 18 2017 at 23:23

Нашли уже после того, как выкатили сайт через CDN (и он пока продолжает так работать, т.к. данная проблема не затрагивает браузеры), но до включения CDN для REST API (оно работает на отдельном домене).