Comments 91
По поводу сабжа-да на рег.ру такая же ситуация и самое хреновое, что они, по сути, просто тупо ничего делать не будут и не хотят ибо денюжки тратить на юр. Разборки с ркн, - Не не не, мы лучше пойдем минусить новичков на хабр. В итоге сидишь и пол ночи пытаешься поднять прод отрезая по кусочку от стека.
Автор, спасибо будем пробовать.
Единственное я бы наверно сертификат выпустил прям на реверс проксях, для терминации внешнего трафика. А бекенд защищают самоподписные - это должно искключить небезопасную пересылку ключей.
Ещё остаётся вопрос по поводу нгикса - использование proxy_ssl_verify off при обращении к бэкенду по HTTPS отключает проверку подлинности оного конца, а в условиях активного вмешательства оборудования фильтрации в траф-это создает уязвимость для MITM на транзите. Надо защищать мост короче....
Но что веселит - забавная аномалия с кармой в комментах. Автор предлагает рабочий инфраструктурный паттерн для обхода выстрелов себе в ногу. И за это и за то, что чуть помог себе в написании дешёвой моделькой его ответы улетают в минусы. При этом стукачи даже без советов, а просто ради того чтобы что то ляпнуть гнилого собирают плюсики. Не, вообще не секрет, что на хабре сидят те самые, что продались с потрохами, но....складывается впечатление, что рейтинг крутят сами чудо-интеграторы. Им максимально невыгодно оставлять на виду валидные инструкции по байпасу их выстрелов себе в ноги.
редачить эвристику DPIек - неееее
Комментить обходы своей работы - даааааа
Если цель просто получить другой IP, то не совсем понятна необходимость Nginx на промежуточном прокси - там достаточно будет HAProxy с проксированием на L3 (TCP), или даже вообще никакого софта не надо, хватит просто пары правил iptables - и настраивается проще, и ресурсов надо гораздо меньше.
Согласен, для чистой смены IP хватит и iptables - и source IP при DNAT даже сохранится. Но L3 не даёт трёх вещей: пробросить /.well-known/acme-challenge/ (на этом уровне нет путей, а сертификаты выпускаются по HTTP-01), кэшировать статику и главное - влиять на TLS-хендшейк. При L3-пробросе DPI видит оригинальный Client Hello бэкенда со всеми отпечатками, меняется только адрес. С терминацией на прокси хендшейк новый, и можно крутить версии TLS и HTTP/2 - что, судя по соседнему комментарию, как раз и решает проблему. Ресурсов nginx ест копейки.
пробросить /.well-known/acme-challenge/ (на этом уровне нет путей, а сертификаты выпускаются по HTTP-01)
Так acme-клиент делающий HTTP-01 валидацию стоит на конечном сервере (где и сам сайт), все запросы на 80 и 443 порт прокси перекидываются на 80 и 443 порт конечного сервера соответственно - никаких проблем.
можно крутить версии TLS и HTTP/2
так все то же самое можно крутить и на конечно веб-сервере. отключите там TLS 1.3, получите TLS 1.2 для всех клиентов и между серверами.
Ресурсов nginx ест копейки
Постоянная расшифровка и повторная шифровка TLS, анализ HTTP заголовков и гонка данных из юзерспейса в ядро и обратно - весьма тяжеловесно, на несколько порядков больше чем простой netfilter, перекладывающийся пакеты из интерфейса A в интерфейс B не вылезая из ядра в юзерспейс.
source IP при DNAT даже сохранится
это не факт что хорошо, т.к. ответ от вебсервера пойдёт на src ip мимо ната. клиент этот трафик проигнорит.
Нет не пойдет, если правильно настроить интерфейсы и policy_routing
Вы там имейте в виду, что между серверами еще маршрутизаторы будут. Все промежуточные провайдеры тоже настроят роутинг? Чота, сомневаюсь.
А если туннель прокидывать, то и днат не нужен. И это уже не вписывается в "пару правил на iptables".
Не вписывается, но вписывается в понятие "поднять одной строкой".
ip tunnel add tun0 mode ipip remote 1.1.1.1 && ip link set tun0 up && ip addr add 10.0.0.1/24 dev tun0Ну еще не будем забывать про proxy_protocol, если quic не требуется (а он в большинстве случаев не требуется) - включается в конфиге nginx одним литералом.
CDN Yandex Cloud пропускает только GET, HEAD и OPTIONS. POST включить нельзя — это не галочка, это их ограничение.
яндекс.gif
Нейронка это
При написании статьи мне действительно помогала нейронка, я не главный редактор или журналист, я обычный технарь, который всю жизнь читал Хабр без регистрации.
У меня это первая статья на Хабре и потому это весьма волнительный шаг, не хотелось прилюдно обделаться. Потому я накидал основной костяк статьи, а затем правил его в нейронке.
Я не пытаюсь тут корчить из себя супер профи, просто хотел обсудить важную для всех тему и поделиться ее решением.
Мы попали в странный мир, где использование нейронки сразу задаёт вопрос: что тут мысли автора, а что галлюцинации?. Может пора вместе со статьёй промт под спойлер выкладывать? Кривой, корявый, но по нему хотя бы можно сверить что автор на самом деле говорил (:
А вообще, вычитывать надо, чтобы не было таких странных "это не галочка, это их ограничение"
Спасибо за конструктивную критику, обещаю, что если еще раз решусь, то укажу это в статье более явно!
Нейронка может лишь налить много воды. Я писал очень кратко, вычленяя каждое слово, как Высоцкий. А она сказала, что такой текст очень сложный для чтения и лишь оптимизировала его как редактор. Затем уже я правил за ней вычерпывая лишнюю воду.
Касаемо этого куска, то там я полагал, что в настройках есть какой-то чекбокс, который включает POST, но его не оказалось и после общения с поддержкой и чтения документации выяснилось, что Яндекс – это Яндекс)
Честно говоря, я вообще не верил, что статью опубликуют, всей семьей комменты читаем, жена меня хвалит 😂
При написании статьи мне действительно помогала нейронка
Вы только что признались в прямом нарушении Правил Хабра:
4. Размещение сгенерированных материалов
Не следует размещать тексты:
частично или полностью сгенерированные нейросетями или написанные и отредактированные при помощи нейросетей;
@moderator как наказывать будем?.. Статья-то на хорошую тему, опыт живой, но ИИ'шенка в ней прям вымораживает. Как в том анекдоте, "вы не поверите - читал и плакал" ©
Вы словно читаете между строк или додумываете, я ведь прямо написал, что модель лишь РЕДАКТИРОВАЛА мною написанное!!! Вам что, заняться нечем? Ладно бы я рекламировал что-то, но ведь просто опытом поделился. Всегда появится пару токсиков, которое смешает все с 💩
Какая ваша цель? Чего вы добиваетесь? Хотите вершить правосудие или показать себя правым? Вам этого в жизни не хватает и вы решили тут испортить мне настроение?
Дружище, не надо устраивать истерик - это раз;
Кто вам сказал, что за текст, который вы написали сами, вас непременно побьют камнями - это два;
Надумывать себе костыль, чтобы затем искать для него оправдание - не самая надёжная стратегия. Это три.
Спасибо, ну как говорят – первый блин комом. Самое главное, что я умею слышать обратную связь и учусь на ошибках.
Это, типа, прикол такой?
Кажется, у нас тут недопонимание. Нет, это не прикол, я действительно учту, что нельзя использовать ИИ даже для редактирования текста.
Капец тут у вас душная обстановочка 🤣, стоит начать отвечать шаблонными фразами, как все сразу напрягаются) честное слово – статью писал я. На комменты тоже отвечаю я, ну хватит уже) теперь я буду придерживаться неформального стиля, чтобы вы точно не решили, что я не робот!
Лол, а остальные статьи на Хабре вас не смущают, включая статьи самих редакторов?
А у нас стукачей били по лицу больно... Какая духота хоспаде
Пока оставим, поскольку человек отполировал текст после генеративной модели. Вынесем строгое ата-та с занесением в учётную карточку, будем присматривать.
Напомнило, в начале девяностых государственные структуры не принимали документы распечатанные на "Ромашке" , типа шрифт не тот и , что ужас, исправлять текст можно в памяти машины!
не хотелось прилюдно обделаться
Поэтому вы навалили слопа? это вообще как...
"Нейронка" вам не помогла, а испортила текст - сделав его шаблонным и неприятным для чтения.
Вызывайте нейрополицию, человек посмел применить орфографическую проверку со смысловым редактором!!1
Отключить TLS 1.3 / включить HTTP/2
Реально работает. Для начала стоит попробовать это, прежде чем переходить к сложным методам.
Да много где такое. Например недавно на бегете поддомен не открывался с мобильного хрома и айфонов с первого раза. Ну тоесть первое соединение - всегда таймаут. А поддомен для статики - нехорошо. Поддомен перенесли в селектел, потом обратно - все заработало.
Жесть конечно с этими блокировками.
А можно для полноты картины уточнить в какой именно юрисдикции находился оригинальный сайт ? В каком датацентре , он был в РФ или другой стране ?
Сервер находится в Москве.
Действитель последнее время настройки ТСПУ все больше напоминают: стреляй на угад, может попадём, главное что бы в штате слышали, что стреляем, а не сидим на месте.
Да, для меня это стоило + пару седых волос и бессонных ночей, а для компаний несколько миллионов оборотных средств. Безответственный подход у ведомства.
А премию дали? А ЗП у Вас сколько, если не секрет?
Взыскать штрафом надо! Не работало ведь. :)
В этом плане все было сложно, мне даже объяснительную пришлось написать, потому что никто не «вкуривал» что вообще происходит. Они думали, что вина всему моя некомпетентность.
Не знаю, как у других, но мне премию вечно выгрызать приходится. 10к дал один директор, 8к другой, и я из принципа выбил ее лишь потому, что они трепали мне нервы в ходе работы.
ЗП по рынку маленькая. Дело в том, что это два моих старейших клиента и я их не бросаю буквально из вежливости. Хоть и часто думаю над этим) Сам уже давно своими проектами занимаюсь.
Не в последнее время, так было всегда.
Начинаю понимать что за дичь происходит теперь со многими сайтами, которые вроде как в ру-зоне, но перестают открываться без vpn. Особенно болезненно на это реагирует Safari, загрузка просто без видимых причин зависает и всё.
адрес из огромного пула российского облачного провайдера — такие диапазоны массово не режут, слишком много живого бизнеса ляжет заодно
Таймвеб - российский облачный провайдер. У которого массово зарезали диапазоны и положили много живого бизнеса.
Стандартное для себя решение: промежуточный nginx + acme.sh для ведения сертификатов, upstream к реальному серверу в другом месте.
(ресурсов nginx очень мало берет)
Тем самым разделяем всё на составляющие: настроенный бекенд сам по себе, nginx сам по себе (и его можно легко переносить туда-сюда, где работает), только не забывать DNS менять при смене ip.
На своем опыте по статье, что вы указали на данный момент решается все TLS 1.2 + HTTP 2. В крайних случаях прокси-сервер (получается новый айпи + там TLS 1.2 и HTTP 2) - у нас так подключены, кто не хочет заморачиваться - в материале простой вариант тоже описан.
Кстати есть так же сервис по проверке теряет ли Ваш сайт трафик (только проверка на белые списки временно не работает, там через партнера было)
Теряет ли Ваш сайт российский трафик? Блокировки ТСПУ РКН, Белые списки, Cloudflare…
Что касается Вашей статьи, то разработчику или владельцу сайта - проще пойти от легкого, потом к сложному. А легкое - это включить TLS 1.2 + HTTP 2 через поддержку или через конфиг, инструкции есть.
В других комментах Вы пишите что "Спасибо. Дело в том, что вся эта ситуация приключилась 2 месяца назад и тогда еще не было «народных» методов"
Способы 9 июня появились, но искать тестировщиков на своем сайте - начал сразу 5 июня)
В обычном случае судебное урегулирование отношений с Таймвеб помогло бы переложить проблему со здоровой головы на больную. Но ведь тут не обычный случай.
Timeweb не любит когда используют CDN в целях обойти ТСПУ.
Вы сами пишете что резанули Selectel, Timeweb и Beget (а на самом деле и многих других). Что вы хотите от ТП, чтобы они ворвались в офис РКН и руками вырвали оттуда провод? И РКН не предоставляет список заблокированных адресов, поэтому вас вполне логично послали проверять самому. Господи люди вы хоть имейте понимание в какой стране находитесь.
Вы правы и я все это понимаю, претензия к Таймвебу, что они держат всех за дураков и умалчивают проблемы.
Стоит входная нода КВН на таймвебе. Последнее время влесс хттп реалити творит дичь. Рвется соединение, не грузит видео, то потом нормально все. Хотя суть этой ноды лишь принимать траф и отправлять его в ЕС.. кто знает, что за? думаете те самые тспу ?
Не нашёл в статье явного указания, где находится сервер с вашим проектом: в России или нет. По тому, что вы организовали Reverse Proxy в России, косвенно можно предположить, что основной сервер находится за границей.
Уточните пожалуйста этот момент - здесь в комментариях или может даже в самой статье. Полагаю, это важно для понимания: можно нарваться на блокировку заграничного сервера или даже российского тоже.
В комментах есть - сервер в Мск. Тут весь абсурд, что прокси из РФ в РФ.
Как я понимаю это борьба с многоступенчатыми прокси
Идея: создание сервиса который мониторит доступ к российским сайтам с домашних провайдеров, чтобы подавать в суд за убытки простоя )
Эти криворукие из роскомпозора могут пол страны отключить от интернета и не понести никакой ответственности. Так что подавать в суд тут не очень поможет, нужны какие-то глобальные изменения. Например, расформировать РКН полностью.
Смешные вы... в суд...
Суд попросит бумажку на средство измерения, потом соответствие условий измерения, потом еще что-нибудь. Потом всё упрется в то, что по закону называется централизованным управлением сетью связи общего пользования. Во время ЦУ допускается влияние на легетимный трафик, ответственности ЦМУ ССОП за это не несет, суд оставляет требование без удовлетворения.
Прав всегда тот, кто пишет законы.
Действия РКН против Вас - ок. У Вас коммерческие сайтики. У Государя - СВО. Все логично..
Поясняю. По поводу б.д. Государь напечатал и раздал свошникам и прочая рублики. Если народишко побежит отаваривать то разгонит инфляцию. Значит надо усложнить ему самовольно использовать деньги. В идеале - карточная система. Ну а пока... ну уйдем западние сервисики, импортозаместим, авторизацию подломаем, рекламу ограничем и т.д. и т.п. Сколько веревочка не вьется все равно до комерсов дотягнутися.
Как скучно мы жили до появления ркп. Пяткой перекрестимся, когда их закроют и разгонят.
Когда они уже нейросетями сами себя уволят и коробки свои выжгут?)))
По поводу сабжа-да на рег.ру такая же ситуация и самое хреновое, что они, по сути, просто тупо ничего делать не будут и не хотят ибо денюжки тратить на юр. Разборки с ркн, - Не не не, мы лучше пойдем минусить новичков на хабр. В итоге сидишь и пол ночи пытаешься поднять прод отрезая по кусочку от стека.
Автор, спасибо будем пробовать.
Единственное я бы наверно сертификат выпустил прям на реверс проксях, для терминации внешнего трафика. А бекенд защищают самоподписные - это должно искключить небезопасную пересылку ключей.
Ещё остаётся вопрос по поводу нгикса - использование proxy_ssl_verify off при обращении к бэкенду по HTTPS отключает проверку подлинности оного конца, а в условиях активного вмешательства оборудования фильтрации в траф-это создает уязвимость для MITM на транзите. Надо защищать мост короче....
Но что веселит - забавная аномалия с кармой в комментах. Автор предлагает рабочий инфраструктурный паттерн для обхода выстрелов себе в ногу. И за это и за то, что чуть помог себе в написании дешёвой моделькой его ответы улетают в минусы. При этом стукачи даже без советов, а просто ради того чтобы что то ляпнуть гнилого собирают плюсики. Не, вообще не секрет, что на хабре сидят те самые, что продались с потрохами, но....складывается впечатление, что рейтинг крутят сами чудо-интеграторы. Им максимально невыгодно оставлять на виду валидные инструкции по байпасу их выстрелов себе в ноги.
редачить эвристику DPIек - неееее
Комментить обходы своей работы - даааааа
Спасибо, огромное, за поддержку 🙏 да, минусанули мне карму(
зачем вы начинаете с таких сложностей, почему не TLS 1.2 + HTTP/2?
Справедливо, но откат на TLS 1.2 и HTTP/2 - ИМХО это временный патч. Сегодня он работает, а завтра Нью эвристика, и снова лежим, занимаемся "любовью", но я в этом деле параноик)
А прокся: переносит точку входа на IP-адрес крупного облака, который боятся жестко фильтровать из-за риска положить корпоративный сектор. Повторюсь,- это прям максимально ИМХО и догадка.
А ну и насколько я помню ТэЛэЭс 1.2 присущи двойное рукопожатие, а у меня каталог на 19к товаров с рендером миниатюр и прочая хреновня с кросс табличными фильтрами , хоть и оптимизированными, пагинацией, с ajax'ами и ТД и тп в итоге этот даунгрейд не так незаметен.
Но это же трата времени и ресурсов на решение проблемы, которая может и не возникнуть.
Мы же не знаем, что там дальше может стать триггером. Может наоборот - простой вариант с реальными запросами по TLS 1.2 будет работать, а многочисленные запросы с одного IP крупного облака стриггерят ТСПУ, который между этим облаком и вашим сервером.
Мы с вами апеллируем предположениями и догадками, а я такое не очень люблю. Кто то тушит пожары по мере возникновения, кто то ставит противопожарную систему. И то и другое решает одну задачу. А насколько выгоднее с точки зрения траты ресурсов то или иное решение покажет только время, ни вы ни я знать не можем, что родится в "светлых" умах этих внебрачных мидасовых детей.
Но, если риск срабатывания большого брата пугает, это лечится базовой настройкой- СНИшку не светить вобще. (Прокся обращается к бэку строго по IP с отключенной proxy_ssl_server_name) ну а если совсем делать нечего то криптануть можно через 22 порт, но вот это как по мне уже перебор.
Лень читать комментарии, но mtr может и в tcp:
(Linux): mtr -n --tcp --port 443 address
UDP аналогично. И да, при блокировке icmp проходит.
Схема: поднимаем прокси в РФ для сервера в РФ, чтобы клиенты из РФ могли зайти на сайт в РФ. Киберпанк который мы заслужили
У нас было тоже самое. И даже не только с нашим сайтом, но и с доступом к апи озона и робокассы. При чем хостинги и дата-центры разные были
Отключение TLS 1.2 + HTTP 2. не помогало.
Решали так же через revers прокси. Если смотреть где происходит обрыв - везде на магистральных провайдерах. И по большому счету ни хостинг, ни мы сделать ничего не можем, кроме как играть по существующим правилам.
Имею сервис на хетснере, в рф с хетснером проблемы, хотел поднять реверс прокси для РФ как раз на таймвебе. И тут такая статья...
Судя по тенденции, дальше будет только хуже.
Может быть проще научить клиентов пользовать сердством безопасного доступа в Интернет из 3 букв?
Сорян конечно, но что мешает написать лично в нцки например, если очевидно, что домен банят, а вслед и айпишник
Да и позицию таймвеб можно понять, потому что банят по сути арендованный вами домен и айпишник, а не вас из принципа
Использовать яндексCDN? Это до тех пор, пока фильтры и туда и к посмотрят, тем более ЯндексCDN в белых списках(・∀・)
Это всё временный костыль, если писать прям прямо(｡•́︿•̀｡)
А где вы нейронку заметили? Я, начитавшись некоторых статей со sky pro и Яндекс практикум, здесь не вижу ничего криминального))
Бытует мнение, что обход белых списков через Яндекс история не долговечная .
А я то думал, зачем российские ssl сертификаты? А оно просто на них выдавливают. Ни кто в заграничных браузерах блокировать не станет. А здесь уже. Либо раскрываешь информацию о клиентах, либо ничего не работает.
У меня почти та же ситуация с одним хостом. На нашем хостинге, но не понятно почему не доступен в сетях растущей фурункулы.
Я не понял автора, nginx на другой VPS не таймвеб? А для чего? Тогда и сайта перенести туда же. Для чего еще одна VPS? На каком провайдере заработало?
nginx на другом впс провайдере (где меньше блокировок на тспу)
на тспу усиленная фильтрация в сторону timeweb и некоторых других (selectel, beget, ...)
чтобы обойти усиленную фильтрацию тспу которая блокирует сайт. а торопиться с переносом всего нет смысла, может быть даже вредно (не все впс провайдеры будут так же надёжно работать как текущий)
Фильтрация ТСПУ у серверов Таймвеб Cloud: диагностика, обход через reverse-proxy и СDN