Как стать автором
Обновить

Комментарии 170

Еще интереснее то, что судя по транслитерации это аккаунты одного и того же человека
Удалили уже, а что там было?
Эта же статья, в этом же блоге, с другого аккаунта =)

Кстати, на момент удаления у той статьи были 4 плюса при 79 просмотрах. А у этой 2 при 360 просмотрах. Надо было ту оставлять

Вы внутри компании забыли договориться, кто будет публиковать эту статью, что их две за 2 минуты?

Это к тому же еще и один и тот же человек. Раздвоение похоже.

Не знал про режим full, спасибо.
В остальном, все верно, монополизация это плохо, нужен резервный план действий.
Но для небольших любительских сайтов альтернативы нет, другие варианты они себе не могут позволить финансово, даже с 3 бесплатными месяцами.

А поясните, пожалуйста, для новичка — что входит в другие варианты для любительских сайтов, и почему они не могут себе это позволить? И входит ли в этот перечень вариант "работать по старинке без CDN и прочих модных вещей"?

Нет, работать по старинке не входит. Тогда этот перечень можно добавить и «в конце концов можно обойтись и без сайта»


Что входит? Например, какая-никакая защита от ddos. У меня есть несколько сайтов и подумать не мог, что они кому-то мешают, но пару раз вот бывали нужны.
Да, решить вопрос можно, но на это нужно время и скорее всего какие-то деньги на техподдержку. Здесь же и ресурс работает постоянно и деньги экономишь.


Не согласен, что это модные вещи. На одной моде 30% интернета не захватишь.

Миллион леммингов не может ошибаться, да )


Сейчас у любого адекватного хостера есть защита от дос, из коробки.
Зачем вам ещё одна точка отказа?


CDN? Так у него минусов не меньше чем плюсов.
Для продвижения он точно не годится.
Дают ДНС? А кто сейчас не даёт.


Защита от серьёзных атак — да. Но это другой уровень денег и там тоже есть альтернативы.


Пользуетесь — на здоровье. Но особого смысла не вижу, а минусы есть.

Ну вот я как-то не встречал зашиты из коробки для виртуальных серверов.


Ну и удобно, что тут говорить, видимо миллиону леммингов это тоже нравится.


Пока что из минусов сталкивался только с одним, если ip попадал под блокировку РКН.

Статику можно хранить на бесплатных CDN, типа того же Github Pages, а API не особо закешируешь, но антиспам и анти-DDOS есть подключаемый во многих фрэймворках. Или я не совсем понял, для чего Cloudflare CDN?
Статику можно хранить на бесплатных CDN, типа того же Github Pages

Ну и удобно, что тут говорить

в cloudflare я добавляю сайт в ЛК, меняю ns сервера и дальше оно само работает. можно еще подстроить парой кликов мышки, а ваш путь настолько же простой?

анти-DDOS есть подключаемый во многих фрэймворках
все верно, но мне кажется начинать нужно с хостинга и опять же речь об удобстве и простоте
в cloudflare я добавляю сайт в ЛК, меняю ns сервера и дальше оно само работает. можно еще подстроить парой кликов мышки, а ваш путь настолько же простой?

Зависит от сайта. Github Pages позволяет хостить личные сайты, если залить их в репозиторий. Бекэнд и динамику там не поднять, там в основном статика, поэтому WordPress туда не перенести, это правда. Но обычный сайт, если это набор страничек, можно просто загрузить в репозиторий.
pages.github.com

Последний раз у меня был сайт состоящий из набора страничек 15 лет назад, увы. Даже не знал, что такие остались.

Ну так-то существуют генераторы статических сайтов, типа того же Jekyll, Hugo и Gatsby. Они довольно популярны.

Буду знать, видимо, не сталкивался с задачами когда нужен статический сайт.

Документация к проекту может быть статическим сайтом. По факту все эти Readme.md в миллионах реп — статические сайты.

Ну опять же — видимо речь не о любительском сайте.

Любительский сайт заведомо проще профессионального, сделан в MS Word, поэтому там всё статика.
OVH дает защиту для всех своих серверов включая VPS, но больше я никого и не видел. У многих эта опция есть, но она платная и дорогая. Даже у компании в блоге которой размещен этот пост она вполне себе платная.

Бегло посмотрел цены — примерно в 2 раза выше того, что я плачу. Поэтому делаю вывод, что это изначально заложено в цену.

Мне OVH выходит дешевле DO.
Другой момент, что они медленные. Платежи медленно проводят. Виртуалки медленно создают :)
Ну воот у меня сейчас 25Гб диск, 9 Гб память, 1 процессор Xeon — плачу 11 евро. Смотря по какому параметру выбирать, там четких аналогий нет, но мне важнее память
У них разные структуры есть, то что идет под брендом OVH — самое дорогое, SoYouStart — среднее, Kimsufi — самое дешевое (скорее всего вы платите больше). Защита есть везде. Она действительно заложена в цену, стоит 1 евро.
Письма нельзя рассылать с OVH от слова совсем, 25 порт заблокирован. Только использовать сторонних недешевых провайдеров, что на больших объёмах почты вылетит в копеечку.
Для рассылок оно не подходит, но для рассылок можно использовать и другую впску с открытым 25 портом.
Сейчас у любого адекватного хостера есть защита от дос, из коробки.
Зачем вам ещё одна точка отказа?

Это не совсем верно. Разве что в критерий адекватности включить наличие базовой защиты нашару.
К тому же у разных хостеров понятия базовости тоже разные. Мне очень нравится как работает эта защита у одного известного французского лоукостера, и есть вопросы к аналогичной услуге их немецкого коллеги (или скорее конкурента).
А у одного достаточно крупного и культурного российского провайдера, такой защиты в базе нет. Она есть за доплату, причём на значимом трафике, стоимость хостинга меркнет на фоне стоимости доплаты. Зато все остальные услуги и удобство использования достойны всяческой похвалы.
Оборудование для фильтрации стоит космических денег. А сейчас ещё провайдеры вложились в оборудование для выполнения закона Яровой. Им точно не до бесплатной DDoS защиты.

Если вы не нашли, это ж не значит что таких нет, верно?
Наоборот, таких сейчас много и зачем вам проблемы тех, кто не может обеспечить защиту?


А суть в том, что вы добавляете ещё одну точку отказа, когда это не обязательно — вот и всё.

Ничто не сравнится с CDN. Можно просто тупо канал забить ботами у хост-провайдера. CDN распределен и это намного сложнее сделать, да и забить можно определенный PoP. А защита от DDoS уже встроена. А статических файлов CDN может этому DDoS раздать сколько угодно, это будет не заметно для него совсем.

И какие же минусы у CDN?

Поддерживаю свои любительские сайты больше 15 лет, на самом обычном недорогом виртуальном хостинге. За эти годы у меня находились и «враги» (получал даже намёки на угрозы с явным указанием, что мой домашний адрес известен из whois), но так чтобы кто-то доставил заметных неприятностей по технической части — не было. Полагаю, что это так для большинства любительских сайтов.

Вам повезло, что тут сказать.

Или, может быть, это просто вам «не повезло»? Как правило, технически грамотные пользователи, способные организовать заметную DDoS-атаку, достаточно адекватны, чтобы этим не заниматься.

Ну и если «не повезло», то наверняка у хостеров должно быть предусмотрено что-то по этому поводу, как тут ниже говорят. Просто мне оно не нужно было, вот я и не знаю.

Я так понимаю, что когда совсем туго, тогда и обращаются к услугам Cloudflare. Но это имеет и минусы — лично меня напрягает заметная задержка в несколько секунд при первом обращении к сайту, а когда оно ещё и капчу просит решить, чтобы просто зайти на сайт — это уже вообще совсем печально.
Или, может быть, это просто вам «не повезло»? Как правило, технически грамотные пользователи, способные организовать заметную DDoS-атаку, достаточно адекватны, чтобы этим не заниматься.
может и мне не повезло, но сейчас не составит труда запустить небольшую атаку, главное иметь достаточный уровень слабоумия и отваги.

Ну и если «не повезло», то наверняка у хостеров должно быть предусмотрено что-то по этому поводу, как тут ниже говорят.
там же говорят что это платно.

Я так понимаю, что когда совсем туго, тогда и обращаются к услугам Cloudflare.
верно, я просто не стал дождаться когда станет совсем туго

лично меня напрягает заметная задержка в несколько секунд при первом обращении к сайту
так cloudflare ускоряет загрузку страниц, а не наоборот.
наверняка у хостеров должно быть предусмотрено что-то по этому поводу, как тут ниже говорят. Просто мне оно не нужно было, вот я и не знаю.

У хостеров конечно предусмотрено. вот такое письмо:
Subject: DDos

Добрый день.
Оповещаем Вас о DDos атаке. Атакованный host «замазано» заведен в блекхол.

Не все хостеры предлагают одинаковую функциональность. Жаль, что этот просто решил дропать трафик.
Некоторые просто не отвечают и не берут трубку. Поверьте, и так бывает.
В2С, финтех, Москва, 2017…

hostinger.ru — превышение ресурсов = автоматический бан аккаунта и домена. И насрать, что ДДОС. За 2 года попадал 2 раза. Используют CloudFlare

Мой сайт в 2014 заддосил школьник и в из-за этого меня выперли с хостинга, мол падают и другие сайты

В декабре, когда Айхор лежал, я на коленке накатал простенькую страницу проверки статуса серверов и поделился ей где-то на просторах Телеграма. Всего через пару часов туда налили гигабиты UDP-флуда и FirstVDS отрубил мне сервер в блекхол ¯\_(ツ)_/¯

Я вот побаиваюсь подключаться к CF.
У меня есть NLP-сервис, котрый получает десятки тысяч запросов в секунду с разных IP-адресов.
Как они поймут, что это не DDoS-атака, а вполне нормальные запросы?
так же как они это понимают в других высоконагруженных проектах
Discord, Reddit, Twitch

вы же не думаете, что 30% интернета, доля CF, это сплошные хоумпаги?
Скорее всего заставят использовать платный тарифный план.
Разумеется, вы можете использовать только свой сервер без всяких CDN. Часто владельцы сайтов начинают использовать cloudflare для защиты от ddos, но это тоже не обязательно. Например у RUVDS есть защита от ddos, первый месяц бесплатно
Например у RUVDS есть защита от ddos

А каким образом она сколько-нибудь эффективна в сравнении с CF? Как я понимаю, сила CF именно в размере. Контролируя 10% мирового траффика, они
1) Обладают такой совокупной пропускной способностью на эдж серверах, что никакой ДДОСер не сможет положить сеть CF (хотя и может уложить инфру жертвы сквозь сервера CF, но при этом в момент, когда инфраструктура жертвы будет лежать, у жертвы все еще будет доступ до админ панели, и будут возможности закрутить гайки, сунув всем капчу, отрезать сегменты сети, давать вайтлисты ключевым клиентам и так далее). Соответственно, CF абсолютный лтидер по грубой силе.
2) Обладают самой большой и актуальной базой в мире об ip адресах атакующих ботнетов и их поведении. Соответственно, CF еще и абсолютный лидер по качеству принимаемых решений.
Логично, что анти ддосы мелких игроков, отставая на порядки по обоим критериям, непонятно, как могут оказать сколь-либо эффективную защиту. Или я чего-то не знаю?
Согласен с вами. Крупность CF — это вполне себе его преимущество. Вряд-ли в мире каждый день сильно меняются ботнет-сети, которые ддосят интернет. И если CF видит все эти атаки с одних и тех же направлений — ему гораздо легче их отражать.
А по теме — автор (оригинальный) боится, что CF будет блокировать интернет (чего сделал всего 1 раз? Это весьма похвально, в отличии от других компаний, которые таки прогнулись), так интернет и так уже кем только не блокируется. Если CF начнет блокировать, то на его месте (возможно) появится такой-же крутой конкурент, который… со временем тоже начнет все блокировать.
Или не появится. А если CF решит зарабатывать на личных данных пользователей, то скажем, мол, «кто на них сегодня не зарабатывает», да? Монополия — это зло в чистом виде, здесь не может быть плюсов.
А если кто-то другой захочет зарабатывать на данных пользователей? Что с ними делать? Например какой-то крупный игрок, вроде Google или Facebook? Oh wait…
Судить, заставить платить штрафы, давить законами, как это и делается сегодня) антимонопольные законы опять же
А почему с CF нельзя так будет поступить, когда начнет наглеть? Почему мы должны обвинять в таких грехах CF и бояться его, «потому-что может»?
На второй вопрос вы сами ответили первым вопросом: «когда начнет наглеть». Т.е все таки начнет, по вашему мнению. А вот не надо, чтобы и начинал, поэтому монополия зло, регулировать надо сразу, чтобы не получилось как с гуглом или фейсбуком
Но ведь если начать душить слишком рано, когда ещё никто ничего не делал, то и сервис и не вырастет. Это уже искусственное ограничение конкуренции. С какого момента надо начинать душить, пока ещё не вырос? Если душить слишком рано, то никто так и не вырастет, не будет ни одного аналогичного бизнеса, вы загубите конкуренцию на корню.
И что делать, если второго такого сервиса нет и не предвидется? Стимулировать деньгами второй аналогичный сервис, и при этом всеми силами закрывать CF?
У нас сайты на CF, но штатной защиты от DDOS не хватает, к нам регулярно приходят вымогатели, валят сайт, просто включить «Under Attac» на CloudFlare не хватает.
Приходится вырубать целыми странами, с которых больше ботов и меньше нашей ЦА,, всем челенж и часто все равно этого не хватает.
Сделал систему что по api в CF добавлять IP в белый список основное ядро клиентов и всех остальных блокировать.
Следующий шаг еще сделать черный список, по ip ботов вычисленных на сервере, чтоб белый список был уже финальным уровнем обороны.

Просто тут так все про защиту от DDOS говорят как будто она реально работает сама по себе на CF, а мы на практике постоянно какими то дополнительными костылями отбиваемся и ждем пока вымогатели придут к выводу что тут не заплатят и уйдут искать других жертв.
Но без CF было бы тяжелее гораздо, это да.

Защита от DDoS тоже бывает разная. И все под ней понимают что-то свое. Кто-то просто блочит те ip, трафик которых преодолевает какие-то границы. Кто-то использует репутационные базы ip-адресов. Кто-то детектирует распространенные атаки с усилением трафика. Кто-то строит модель взаимодействия с защищаемым сервисом и при помощи машинного обучения и определяет, что является нормальным трафиком для сервиса, а что — нет. Чаще всего непонятно, что означает эта самая anti-DDoS, за которую надо доплачивать.


Кэширование HTTP трафика, отбрасывание злонамеренного HTTP, рейт-лимиты на количество запросов, JavaScript-проверки браузера, балансировка нагрузки — любое заглядывание anti-DDoS сервера внутрь HTTP тоже может быть стратегией DDoS защиты. Только это уже не L4, а L7 защита. Любой CDN, любой хостер, которые предлагают такую защиту будет терминировать у себя TLS и заглядывать внутрь HTTPS.


Просто так ругать Cloudflare за чтение трафика в открытом виде нельзя. Если anti-DDoS хостера не делает то же самое, то просто не предоставляет L7 защиты от DDoS (WAF).


А вообще аргументы о том, что какой-то WAF имеет доступ к открытому трафику имеют смысл только пока вы не доверяете WAF, но доверяете хостеру, контролирующему гипервизор вашего VPS и имеющему физический доступ к железному серверу...

но доверяете хостеру, контролирующему гипервизор вашего VPS и имеющему физический доступ к железному серверу...

Как бы несоизмеримые степени угроз. Хостеру, чтобы влезть в трафик, надо влезть в тачку (что тоже можно затруднить шифрованием разделов и закрытием лишних способов подключиться к тачке), поставить снифер в саму ОС, если там на локалхосте открыто все бегает. Если нет, то красть сертификат и ключ (при условии, что они не запаролены, иначе еще пароль надо будет искать), чтобы поставить перед твоим приложением прокси, на который и будут ходить клиенты. CF же просто видит все по-умолчанию. Хостер угроза теоретическая.

Если речь о VPS, то хостеру без проблем доступа вся оперативка виртуального сервера вместе со всеми приватными ключами, не? Защищать от этого вроде бы должен AMD SEV, но я кроме пары новостей на опеннете про него ничего нигде не слышал

Опять же, это не то чтобы тривиальная вещь. Так вот просто залезть и ключи из памяти виртуалки тащить. К тому же они будут наверняка распаршены без опознавательных знаков лежать как бинарные параметры рса или элиптики.

Но кэш файловой системы заботливо оставит в памяти все файлы в исходном формате BEGIN RSA PRIVATE KEY :) Можно принудительно ребутнуть виртуалку, отмазавшись техничекими работами, и по-быстренькому грепнуть память, пока файлы ключей не успели вытесниться из кэша

Это все настолько тривиальная вешь, что у крупняка в отдельном отделе каждый день специально обученный человек этим и занимается. CP, frod, carding, файло для правоохренителей из клиентских виртуалок ( все официально) и т.д.
Какую то более менее защиту дает только colo свой шелезяки, все остальные способы типа «запусти на нашей железке» приведут к тому, что я, как админ хостера, буду иметь доступ как минимум ко всем файлам вашей ОС. Вопрос только в том, есть ли вероятность того, что вы это заметите или нет.
Не всегда в поставку VPS входит отдельный IPv4-адрес, такие адреса заканчиваются и поэтому стоят дорого. А взаимодействовать с IPv4-only миром нужно. Один из вариантов — CloudFlare.

Если речь о простом статичном сайте то его легко можно сделать децентрализованным при помощи IPFS. CloudFlare запустил свой шлюз в IPFS и я уже год держу на нём сайт без бэкенда.


Когда CloudFlare косячил сайт был всё ещё доступен на других шлюзах и периодически с них подгружается то что CloudFlare не успевает отдать по каким то причинам.


Ну и плюс к этому добавляется возможность посетителям также участвовать в поддержке работы сайта если они установят у себя клиент IPFS и загрузят в нём его содержимое (открыв сайт через свой шлюз или прицепив(pin) его к шлюзу).


Единственная проблема это DNS. Если он вырубится то придётся пользоваться публичным ключём автора или хешем контента. Но можно сделать локальный DNS который будет архивом хешей и позволит просмотривать загруженный сайт без доступа к интернету.

что-то мне подсказывает что речь идет не о любительском сайте

Цитата:


Но для небольших любительских сайтов альтернативы нет, другие варианты они себе не могут позволить финансово, даже с 3 бесплатными месяцами.
Именно так. Я веду речь о любительских сайтах, а Вы — нет.

В таком случае что вы имеете ввиду под любительскими сайтами? И в чём нестыковки с моим высказыванием?

Любительский сайт — это сайт, который создал любитель, скажем для рассказа о своем хобби. Соответственно, поддержку он осуществляет сам, в свободное время или за свои деньги привлекает со стороны человека. Проект денег не приносит.

В чем противоречие — ну вот у меня десяток разных сайтов, уже лет 15 висят, некоторые не мои, размещаются за символические деньги на оплату хостинга, но я понятия не имею о чем Вы написали. И конечно я мог бы разобраться о чем речь, но проще оставить эту работу cloudflare

Ну вот например с IPFS я избавился от оплаты хостинга. Точнее хостинг это мой ПК на котором нужно иногда запускать узел IPFS чтобы подгрузить на шлюзы потерянные блоки если есть таковые. Осталасть только оплата домена.

любопытный опыт, бегло почитал про IPFS не очень понял как запустить MySQL или nginx на нем

Для статичного сайта они не нужны.


Но если сайт уже использует базу данных то тут есть варианты:


  1. Запустить сайт локально и загрузить с него все страницы в IPFS.
  2. Конвертировать базу данных в JSON или XML файлы и подгружать данные на страницу в браузере. Но этот способ уже требует доработки сайта.

Поскольку в IPFS нет бэкенда то всё что делается на сервере должно быть сделано либо до загрузки в IPFS либо уже в браузере пользователя.

Поскольку в IPFS нет бэкенда то всё что делается на сервере должно быть сделано либо до загрузки в IPFS либо уже в браузере пользователя.
то есть форум (скажем smf) запустить не получится?
то есть форум (скажем smf) запустить не получится?
IPFS — InterPlanetary File System

Так что типовые существующие решения запустить, очевидно, не получится, нужно писать какую-то платформу поверх всего этого.

Тогда это не альтернатива, а разные случаи.


Мне, например, такой случай не подходит

Так ivan386 изначально о статическом сайте говорил
Если речь о простом статичном сайте то его легко можно сделать децентрализованным при помощи IPFS.

Это нисколько не меняет ситуацию. Мы о разных случаях говорим. В моем случае альтернатив cloudflare (по удобству, простоте) я не вижу

Наверное, 1ax имеет в виду, что любительский сайт – это сайт непрофессионала, например, личный блог журналиста или сайт для небольшого локального коммьюнити, которые не знают, чем отличается IPFS от IP

Ну если уж узнали как переключится на CloudFlare можно и узнать как згрузить свой сайт в IPFS.

сайт для небольшого локального коммьюнити, которые не знают, чем отличается IPFS от IP

верно

Ну если уж узнали как переключится на CloudFlare можно и узнать как згрузить свой сайт в IPFS.

ну я 5 минут потратил на регу в cloudflare и следуя их указаниям поменял ns-записи. Собственно — все!

и я 5 минут погуглил про IPFS — забавная история, будет время еще почитаю для самообразования, но как к этому прикрутить условный сайт на MODx я не понял за минут и кажется не пойму и за большее время.

Вот и вся разница.
Само сравнение сервиса, который добровольно выбрали для себя сотни тысяч специалистов, со смертельно опасным заболеванием некорректно. Cloudflare прежде всего альтернатива работе сайта без шифрования. Что касается доступа третьих лиц к информации — намного больше вероятность, что его предоставит хостинг провайдер.
Cloudflare прежде всего альтернатива работе сайта без шифрования.
О каком шифровании идёт речь?
Cloudflare прежде всего альтернатива работе сайта без шифрования

Сегодня это не актуально. Let's encrypt доступен всем.

намного больше вероятность, что его предоставит хостинг провайдер.

Провайдер не имеет доступа к TLS трафику. Ни клиента, ни сервера. А cloudflare имеет, потому что по определению является MitM, которому, типа, доверяют. Это действительно противоречит смыслу TLS.
Всё несколько печальнее — любой провайдер может стать MITM, достаточно чтобы на выходе сайт предоставлял любой сертификат, которому доверяет браузер клиента, а доверяет он сотням компаний (сейчас в списке Microsoft более 400) и этот список обновляется через интернет автоматически в момент запроса. При слежке за конкретным пользователем ничто не мешает агенту внедрить копию сертификата (естественно с другими ключами, но кто их проверяет) для его адреса и смотреть весь трафик, никто другой этого не заметит, а сам пользователь не будет сравнивать ключи со старыми для каждого сайта и тем более связываться с их владельцами для проверки актуальности ключей. Так что не CloudFlare тут виноват, а сама модель сертификации сайтов в текущем виде сделана скорее для самой элементарной защиты трафика, чем для реальной безопасности.

От скрытого выпуска сертификатов защищает Certificate Transparency. И не все браузеры используют системный набор сертификатов, например FireFox имеет свой список сертификатов не зависимый от операционной системы.

Certificate Transparency отличная штука, но работает она не для всех сайтов и в случае если лога нет, Chrome устанавливает соединение без предупреждений. Firefox имеет свой список, но в большинстве случаев они совпадают (задумайтесь, как часто вы видели https-сайт, который открывается в одном браузере и не открывается в другом). В интернете всё ещё используется незащищённый DNS мохнатых годов и он же используется в новейших ОС по умолчанию. Это я к тому, что если в CloudFlare можно одним кликом включить проксирование и конечный пользователь ничего не заметит, то и для особо заинтересованных людей это не станет непреодолимой задачей.
Certificate Transparency отличная штука, но работает она не для всех сайтов и в случае если лога нет, Chrome устанавливает соединение без предупреждений.

Certificate Transparency работает для сертификационных центров и основан на дереве хешей, так что если CA выпустит сертификат не указав его в логе, это будет видно.


Firefox имеет свой список, но в большинстве случаев они совпадают

Да, совпадают, но вы писали что обновление списка CA может прилететь для одного клиента с целью подмены только у него доверенных сертификатов. Я же говорю, что это не всегда сработает.


Это я к тому, что если в CloudFlare можно одним кликом включить проксирование и конечный пользователь ничего не заметит, то и для особо заинтересованных людей это не станет непреодолимой задачей

CF может выпустить для вашего домена свой сертификат только потому, что управляет А-записью вашего домена. Чтобы выпустить поддельный сертификат для другого домена, над которым нет контроля, нужно подменить DNS для всех точек с которых его будет запрашивать letsencrypt, а это куда более масштабная задача требующая огромного влияния.


Я не утверждаю, что спецслужбы не выпускают левые сертификаты для MiTM-а, это очевидно так и неоднократно подтверждалось. Другое дело что цена такой атаки с каждым днем все выше.

Вспоминается Хайнлайн:
«Фирма ХХХ объявляет, что данные ее клиентов всесторонне защищены, это значит, что человеку с улицы за небольшие деньги их не получить. Придется идти другим путем.»
А что это у Хайнлайна?
Так сразу не вспоминается, хотя читал его всего.
Стану в очередь. Фразу помню, а откуда — забыл.
Современные браузеры такое ловят.
А подпись корректную кто подделывать будет? У сертификата проверяется подпись, а подписываются сертификаты теми самыми сертификатами, которые в ОС зашиты (или в сам браузер как у лисы). Браузер доверяет сертификат CA, а не самих сайтов. Для MITM нужно получить доступ именно к этим сертификатам, точнее к закрытыми ключам. Это вектор угрозы реальный, но больше теоретический на данный момент. А если кто-то начинает выдавать сертификаты на чужие доменные имена, то он быстро вылетает из списка доверия.
И список этот в момент запроса никто не обновляет. Не знаю как на макоси и винде, но на линуксах прилетает обновлением из репозиториев. Просто так туда ничего не попадает и не обновляется.
Это не говоря о том, что для крупных сайтов по крайней мере хром используют certificate pinning, что делает MITM просто невозможным.
Как уже написали выше, «это значит, что человеку с улицы за небольшие деньги их не получить», только и всего. Знаете какая модель будет близка к гарантированной? Если при первом посещении сайта браузер спросит пользователя, доверяет ли он этому открытому ключу, а пользователь сравнит его лично у владельца сайта, и при каждом новом сертификате будет повторять эту процедуру, тогда вероятность MITM будет сведена к минимуму. Только массово это не будет делать никто и никогда, ибо неудобно. При существующей модели маловероятен именно массовый взлом с подменой сертификатов, а для слежки за конкретным человеком существует много векторов атаки, особенно если для этого есть финансы или полномочия.
Для таргетированной слежки нафиг не нужны все эти ваши сертификаты. Полно других способов. У каждого в кармане компьютер, че уж тут. Дешевле 0-day или вообще CVE какую-нить качнуть, чем искать у кого бы там отжать центр сертификации. Собственно, так оно в реальном мире и делается, а эти взломы CA больше похожи на фантастические истории о всемогущем ЦРУ.

А каждый раз идти к автору не нужно. Достаточно использовать все туже цепочку серфтикатов. Один раз доверились и вперед. Если держишь свой личный/корпоративный CA, то как раз отличный вариант. И просто, и безопасно.
Хостинг провайдер имеет доступ непосредственно к оборудованию с данными и может как предоставить к ним доступ так и передать сами данные третьим лицам.

Вот только хостингов много, разбросаны они по всему миру и взломать их разом нельзя. Так и обеспечивается распределенность и отказоустойчивость.

Вот только хостингов много
Хостингов (независимых) будет всё меньше и меньше. Ибо монополизация. Крупные рыбки будут съедать мелких.

Вот таксопарки — почти всех их поглотили Убер, Яндекс и т.п.

Да, вообще не понимаю, как сейчас этот бизнес даже может выжить. Когда для мелких клиентов и всяких фри таеров с барского плеча Безоса хватит. А для крупных по надёжности, сервисам и секьюрности хостинги уже зашквар.

как сейчас этот бизнес даже может выжить

Ну, способ только один: залезание в узкую нишу, невидимую гигантами или не интересную им.
Фри таер — это не шаред и даже не «классический» vps по простоте настройки, а еще там всегда можно вылететь за пределы этого «фри» и получить в конце месяца шестизначный счет в долларах. Особенно если ваши конкуренты захотят вас разорить и у них есть немножко мозгов.

Настроить это так, чтобы такого не случилось задача довольно сложная для мелкого клиента, ему проще немного заплатить, чем разбираться со всеми этими облаками.

Так чем больше хостингов, тем, наоборот, больше риск того, что вышли данные будут скомпрометированы.

Однако спустя время, Cloudflare решает отказать сайту 8chan в обслуживании на основании своих представлений о морали.

Это может быть и не очень хорошо, но это вроде как не цензура. Они не забанили, а просто решили отказать им в предоставлении услуг. 8chan вполне может воспользоватся другим сервисом, cloudflare пока не такой монополист, что бы без него прям жить было невозможно.

8chan «просто рожей не вышел», поэтому его «в клуб не пустили». Ну нет уж, такого не надо.
Ну не правда же:
Мы можем видеть сквозь HTTPS


Можно использовать свой сертификат и тогда CF не будет использовать свои…

Проблемы с каптчей — вообще надуманы, то, что провайдер не использует IPv6 и все сидят через NAT — вина провайдера а не CF…

Да — централизация это плохо, но пока CF сделал очень много всего хорошего для развития интернета
Можно использовать свой сертификат и тогда CF не будет использовать свои…

Вы ошибаетесь, в любом случае CF будет расшифровывать трафик от сервера и подставлять конечному клиенту свой сертификат. Просто подумайте, как без доступа к расшифрованному трафику cloudflare может кешировать статику, вставлять свои http заголовки и JS на ваш сайт?

НЛО прилетело и опубликовало эту надпись здесь
Меня и не через TOR на одном каком-то сайте периодически проверяет CF.

Может, это настройки сайта, а не ваш адрес такой? ;)

мы запустили акцию: ISPmanager три месяца бесплатно
По аналогии со статьёй, можно ли считать ISPmanager раком интернета? :) В отличие от CloudFlare, ISPmanager контролирует не только трафик, но и сами серверы в целом, что открывает куда больше перспектив для злоумышленников и т. д.
Зачем сразу считать ISPmanager и другие продукты этой компании именно раком? Давайте будем считать их, к примеру, геморроем. А конкурентный продукт CPanel, предположим, сифилисом. Но если вспомним о такой страшной компании, как Microsoft, между прочим контролирующей большинство ПК мира, на них сразу можно навесить ярлык СПИДа или ВИЧ, в зависимости от используемой версии их продукта. И ровно так же будем говорить о любом популярном или просто хорошем продукте, который в большинстве случаев прекрасно работает.
Если фирменные алгоритмы определения вредоносного трафика CloudFlare сочтут, что вы недостойный пользователь интернета, веб-серфинг превратится в мучение: на каждом пятом сайте вы будете видеть требования пройти унизительную капчу.
Справедливости ради, это поведение зависит от настроек, выставленных владельцем сайта. В режиме фаерволла Essentially Off капча, как и checking your browser, практически никогда не появляются, кроме того, можно устанавливать исключения для, например, пользователей Tor.

По теме статьи: клаудфляра, как я думаю, стала столь успешна лишь благодаря удобству и доступности использования. Практически все иные CDN/реверс-прокси имеют различные ограничения: то нет бесплатных тарифов, то ограничения на количество поддоменов, то не могут соединяться по HTTPS с конечным сервером, то что-нибудь ещё вроде отсутствия поддержки HTTP/2 и вебсокетов. В своём случае, несмотря на все проблемы приватности, отказываться от флары не стал, ограничившись компромисом: создал зеркало сайта с менее популярным CDN с бесплатным тарифом, а также скрытый сервис Tor с ещё одним зеркалом.
Не поделитесь названием менее популярного CDN-сервиса?
CDN провайдеров очень много и Cloudflare не самый быстрый и даже не самый удобный. Возможно, самый низкий уровень входа, в том числе и благодаря вполне функциональному бесплатному тарифу.

Из альтернатив, могу порекомендовать Akamai, очень мощная штука, но дорогая, конечно. И уровень входа достаточно высокий, а что бы использовать все его возможности понадобится детальное изучения документации, возможно, курсы и консультации службы поддержки.
Можете посмотреть на этой инфографике. Сам я воспользовался OVH SSL Gateway, но это именно что реверс-прокси, а не CDN.
А ещё CloudFlare хорош тем, что можно ограничить доступ из некоторых стран. Особенно удобно, когда этих стран штук 40. Интересно, на небольшом сервачке ipset такое выдержит?

Выдержит без проблем. Хеш таблица все же.

пока я не стал для обхода блокировок использовать списки с суммаризацией, а использовал как есть, отдельными адресами, то в ipset загонял больше 3 000 000 адресов. Вообще без каких либо проблем переваривала железка (домашний сервер на старом a6 7600). Так что не думаю, что будет проблема заблокировать доступ 40 странам, тем более будет блокироваться на уровне целых подсетей, а не отдельных адресов. И записей в таком случае будет явно меньше 3 млн.
А зачем?
Например, меня в прошлом году брутил какой-то ботнет, больше всего айпишек было из Китая и Бразилии. У меня нет никаких товаров или сервисов для этих стран, почему бы не забанить? Ну и другие страны, по определённому признаку, забанил.
Сервер мой личный, могу делать, что хочу.
Ну, имеет право на жизнь метод наверное. Но уж как-то все равно уж очень брутально, имхо.
это проблема не CloudFlare, а того, что слишком понадеялись на него и не предусмотрели режим работы без CloudFlare
НЛО прилетело и опубликовало эту надпись здесь
Не согласен что CloudFlare это :;%:;№:.
То что бесплатные сайты упали когда CloudFlare упал — ну так они бы падали в десять раз больше без CloudFlare. На Enterprise plan не обязательно использовать их DNS.
AWS тоже занимает треть рынка. Но если есть мозги и деньги, никто не мешает построить инфраструктуру которая не будет зависеть от одного провайдера.
CloudFlare сделали огромный шаг вперед для демократизации рынка  DDoS protection — десять лет назад речь шла минимум о тысячах долларов в месяц. Сегодня есть много провайдером — спасибо CloudFlare.
Бизнес компании построен на MitM. Компания рвется замкнуть на себе DNS-over-HTTPS. Всё сводится к тому, что они будут знать всё обо всём. Я не за что не поверю, что тут не торчат уши NSA, так же как уши CIA торчали из Crytpo AG. Возможно даже у компании есть афилированные лица, которые устраивают DDoS атаки на некоторые сервисы, чтобы склонить их к перезду на CF, чтобы снифать трафик. Например, многие криптобиржи используют CF. Так NSA может быть в курсе кто/сколько/когда.

Так что да: CloudFlare это :;%:;№:.
Бизнес компании построен на MitM

1. Не CloudFlare, а любой компании дающей такой сервис. Странно, что Incapsula/Imperva никто не обзывает — а за ними не просто NSA, а страшный Мосад стоит! :-)
Loadbalancers AWS и куча других сервисов тоже дают терминацию.
2. Она этого не скрывает
Все эти сервисы не ведут себя аки мессия и спаситель интернета. А CF именно так себя и ведет
Пару недель назад, CDN CloudFlare начал не отдавать до трети ресурсов с моего сайта. Чистка ничего не давала. Пришлось слепить правило, чтобы отдавал все напрямую с сервера. Остается вопрос — а нафиг он тогда такой нужен? Разве что анти-DDoS.
Из значимых плюсов CF для меня является именно SSL сертификат, который все остальные продают исключительно за круглую сумму с тремя нулями. от 1 тыс руб и выше. Если требуются домены 3-го уровня, то сумма уже от 4-х нулей. Достаточно крупная компания может себе позволить такой сертификат. Любительские сайты нет. Я храню на сайте просто блог. Мне совсем не важно — защищен ли он от просмотра или взлома трафика или нет. У меня и так публичная инфа, которая многими сервисами требует наличия SSL.

Более того, если на CF нужен сертификат на домен 4-го уровня — опять идём к Let's Encrypt!

НЛО прилетело и опубликовало эту надпись здесь
Так а почему на безопасность и стабильность наплевать сразу?

Касательно безопасности, если сайт не предполагает приватных разделов, и весь без исключения контент индексируется гуглом, то, соответственно, об опасности слива данных говорить не приходится. Если при этом сайт не содержит зашкварных разделов вроде гей порно, то и опасности для пользователей, что кто-то узнает, что именно вот эту страницу он посмотрел, тоже нет. CF совместно с АНБ и ЦРУ тоже не будут пихать js зловред кому-попало, — им это невыгодно.

А касательно стабильности, CF, который лежит час в пару лет, это просто идеальный аптайм для личного бложика. На порядки выше вероятность, что крон, обновляющий серт у let's encrypt не отработает по какой-то причине, и сайт денек полежит у того, кто не использует CF.
НЛО прилетело и опубликовало эту надпись здесь
Монополия всегда всем выходила боком. В случае веб-разработок, более подходит — Зависимость.
Сколько раз уже глобально наступали на грабли, и когда Google всех присаживала на свои продукты, а потом ставило в тупик закрывая их. Недавно случай с NPM.JS пакетами был крах глобальный. История полна болью. Если все собрать в одно место, список будет не маленький — но все равно, мы сами, из-за «халявы» и легко-доступности, сами себя заводили в ловушку. Сами себя подсаживали. Это как с пробниками наркотиков, первый бесплатно а когда присел, тогда и беда. Грустно что прошлый опыт нас не учит.
Как правило — видимо для коммерческих продуктов и энтерпрайз — нельзя иметь зависимости — только самодостаточность.
P.S. сами пользуемся довольно таки давно cdn и дргуми пабликами, как раз из-за удобности и «халявности». Буквально месяц назад мысли о зависимости, натолкнули на мысль, и как итог, мы запускаем свой cdn и проверяем зависимости. Но это благодаря нашему новому клиенту, который в качестве условий, потребовал надежность продукта и заставил проверить что используем и от кого зависим. Вот тут и были ошарашены. Огромное кол-во мест. из-за которых может встать все намертво из-за вот таких зависимостей.
Эта статья, как подтверждение, что мы думали верно, да и вовремя.

так с этим справились запретив удалять пакеты из npm

Помню, рассматривали мы миграцию на CloudFlare после того, как какие-то доброжелатели нас чуть не положили DDoS атакой. Продаваны показывали нам красивые картинки и сулили решение всех проблем. Наши манагеры было оживились, но отдел инфраструктуры сказал «нет» и сумел это «нет» отстоять. Постепенно перетащили все критически важные ресурсы с apache на кластер haproxy и настроили защиту на нем. Уже год как полет нормальный. Мое мнение — аутсорсинг business-critical инфраструктуры это зло, и не стоит плодить лишние точки отказа без крайней необходимости.
А зачем вообще apache в 2020?
Ну, есть ещё Apache Tomcat, который очень даже популярен.
Да и старый добрый веб сервер не так плох как его малюют.
А вы при появлении каждой новой модной технологии переделываете все свои старые проекты под неё?
Нет, не переделываю. Я не сисадмин но уверен что за пару часов настрою связку nginx-apache специально для старых проектов. Статика будет отдаваться nginx, остальное будет пропускаться на apache.
В новых проектах уже даже не 5 лет везде стараются использовать nginx.
Это же не просто очередной js-фрейм который забудут через год, а отличный веб-сервер который при прочих равных значительно быстрее старого-доброго apache.
А нет случаем перевода статьи на английский? Хотел бы поделиться со своими коллегами
Спасибо большое!
Что-то какая-то непонятная статья. Проблема в монополии CloudFlare? Akamai с CloudFront от AWS вам в помощь. CDN — не персональное изобретение CloudFlare, равно как и прочие услуги вроде WAF и защиты от DDoS оказываются не только ими.

Не знаю, откуда взялись странные цифры про «треть интернета». Я из своего личного опыта припоминаю лишь пару сайтов. А медийные гиганты, например, Viacom пользуются услугами Akamai. Steam, кстати, тоже. А обычному клиенту AWS вообще легче всего просто CloudFront подключить и забыть о всех бедах.

Да, CDN для своей основной функции нужно траффик листать. Вот только функционал отвечающий за персональную информацию, вроде логинов и паролей для аутентификации не закешируешь. А не кэшируемый траффик подается напрямую на origin сервера, так что для них MiTM нет. А статика… ну как бы и черт с ней.

Пункт с капчой тоже какой-то туманный. Нынче много кто обзавелся привычкой отсеивать ботов, CloudFlare тут не первопроходец. И это проблема хозяина сервиса в первую очередь, и CDN — во вторую. Потому что первый начинает терять посетителей, а второй — траффик, за который ему и платят. Но в принципе вопрос решается просто настройкой разных WAF и подобных сервисов.
А если говорить про монополистов, то гугл пожалуй еще фору даст. На капчи от него налетаешь запросто, если сидишь под TOR или со своей прокси на условном DigitalOcean.

Называть отказ от сотрудничества цензурой тоже явный перебор. Это отношения поставщика услуг и клиента, а как я уже упомянул CloudFlare тут не монополист. И близко нет. Если они считают, что прибыль будет выше после отказа от сотрудничества с одним клиентом — это сугубо их личное дело. Просто прощаемся и идем к конкурентам. В чем проблема-то?
Не знаю, откуда взялись странные цифры про «треть интернета».

Ради интереса пробил 5189 хостов из истории моего браузера, упоминаний Cloudflare в whois насчиталось 659 штук. Для сравнения, Amazon 383, Akamai 139


Не треть интернета конечно, но вроде бы и не несколько


В списке замечены 4pda, Avito, React, jQuery, NPM, Discord, Фикбук, Patreon, Feedly, Fosshub, Readthedocs, Lurkmore, Mozilla, Рутрекер и внезапно hsto.org

НЛО прилетело и опубликовало эту надпись здесь
«Мы можем видеть сквозь HTTPS»
так а никто и не кэширует приватные данные, в чём тут проблема? только что придётся подмудрить чтобы скажем картинки и скрипты были на одном домене (и перед ним поставить cdn), а страницы кэшировать у себя, что вполне допустимо и жизнеспособно.
Всегда удивляло с какой лёгкостью хозяева сайтов добровольно лишают себя огромной массы пользователей. Ведь я, как рядовой посетитель не самого нужного сайта, вряд ли не захочу на него заходить, увидев такую капчу. А если и зайду, то понаблюдав вечные фирменные cloudflarовские тормоза и задержки при загрузке страниц, почти наверняка не пожелаю возвращаться.
Сомневаюсь, что люди, которым показывают капчу, составляют огромную массу.

Если это капча из-за того, что пользователь [отключил сохранение сторонних кук | сидит через Tor | ещё что-то из той же оперы], то это точно не «огромная масса», а ничтожная доля.

Если это капча из-за того, что владелец сайта включил очень строгую проверку, вероятно, он знает, что делает, а «мимокрокодилы» ему не важны.
Зашёл сейчас на один ресурс, «зашишённый» cloudflare. Ранее он мне предлагал галочку поставить, теперь начал со светофоров (а чем кончил, стыдно рассказывать). Помог выбор картинок — 1-2-3 (по матрице). Раза с пятого сработало. Google ИИ, АУ!
1-2-3 — выбирались абсолютно рандомные картинки, первая в первом ряду, вторая во втором и так далее. Советую всем так делать, ибо оно работает не хуже вдумчивого выбора переходов, а так же потому, что з…ли уже.

Там вроде нет ИИ. Там распознование при помощи людей. Что по статистике выбирает большинство как правильный ответ то и является правильным ответом для капчи. Но для того чтобы набрать статистику они смешивают картинки у которых известен верный ответ и те у которых его нет. Если первая часть была решена верно то считается что вторая так-же угадана верно.


ИИ скорей всего делает выбор чего вырезать из панорам для капчи. И учат его на результатах капчи. Но сам он в оценке правильности ответов капчи врятли участвует.

Это вот всё меняет 1)
2) а как не гуглекаптча? а кому нужны светофоры-переходы-автобусы?
А вот так, эти козлы 2 дня назад поменяли провайдера captcha. Там такой срач, так как Google-то лучше работает. Хе-хе.
community.cloudflare.com/t/stop-using-hcaptcha/158968
Про GitLab уже пошутили?

вчера они обьявили что переходят на Cloudflare, сегодня прилегли…
Воспользуюсь случаем и прорекламирую свой проект по замене CloudFlare (или использовании защиты, подобной той что есть у CloudFlare на своей инфраструктуре): github.com/JamesJGoodwin/umbress

Если есть желающие, можем создать группу и сделать аналоги для Golang, PHP, Rust, etc.
Уже обсуждалось выше. Никакое чисто софтовое решение не может защитить от банального забивания канала ботовым трафиком. А канал Cloudflare может забить разве что какой-нибудь Mirai.
НЛО прилетело и опубликовало эту надпись здесь
Вообще говоря, это наглядная демонстрация того, что в любой индустрии в условиях полной свободы и отсутствия регулирования рано или поздно появляется крупная рыба, которая съедает всех остальных и начинает диктовать условия. И свобода в итоге оборачивается зависимостью. Это, к слову, не редкость.
Отмечу также, что Cloudflare заблокирован провайдером Казахтелеком. Это мы выяснили на своём опыте: когда мы проксировали свой сайт через Cloudflare — он не открывался у абонентов Казахтелеком, выдавал connection reset; когда мы переключились в режим DNS Only — сайт стал доступен для абонентов Казахтелеком.

В любом режиме работы CloudFlare расшифровывает SSL-трафик

Что, даже в режиме DNS Only? Это вообще реально, расшифровывать SSL-трафик на уровне DNS? Как так?
Монополия никогда еще до добра не доводила
Добавлю причины, которые побудили меня отказаться от CloudFlare:
1. Часть их адресов забанены (были?) в Роскомнадзоре.
2. У меня через прослойку в виде CF сайты работали медленнее, чем напрямую. Причем достаточно заметно, если смотреть на график сканирования в Google Search Console.
Мне хватило и первой причины. Один из сайтов попал под санкции за соседство с каким-то забаненным другим сайтом. Даже небольшая вероятность повторения меня не устраивает.
Автор определитесь уже, «пользуюсь и считаю, что они делают большое дело» или «рак интернета»?
А я как пользователь могу со своей стороны как-то определить, работает ли конкретный сайт через Cloudflare? По traceroute это можно понять?

Открыть сайт по IP-адресу вместо домена. Если Cloudflare, то он заругается характерной ошибкой http://104.26.5.124/

Так вот кто «жужжал у меня в браузере» и два дня не давал просмотреть один популярный сайт :-(
Спасибо за популярное разжёвывание.

Вот есть IP, который включен в несколько AS.

Есть разница, какую AS добавлять в правила?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий