Comments 50
Я предлагаю называть допиздержками тех из-за кого всё дорожает. От хостингов до яиц.
Не вижу проблемы. Заграничный VPS от российских представителей подорожает и появится смысл перейти к конкурентам с более демократичными ценами.
при прочтении пару вопросов-предложений возникло технических:
подскажите как Вы получили 60Тб netflow данных с 1Гбит подключения?
В отличии от копии трафика (SPAN), который сейчас в основном в SSL завернут и поэтому никак не сжимается (впрочем заголовки жмутся и прочие пинги и днс так что gzip в любом случае будет не лишним), netflow в принципе не так чтобы сильно объемный да и жмется прекраснозачем хостеру ставить нетфлоу экспортеры на сервер?
(к слову писать специально ничего не надо, в линуксах их полно готовых)
У вас как у хостера есть свои IP подсети
Снимайте нетфлоу на маршрутизаторах, которые эти сети в мир анонсируют
з.ы. все в общем грустно, конечно
Верхняя оценка основана на опыте из различных тестов и исследований и на информации из открытого доступа.
Обычно весь NetFlow составляет от 0,5% до 1,5% от общего объема трафика.
Взята верхняя оценку из-за отсутствия сэмплирования в законе. Хранения полного объема данных нужно из-за постоянных атак с обеих сторон. А еще из-за того, что хостеры, как правило, платят за трафик постфактум, с учетом превышения. То есть если номинально гигабит, а реально больше, никто не режет.
То есть в расчетах мы исходим из худшего сценария.
Дальше математика:
1 * 60 * 60 * 24 * 365 = 31 536 000 гибит в год или 3942 Тб
1,5 % от них примерно 60 Тб
Далеко не все хостеры имеют свои маршрутизаторы в каждой точке. Обычно они ставят сервер в предоставленных ДЦ (за что им и платят). В таких случаях у хостеров может может не быть доступа к управлению и настройке NetFlow (или других инструментов для мониторинга трафика).
И что, каждый клиент выжигает весь гигабит, да еще 24*7? Смысл считать от пропускной способности...
Наверняка есть реальные расчеты от реального потребления...
Железо должно быть расчитано на максимальную нагрузку, чтобы в момент её наступления (Чёрная пятница, Новый год и пр.) оно не захлебнулось и админы всё так же дремали в своих каморках.
Смотрите, нам удобнее считать на ширину канала, потому что всё масштабируется. Есть ёмкость, есть фактическое потребление. Фактическое потребление обычно считается в объёме, а не канале, но для расчёта железа на год нам практичнее считать в утилизации канала. На каждый 1 Гбит/с утилизации приходиться 60 Тб хранилища. То есть зная утилизацию каналов группы серверов, мы прогнозируем объём хранения.
Инет от Ростелекома в Сибири идет с обрезанным до 1 или 2 МБайт/сек яндекс-диском и маил-ру диском. В мск с этих ресурсов скорости порядка 13-16 мегабайт в секунду. В сборе трафика причина или эффективно экономят?
А почему вам вообще не пофиг?)
А еще это сильно ударит в будущем, ибо почему-то серьезные ребята вырастают из не настолько серьезных школьников/студентов, которые не очень хотят сотрудничать с государством, особенно в сфере раскрытия преступлений в интернете.
...Я без наезда: это реально так же гениально, как открыть кредитный отдел в казино.
Так же гениально, как «льготная» ипотека (и всяческие «ипотеки со скидками» от застройщика. Ничто не ново под луной...
Допиздежки в РФ везде. Начиная с самого высокого уровня.
Тут даже умного сказать сложно, в тексте все сказано и очень открыто.
Вот бывает царь Мидан, а у нас очередное проявление царя Говняса.
С праздником!
-Мама, мама, а что это за ящик с новыми винчестерами?
-Не трогай! Эта новая стойка на новый год!
Обычно записывается netflow/sflow 1к32000 (речь об sampling rate) при нагрузке канала 1 гбит/c постоянно в полку на вход и исход выходит - 600 ТБ/мес, т.е примерно 100Г netflow/sflow данных c 1 Гбит/c в месяц.
Вроде как верно посчитал.
Так нетфлоу сессии пишет же, поэтому ставить знак равно "1гбит линк == Х терабайт" довольно сложно, всё сильно зависит от типа траффика.
Гм... Пишем netflow в clickhouse. За месяц при среднем трафике в ~800МБайт/сек — порядка терабайта занимает. Правда, clickhouse пишет со сжатием, но вряд ли на порядки. Что-то странное вы считаете...
Пополнил лексикон новым словом "Допиздержки"
В компанию к "Опердень", "Трудовыебудни", "Всемудачи"..
только проблема что они хотят не нетфлоу писать (сэмплинг), а полный дамп сессий без самого трафика со всеми раскрытыми днс запросами. это несколько сложнее и затратнее
"Блокировки" (начиная с РуТрекера), реестры всего подряд, всякие "яровые пакеты", принуждение ставить себе сорм-зонды за свой счёт... Это всё на благо пользователей (особенно - детей)? Ради всеобщей безопасности? Для защиты "критической инфраструктуры"? Для более успешных предотвращения и раскрытия преступлений (ох, тут ещё надо уточнять, что есть "настоящие" преступления с потерпевшими, а есть те, что по законам из безумного принтера...)?
Блин, а что, если какие-нибудь "иностранные агенты" будут ссылаться на это как на аргументы в пользу теории, что правительство РФ якобы целенаправленно гнобит Рунет, его пользователей и IT-компании (кроме компаний, производящих газенвагены)?
Хотя, айтишников, говорят, на убой пока не отправляют. Ну не откармливают же?
Это всё на благо пользователей (особенно - детей)?
Именно поэтому любые блокировки это плохо. Во время еды приходит аппетит и вот мы обнаруживаем, что без всякого правового основания блокируются уже целые протоколы и подсети, которые каким-то сисяхам из ЦМУ ССОП показались украинскими.
только меня это удивляет?
Что интересно, трафик хранится сразу на трёх уровнях. То есть если мы арендуем несколько стоек в чьём‑то огромном ЦОДе, то трафик хранят:
Мы как хостинг.
ЦОД как ЦОД.
Провайдер как провайдер.
дальше что? пусть еще каждый владелец сайта хранит весь траффик свой...
пусть на 4х уровнях будет одна и та же дурная работа делаться.
Гениальный заголовок!
Да в общем ничего плохого в паяльниках не вижу. Умение ремонтировать технику само по себе ценное и полезное, а хороших мастеров не так уж и много. Может быть, действительно имеет смысл слегонца туда инвестировать? Блочный ремонт - быстро и удобно, но как оказывается, несет риски в плане зависимости от вендора.
Успехов вам. К подорожанию за 40 лет уже привык.
А как это вообще будут проверять, хранят ли СОРМ и netflow? Мб можно как-то имитировать хранение?
Серьезно, кликбейтное такое название. Переназовите статью что ли, чтобы не было аллюзии на мат
jobisdone!
Текст бред, после слов о netflow и читать не стал. Автор как всегда не потрудился почитать нормативку а полез сразу строчить миллион букв. Изучайте мат часть и первоисточник, все ваши расчеты в трубочку и корзину
Так, может, подскажете менее сведущим читателям, почему мы не должны доверять автору, но должны доверять читавшему нормативку вам? Желательно с цитатами.
В нормативке не netflow а собранные tcp сессии поэтому объем хранения на порядок меньше
UDP тоже надо писать (приказ МинЦифры от 29 октября 2018 г. N 573, вступающий в действие как раз с 2024)
Посредством технических и программных средств ИС ОРМ при сборе информации о соединениях абонентов в сети передачи данных обеспечивается формирование единой записи о соединениях в сети передачи с суммированием количества принятой и переданной информации в течение пяти минут по одной и той же паре IP-адресов и TCP/UDP-портов для всех соединений.
Точно, Hetzner можете больше не бояться, он уходит с РФ рынка.
Вот что они написали моему бывшему клиенту в Москве (бывшему, потому что пару лет он почему-то решил, что я должен работать на него исключительно бесплатно):
"As announced via email, we are hereby cancelling your customer account K0xxxxxxxxxx and all the products it contains. It will take effect on 31 January 2024.
We thank you for your cooperation so far and hope for your understanding.
We will be happy to answer any questions you may have. Please write to us by logging onto your account on the administration interface and going to “Support”.
Kind regards
Hetzner Online"
Допиз... что? Даже в глазах зарябило.
Допиздержки: думаю, что хостинги РФ подорожают в 2024-м