Борются, борются. И да трафик шифрованный и UDP помойка. А то что вы привели это всего лишь торренты и гугол. Если отсюда вычеркунуть всякие порно и видосики — останутся соцсети и различные ресурсы вроде того же хабра или яплакала. А вот они то и являются ОРИ и будут либо сами все хранить и предоставлять либо будут ходить по православным HTTPS и лить ключи (временные сессионные).
Да потому, что другой режим записи и удаления. Здесь удаление выполняется не по конкретному объекту/пользователю а по интервалу времени «все за час».
А уж в АНБ как любят по ушам ездить.
А насчет поисков я отошлю вас к требованиям приказа 538. Комплекс выполняет их в полной мере.
удаление? сражу фрагментацию тогда до кучи в проблемы. А уж поиск то какой интересный будет.
Да решено уже все: и запись, и чтение, и поиск и без фрагментации и быстро. Говорю же — там Купол только большой тупой жесткий диск, вершинка айсберга.
З.Ы. а затем, чтобы другими оперативными мероприятиями добыть ключи и расшифровать… Гуглите про ОРИ — при наличие таких систем самим ОРИ не надо хранить содержимое ваших бесед, достаточно предоставить ключи шифрования.
Но частично я с вами согласен — есть решения более адекватные чем требуемые в законе. Например хранить только то что расшифровалось в виде объектов прикладного уровня+шифрованное. Фильтрация всякого говна от торентов и ютюбов до обновлений всяких операционок… Но увы…
А можно узнать, что именно не вяжется? Если речь о жестких дисках — то их сейчас во всем мире 3 компании производящих диски, с представителями одной из них вчера мило пообщались.
Кроме дисков — там много вещей которые коллеги разрабатывают самостоятельно и даже частично производят самостоятельно. Насчет «а чего они остальное делают не у нас» — у нас до 90х отставание в радиоэлектронке было лет 10 если не двадцать, потом еще 25 лет на пользу тоже не пошли.
У нас в стране головастые люди которые могут прекрасно спроектировать что угодно, и даже произвести штучно… но увы массовых технологий нет и не будет пока хоть как то двигаться не начнем. Вот в Ростехе что-то производят или пытаются, в МСЦТ тоже что-то производят или пытаются… Но нет же мы будем их поливать грязью, называть распил конторами и прочее. А наши кодеры будут работать на гугл, боинг. Ну вот пока так будет — мы и будем сидеть в РЭА глубоко в…
Для сетей документальной электросвязи — обеспечить период хранения всего объема трафика не менее месяца, но не более 6 месяцев что составляет минимум 324 TB с каждого 1 гигабита среднесуточного трафика.
Думаю наш спор стоит сворачивать. Точно такой же HDD 12 ТБ диск от HP стоит в 10 раз дешевле, а значит ваше решение будет в 10 раз дороже. Незнаю куда вы там собираетесь пихать сотню дисков и как обеспечивать коммутирование за 0$.
Но в тендере сумма не только за диски, но еще и за коммутационное и инженерное оборудование включая шкафы, стоимость работ по монтажу, доставке, поддержке и прочее.
Но это все мелочи — как я сказал я детально имею аналогичное по объему и характеристикам производительности решение… да оно дешевле Купола, но никак не в разы. И оно на обычных дисках а не на ССД. Но обладает рядом недостатков по сравнению с куполом (функциональность, энергопотребление, плотность хранения, масса) и не включает в себя услуг по поддержке этого хозяйства.
P.S. Если Вам интересна дискуссия по этому вопросу — то лучше в личку
Какая клоунада? вы вообще о чем? В отличие от вас я знаю не только чего и сколько закупили, но и где, как, куда и чем должно быть смонтировано. А так же какие требования предъявляются к ТТХ СХД.
разницы с ентерпрайз гугл не видит
отлично я прямо сейчас побегу в мегафон и сообщу им сию радостную весть. Разницы гугол не видит. А ничего что у него совсем другая удельная нагрузка на этот самый ССД диск? И вообще другой профиль чтение/запись?
Да необходимость есть — шпиндели шпинделями, но вот эффективное их использование, та же самая параллельная запись/чтение/удаление. Хотя проблемы начинаются уже на этапе как это все безобразие разместить и скоммутировать. Только на словах просто «мы как возьмем 96 дисков, да как распихаем»
Нет конкретно Купол я не проектировал, но коллеги из Ядра практически описывали тут его технологию. А вот остальное железо вокруг… И да Купол в его составе самая дорогая часть исключительно из за стоимости самого железа. Но технологически не самая сложная. Скажем так у нас есть собственное решение по хранению таких объемов, то есть можно было бы обойтись и без Купола, но все это только в теории. а на практике трудности начнутся уже просто при попытке купить необходимое количество дисков… доставить, смонтировать, спроектировать инженерное окружение, обслуживать это добро, менять и так далее и т.п. Почему про это все забывают?
С помощью этой системы «Мегафон» может хранить около 100 петабайт данных (62,6 ПБ в московском дата-центре).
Где тут 6 ПБ? В статье речь про 62 ПБ так что не $2 млн, а все $20…
Какой Samsung Evo? да вам сам мегафон это решение зарубит на корню с такими дисками. Ибо эксплуатантами будут являться они и за всех мальчиков зайчиков которые будут все это менять платить тоже будут они.
Какая 5 летняя гарантия? Для бытового использования? Тут даже не энтерпрайзные нагрузки… Тут просто 24/7 без пауз и передышек.
Какой Оракл ЕЕ? С каким партишенингом? ты вообще о чем?
Нет там его. Совсем другие вещи используются.
А ширпотребные сегмент… ты время реакции на выход оборудования из строя себе представляешь? Пока вся бюрократия пройдет, пока запрет на работы снимут… Оно тупо не должно ломаться. А так даже дешевая коммуникационная стойка вместо нормального шкафа под дисковыми полками — и даже энтерпрайз винты сыпятся как семечки.
Давай еще раз посчитаем… С хорошего диска в идеальных условиях на внешних секторах поднимем ну пусть 200МБ/с… за 10 секунд мы с него заберем 2ГБ чтобы поднять 500 000 ГБ (пол пета) нам понадобится 250 тысяч шпинделей… Пускай возьмем мидлайн сегмент LFF ных дисков… стоимость диска на 4ТБ пускай 500$
Итого: 125 млн долларов на одни только диски чтобы это прочитать с такой скоростью в идеальных ситуациях… без реданданси, последовательное чтение, на внешних секторах…
Тут как то SSD дисками то не пахнет.
Кстати на сайте HP 2ТБ SSD диск Mixed use c трехлетней гарантией — $2300… 60 петабайт это 30 тысяч таких дисков… или $69 млн только на диски. Вы еще настаиваете что Купол дорогой и все можно было сделать на SSD?
именно… поэтому я и говорю — подходы есть, и зачастую очень непростые и ни разу не тривиальные.
А не вот так вот с наскоку в лоб «хадуп — что угодно посчитает».
Вот если данные правильно готовить до записи — то и хадуп становится совсем не нужным.
ну-ка посчитаем сколько нужно таких стораджей за $100k чтобы объем в 60 петабайт закрыть… сколько там в сторадже 200 ТБ?
60000/200= 300 стораджей х 100k = $30 млн долларов
это я еще юниты не считал из расчета пускай 1/4 юнита на каждый сервер… а еще между этими 300+ серверами сеть организовать… интерконнект, балансировку записываемых данных и прочая прочая прочая…
и кстати одной только статистики в сутки с 200 гигабит/с трафика будет примерно 2 ТБ — а совсем не 500ГБ. Как видите расчеты из этой презенташки уже трещат по швам.
Конечно у меня даже базовых знаний нет :)) совсем вообще…
Данные со всей партиции… пол петабайта за 10 секунд, грепом… Ага плавали… знаем…
Мы не забываем же что при этом должна одновременно выполняться сотня запросов?
Цепочку он поднимет… по номерам телефонов из которых известно только последний пяток цифр… и то не достоверно…
Вот к сожалению из за таких вот знатоков — теоретиков у нас и появляются иногда дебильные законы из серии «а давайте в ситилинке купим 4 террабайтные диски и забацаем на них 12 часовой кольцевой буфер» а ты потом мучайся и придумывай как это сделать…
так и вижу как в распил-конторах работают толпы людей знающих и умеющих очень нестандартные вещи и жесточайший тюнинг на объемах, которыми до селе оперировало всего десяток компаний в мире
А вот сейчас обидно было. Много вы знаете контор которые проектируют свои решения с учетом того, что скорость записи на диск на внутренних и внешних секторах разная?
И во всей этой ереси в документе один ключевой момент, на 20 слайде он:
«поиск по imsi за 1 сутки/месяц», по «IP и интервалу» это тривиальнейшая и банальнейшая задача. Просто вообще ниочем. Нормальные системы решают ее за сотые доли секунды, а не за десятки секунд.
А вот поискать по URL, да с маской, да за все 2 года, да по целой подсети… А потом ой это был IP гулового кеша…
Или найди цепочку звонков А-С-B…
К сожалению реальные задачи они несколько шире описанного в перзенташке.
Pivotal Забавно… они оказывается СОРМ-3 делают… архитектура интересная… просто чудесная… прямо эталон так сказать… как НЕ надо делать СОРМ-3.
50 ТБ на сервак… Это сколько сколько нам надо юнитов на пол-пета? А кто вам машзал на это выделит? Куда вы это монтировать будете, как питать? трехкратное резервирование данных???? Обоснуйте попробуйте мегафону зачем ему тратить 3х рублей если он может обойтись без резервирования и купить в ТРИ раза дешевле… Ему то как раз на сохранность данных — фиолетово.
И вообще откуда вы взяли цифру «коробочка с 96 дисками» то? 96 дисков по 12 терр это всего 1 петабайт грязными без учета запаса на hot-spare, redundancy и прочее… Там таких коробочек минимум 75 штук… а еще шкафы, коммутаторы и прочая ересь. А теперь мне покажите сколько будет стоить сервер с 1 ПБ DDR4 на борту и сколько это будет занимать юнитов? И обеспечит ли этот сервер аптайм несколько лет…
А уж в АНБ как любят по ушам ездить.
А насчет поисков я отошлю вас к требованиям приказа 538. Комплекс выполняет их в полной мере.
Да решено уже все: и запись, и чтение, и поиск и без фрагментации и быстро. Говорю же — там Купол только большой тупой жесткий диск, вершинка айсберга.
З.Ы. а затем, чтобы другими оперативными мероприятиями добыть ключи и расшифровать… Гуглите про ОРИ — при наличие таких систем самим ОРИ не надо хранить содержимое ваших бесед, достаточно предоставить ключи шифрования.
Но частично я с вами согласен — есть решения более адекватные чем требуемые в законе. Например хранить только то что расшифровалось в виде объектов прикладного уровня+шифрованное. Фильтрация всякого говна от торентов и ютюбов до обновлений всяких операционок… Но увы…
Кроме дисков — там много вещей которые коллеги разрабатывают самостоятельно и даже частично производят самостоятельно. Насчет «а чего они остальное делают не у нас» — у нас до 90х отставание в радиоэлектронке было лет 10 если не двадцать, потом еще 25 лет на пользу тоже не пошли.
У нас в стране головастые люди которые могут прекрасно спроектировать что угодно, и даже произвести штучно… но увы массовых технологий нет и не будет пока хоть как то двигаться не начнем. Вот в Ростехе что-то производят или пытаются, в МСЦТ тоже что-то производят или пытаются… Но нет же мы будем их поливать грязью, называть распил конторами и прочее. А наши кодеры будут работать на гугл, боинг. Ну вот пока так будет — мы и будем сидеть в РЭА глубоко в…
drive.google.com/open?id=1PpnE6erT8i9or6xlTQ9kZobnDs70livE"
64 (китайских) Петабайта за 537 млн рублей что по курсу 60 р/$ грубо — $9 млн
Ну тоесть никак не 6 ПБ за миллиард.
Но в тендере сумма не только за диски, но еще и за коммутационное и инженерное оборудование включая шкафы, стоимость работ по монтажу, доставке, поддержке и прочее.
Но это все мелочи — как я сказал я детально имею аналогичное по объему и характеристикам производительности решение… да оно дешевле Купола, но никак не в разы. И оно на обычных дисках а не на ССД. Но обладает рядом недостатков по сравнению с куполом (функциональность, энергопотребление, плотность хранения, масса) и не включает в себя услуг по поддержке этого хозяйства.
P.S. Если Вам интересна дискуссия по этому вопросу — то лучше в личку
отлично я прямо сейчас побегу в мегафон и сообщу им сию радостную весть. Разницы гугол не видит. А ничего что у него совсем другая удельная нагрузка на этот самый ССД диск? И вообще другой профиль чтение/запись?
Нет конкретно Купол я не проектировал, но коллеги из Ядра практически описывали тут его технологию. А вот остальное железо вокруг… И да Купол в его составе самая дорогая часть исключительно из за стоимости самого железа. Но технологически не самая сложная. Скажем так у нас есть собственное решение по хранению таких объемов, то есть можно было бы обойтись и без Купола, но все это только в теории. а на практике трудности начнутся уже просто при попытке купить необходимое количество дисков… доставить, смонтировать, спроектировать инженерное окружение, обслуживать это добро, менять и так далее и т.п. Почему про это все забывают?
Где тут 6 ПБ? В статье речь про 62 ПБ так что не $2 млн, а все $20…
Какой Samsung Evo? да вам сам мегафон это решение зарубит на корню с такими дисками. Ибо эксплуатантами будут являться они и за всех мальчиков зайчиков которые будут все это менять платить тоже будут они.
Какая 5 летняя гарантия? Для бытового использования? Тут даже не энтерпрайзные нагрузки… Тут просто 24/7 без пауз и передышек.
Нет там его. Совсем другие вещи используются.
А ширпотребные сегмент… ты время реакции на выход оборудования из строя себе представляешь? Пока вся бюрократия пройдет, пока запрет на работы снимут… Оно тупо не должно ломаться. А так даже дешевая коммуникационная стойка вместо нормального шкафа под дисковыми полками — и даже энтерпрайз винты сыпятся как семечки.
Итого: 125 млн долларов на одни только диски чтобы это прочитать с такой скоростью в идеальных ситуациях… без реданданси, последовательное чтение, на внешних секторах…
Тут как то SSD дисками то не пахнет.
Кстати на сайте HP 2ТБ SSD диск Mixed use c трехлетней гарантией — $2300… 60 петабайт это 30 тысяч таких дисков… или $69 млн только на диски. Вы еще настаиваете что Купол дорогой и все можно было сделать на SSD?
А не вот так вот с наскоку в лоб «хадуп — что угодно посчитает».
Вот если данные правильно готовить до записи — то и хадуп становится совсем не нужным.
60000/200= 300 стораджей х 100k = $30 млн долларов
это я еще юниты не считал из расчета пускай 1/4 юнита на каждый сервер… а еще между этими 300+ серверами сеть организовать… интерконнект, балансировку записываемых данных и прочая прочая прочая…
и кстати одной только статистики в сутки с 200 гигабит/с трафика будет примерно 2 ТБ — а совсем не 500ГБ. Как видите расчеты из этой презенташки уже трещат по швам.
Данные со всей партиции… пол петабайта за 10 секунд, грепом… Ага плавали… знаем…
Мы не забываем же что при этом должна одновременно выполняться сотня запросов?
Цепочку он поднимет… по номерам телефонов из которых известно только последний пяток цифр… и то не достоверно…
Вот к сожалению из за таких вот знатоков — теоретиков у нас и появляются иногда дебильные законы из серии «а давайте в ситилинке купим 4 террабайтные диски и забацаем на них 12 часовой кольцевой буфер» а ты потом мучайся и придумывай как это сделать…
А вот сейчас обидно было. Много вы знаете контор которые проектируют свои решения с учетом того, что скорость записи на диск на внутренних и внешних секторах разная?
«поиск по imsi за 1 сутки/месяц», по «IP и интервалу» это тривиальнейшая и банальнейшая задача. Просто вообще ниочем. Нормальные системы решают ее за сотые доли секунды, а не за десятки секунд.
А вот поискать по URL, да с маской, да за все 2 года, да по целой подсети… А потом ой это был IP гулового кеша…
Или найди цепочку звонков А-С-B…
К сожалению реальные задачи они несколько шире описанного в перзенташке.
50 ТБ на сервак… Это сколько сколько нам надо юнитов на пол-пета? А кто вам машзал на это выделит? Куда вы это монтировать будете, как питать? трехкратное резервирование данных???? Обоснуйте попробуйте мегафону зачем ему тратить 3х рублей если он может обойтись без резервирования и купить в ТРИ раза дешевле… Ему то как раз на сохранность данных — фиолетово.
И вообще откуда вы взяли цифру «коробочка с 96 дисками» то? 96 дисков по 12 терр это всего 1 петабайт грязными без учета запаса на hot-spare, redundancy и прочее… Там таких коробочек минимум 75 штук… а еще шкафы, коммутаторы и прочая ересь. А теперь мне покажите сколько будет стоить сервер с 1 ПБ DDR4 на борту и сколько это будет занимать юнитов? И обеспечит ли этот сервер аптайм несколько лет…