Comments 182
UFO just landed and posted this here
Особенно доставляет с учётом этого:
суммарный трафик «Мегафона» в несколько десятков раз превышает объём поставки
И никто ведь не думает, что «Мегафон» достанет их из своей прибыли или ему кто-то поможет с такими расходами… Выплатим постепенным мы все, не только тестово =)
UFO just landed and posted this here
Да и «Купол» говорящее название.
Даже не на налоги, по факту на живые деньги, которые мы платим ща связь. Все сотовые операторы в последнее время либо повысили тарифы, либо отменили халявные опции, либо стало меньше услуг за те же деньги.
то-ли желязны то-ли хайнлайн «ну вы же платите налоги, вот мы вас на их и раскрутим»
Ну вот и нашлись бенефициары закона Яровой. Остается раскопать, кто конечный собственник Купола.
Тоже очень интересно.
Может кто-то умеет копнуть глубже?
Компания ООО «НАЦИОНАЛЬНЫЕ ТЕХНОЛОГИИ», полное наименование — «НАЦИОНАЛЬНЫЕ ТЕХНОЛОГИИ», ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ, зарегистрирована 9 октября 1997 года, по адресу — 127247, г. МОСКВА, ул. 800-ЛЕТИЯ МОСКВЫ, д. 4, корп. 2, пом. ПРАВЛЕНИЯ. Основной вид деятельности компании — деятельность в области стандартизации и метрологии
Организация ликвидирована 22 марта 2008 г.
Причина: ПРЕКРАЩЕНИЕ ДЕЯТЕЛЬНОСТИ ЮРИДИЧЕСКОГО ЛИЦА В СВЯЗИ С ИСКЛЮЧЕНИЕМ ИЗ ЕГРЮЛ НА ОСНОВАНИИ П.2 СТ.21.1 ФЕДЕРАЛЬНОГО ЗАКОНА ОТ 08.08.2001 №129-ФЗ
Может кто-то умеет копнуть глубже?
Фирма, ликвидированная 10 лет назад, осваивает миллиарды. Интриги, скандалы, расследования...
из проекта договора (см документацию) можно найти zachestnyibiznes.ru/company/ul/5177746148421_7703436097_OOO-NT Уставный капитал: 10 000,00 руб. дата регистрации 31.10.2017
Там ещё три учредителя: www.rusprofile.ru/egrul?ogrn=5177746148421, которые, видимо, решили объединиться именно под этот проект.
Не та компания. ИНН правильной: 7703436097
По словам Овчинникова, со стороны «Ростеха» проект реализуется концерном «Автоматика», а со стороны НКК — дочерней компанией «КГС Групп». 31 октября этого года было зарегистрировано ООО «Национальные технологии». 51% компании принадлежит концерну «Автоматика», а 49% — «КНС Групп», согласно данным «СПАРК-Интерфакса». Руководителем «Национальных технологий» стал бывший заместитель гендиректора Национального центра информатизации и экс-IT-директор «Мегафона» Константин Юнов. Согласно сообщению пресс-службы «Ростеха», СП создано для совместной реализации комплексных технологических проектов.
очередной попил или тупизна менеджмента?
даже если удастся закупить пару «отечественных» шкафов сегодня, уже понятно, что завтра power8 купить под санкциями уже не выйдет. зачем вообще собирать «ответственные» шкафы на сугубо американских и давно уже вымерших ibm архитектурах? почему бы не собрать стандартный для индустрии хадуп на обычном ширпотребе, у которого и возможности из другой вселенной и санкции нипочем.
даже если удастся закупить пару «отечественных» шкафов сегодня, уже понятно, что завтра power8 купить под санкциями уже не выйдет. зачем вообще собирать «ответственные» шкафы на сугубо американских и давно уже вымерших ibm архитектурах? почему бы не собрать стандартный для индустрии хадуп на обычном ширпотребе, у которого и возможности из другой вселенной и санкции нипочем.
Пофантазирую на эту тему — Потому что лежат мертвым грузом, а надо куда-то сбыть =).
А обещали пофантазировать…
А у меня разыгравается фантазия на типоразмер «2 (два) RU» — видится какой-то Дядя Вася лабающий подсобным инструментом 19' стойки…
Будет прикол, если, действительно введут законодательно типоразмер «RU» вместо «U»- в лучшем случае треп… (RU соотвествует U? а нафига сущности плодить? или это страна происхождения проката для штампофки профилей? ) но для HARD ONLY версии: надо-бы тогда и размер корзины поменять, (молюсь что в сторону увеличения) — хочешь поставить «мировой шерпотрёп» в наш ящик — купи переходники… пропорцию можно взять из анекдота про ширину колеи железной дороги (анекдот) — вот это импортновзамещение, а не наклейки печатать,
Ты хотя бы представляешь себе примерно с точностью до 2х порядков производительность хадупа и требуемую производительность этой шарманки? «на обычном ширпотребе» с армией мальчиков-зайчиков которые будут бегать и менять «ширпотребные» винты?
И потом это всего лишь хранилка, там еще шкаф оборудования декодирования, приема и организации данных. Ибо 200 гигабит/секунду с предельным временем отклика 10мс и 24/7 throughput это вам не хадуп и не ширпотреб.
Для ориентировки пока «ширпотребные» не тянут по скорости, времени отклика да и пропускную способность обеспечить не могут (чтобы не занимать при этом больше 2х шкафов)
И потом это всего лишь хранилка, там еще шкаф оборудования декодирования, приема и организации данных. Ибо 200 гигабит/секунду с предельным временем отклика 10мс и 24/7 throughput это вам не хадуп и не ширпотреб.
Для ориентировки пока «ширпотребные» не тянут по скорости, времени отклика да и пропускную способность обеспечить не могут (чтобы не занимать при этом больше 2х шкафов)
да, представляю. куда там шкафчику с 96 дисками до того, с чем я имею дело на хадупе каждый день? там нужна throughput, а не отклик. на 96 дисках это курам насмех за миллиард. плюс что эта куцая и примитивная коробка будет делать, когда придет запрос на инфу? лампочками мигать? нахера этот примитив, если закон требует не тупой HDD с лампочкой, а полноценную систему, которая запрошенную инфу отфильтровать сможет.
опять же, а что там с реданденси? все в одной стойке, без репликации? что за клоунада?
опять же, а что там с реданденси? все в одной стойке, без репликации? что за клоунада?
Отвечаю:
Устройство съема и декодирования трафика работает на скорости 40 гигабит секунду. Или 5 гибибайт в секунду. Задержка в 1 секунду на запись данных требует минимум 10 гигабайтного буфера на отправляющей стороне тупо чтобы сгладить эту задержку. А также буферизация требуется на коммутируемый протокол на базе TCP ибо точки съема трафика и датацентр с хранилищами ни разу ни рядом, и так далее и тому подобное. В итоге у нас только на буфера сетевые для отправки улетает десятки гигабайт ОЗУ. Причем это на «смешные 40 гигабит».
Потом упомянутый тут Купол — это лишь большой и кстати довольно неудобный жесткий диск. Про остальную часть системы в статье ни слова.
Как раз про ту что аггрегирует, переупорядочивает, индексирует, ищет достает.
Реданданси? Репликация? Вы тут вайдосите что вам тарифы в разы поднимут… Давайте мы еще фактор репликации 3 введем… что бы уж наверняка?
Если вы мне не дай боже на хадупе… в рамках скажем 12 серверов класса HP gen9 с полками в паре шкафов сможете записать 20 миллионов одновременных потоков, приходящих фрагментами в лучшем случае по полтора килобайта с общей скоростью 5 гигабайт в секунду, с длительностью потоков до нескольких часов, а то и суток…
К слову сказать это если в лоб — примерно 3 миллиона IOPS при размере запроса 1,5 кб… и латентности 0,3 микросекунды.
И не просто записать, а еще и проиндексировать так чтобы потом найти в этих петабайтах любой поток по ключу не медленнее чем за пару секунд, а потом извлечь его хотябы в 10 раз быстрее чем он был записан… Все это на фоне текущей записи, гарантируя стабильное летенси скажем на 64 мегабайтный блок на запись хотя бы секунда… А реданданси ну хотя бы аналогичный Raid6…
Откровенно дурной протокол, указанный в нормативке, который просто не предназначен для кластерной архтектуры, а также проблемы вида «точка съема трафика у нас во Владивостоке, а датацентр с хранилкой в подмосковье» мы это пока оставим за скобками.
Вообщем, если вы это сделаете на хадупе ну или хотя бы на более подходящем для этого ceph… тогда у меня сразу есть для вас job-offer.
З.Ы. извиняюсь за некоторый сумбур в формулировках
Устройство съема и декодирования трафика работает на скорости 40 гигабит секунду. Или 5 гибибайт в секунду. Задержка в 1 секунду на запись данных требует минимум 10 гигабайтного буфера на отправляющей стороне тупо чтобы сгладить эту задержку. А также буферизация требуется на коммутируемый протокол на базе TCP ибо точки съема трафика и датацентр с хранилищами ни разу ни рядом, и так далее и тому подобное. В итоге у нас только на буфера сетевые для отправки улетает десятки гигабайт ОЗУ. Причем это на «смешные 40 гигабит».
Потом упомянутый тут Купол — это лишь большой и кстати довольно неудобный жесткий диск. Про остальную часть системы в статье ни слова.
Как раз про ту что аггрегирует, переупорядочивает, индексирует, ищет достает.
Реданданси? Репликация? Вы тут вайдосите что вам тарифы в разы поднимут… Давайте мы еще фактор репликации 3 введем… что бы уж наверняка?
Если вы мне не дай боже на хадупе… в рамках скажем 12 серверов класса HP gen9 с полками в паре шкафов сможете записать 20 миллионов одновременных потоков, приходящих фрагментами в лучшем случае по полтора килобайта с общей скоростью 5 гигабайт в секунду, с длительностью потоков до нескольких часов, а то и суток…
К слову сказать это если в лоб — примерно 3 миллиона IOPS при размере запроса 1,5 кб… и латентности 0,3 микросекунды.
И не просто записать, а еще и проиндексировать так чтобы потом найти в этих петабайтах любой поток по ключу не медленнее чем за пару секунд, а потом извлечь его хотябы в 10 раз быстрее чем он был записан… Все это на фоне текущей записи, гарантируя стабильное летенси скажем на 64 мегабайтный блок на запись хотя бы секунда… А реданданси ну хотя бы аналогичный Raid6…
Откровенно дурной протокол, указанный в нормативке, который просто не предназначен для кластерной архтектуры, а также проблемы вида «точка съема трафика у нас во Владивостоке, а датацентр с хранилкой в подмосковье» мы это пока оставим за скобками.
Вообщем, если вы это сделаете на хадупе ну или хотя бы на более подходящем для этого ceph… тогда у меня сразу есть для вас job-offer.
З.Ы. извиняюсь за некоторый сумбур в формулировках
у них задача хранить архив под закон яровой, а не снимать живой трафик. посмотрите как люди делают СОРМ-3, почти у всех архив в хадупе и понятно, что на хадупе нет у них там никаких индексов.
ЭЭЭ… А назовите ка мне хоть одну реализацию СОРМ-3 на хадупе? Желательно еще не для голоса, а для ПД у которых архив интернет статистики за 2 года лежит в хадупе и которые выполняют требования 583 приказа по скорости извлечения этих данных из этого архива… Хорошо бы если бы он был «коммерческим».
Это не «архив под закон Яровой» из этого «архива» надо данные извлекать со скоростью хотя бы 1 поток за секунду найти, а потом за пару секунд прочитать.
Это не «архив под закон Яровой» из этого «архива» надо данные извлекать со скоростью хотя бы 1 поток за секунду найти, а потом за пару секунд прочитать.
www.osp.ru/netcat_files/userfiles/Hadoop_2015/hadoop-2015Ermakov.pdf
за млрд рублей там петабайты памяти будут, какой-нить спарк весь архив в памяти мог бы держать, обеспечивая нормальное реданденси. собирать из протухших от старости американских запчастей примитивную коробку которая ничего не умеет, нет никакого смысла. вообще. ширпотреб 2-4Тб DDR4 ставить можно, куда там по скоростям коробченке с 96 дисками
за млрд рублей там петабайты памяти будут, какой-нить спарк весь архив в памяти мог бы держать, обеспечивая нормальное реданденси. собирать из протухших от старости американских запчастей примитивную коробку которая ничего не умеет, нет никакого смысла. вообще. ширпотреб 2-4Тб DDR4 ставить можно, куда там по скоростям коробченке с 96 дисками
Pivotal Забавно… они оказывается СОРМ-3 делают… архитектура интересная… просто чудесная… прямо эталон так сказать… как НЕ надо делать СОРМ-3.
50 ТБ на сервак… Это сколько сколько нам надо юнитов на пол-пета? А кто вам машзал на это выделит? Куда вы это монтировать будете, как питать? трехкратное резервирование данных???? Обоснуйте попробуйте мегафону зачем ему тратить 3х рублей если он может обойтись без резервирования и купить в ТРИ раза дешевле… Ему то как раз на сохранность данных — фиолетово.
И вообще откуда вы взяли цифру «коробочка с 96 дисками» то? 96 дисков по 12 терр это всего 1 петабайт грязными без учета запаса на hot-spare, redundancy и прочее… Там таких коробочек минимум 75 штук… а еще шкафы, коммутаторы и прочая ересь. А теперь мне покажите сколько будет стоить сервер с 1 ПБ DDR4 на борту и сколько это будет занимать юнитов? И обеспечит ли этот сервер аптайм несколько лет…
50 ТБ на сервак… Это сколько сколько нам надо юнитов на пол-пета? А кто вам машзал на это выделит? Куда вы это монтировать будете, как питать? трехкратное резервирование данных???? Обоснуйте попробуйте мегафону зачем ему тратить 3х рублей если он может обойтись без резервирования и купить в ТРИ раза дешевле… Ему то как раз на сохранность данных — фиолетово.
И вообще откуда вы взяли цифру «коробочка с 96 дисками» то? 96 дисков по 12 терр это всего 1 петабайт грязными без учета запаса на hot-spare, redundancy и прочее… Там таких коробочек минимум 75 штук… а еще шкафы, коммутаторы и прочая ересь. А теперь мне покажите сколько будет стоить сервер с 1 ПБ DDR4 на борту и сколько это будет занимать юнитов? И обеспечит ли этот сервер аптайм несколько лет…
какой машзал? в презенташке конфиг на бюджет в $100. там 16 ядер и 64 гб рам. понятно что с $15 млн нода будет порядка 60-70 ядер, 2 Тб рам и горы, огромные горы SSD. ширпотребный тредрипер это 72 ядра и 16 слотов памяти в 2U коробочке. вот и сравнивай.
что такое «трехкратное резервирование данных????» и откуда оно взялось?
Там чуть выше в комментах был сарказм, видимо ноги растут оттуда
Реданданси? Репликация? Вы тут вайдосите что вам тарифы в разы поднимут… Давайте мы еще фактор репликации 3 введем… что бы уж наверняка?
Ну я вот тоже не понял, был ли это сарказм, или кто-то не в курсе, что фактор на хадупе регулируется, и можно сделать 1 (вот меньше, увы, нельзя ;), ну и потом, если оно реплицированное, то вообще говоря, это значит что мы даром можем улучшить параллелизм, запустив обработку на трех узлах… Правда, сразу возникает вопрос, а будет ли вообще кто-нибудь эти данные хоть когда-нибудь читать? :)
В общем, тут много тонкостей, и я бы не стал смеяться над фактором репликации, не подсчитав хоть на пальцах, что получится.
В общем, тут много тонкостей, и я бы не стал смеяться над фактором репликации, не подсчитав хоть на пальцах, что получится.
Именно это был сарказм :)
Увы, я не смеюсь над фактором репликации и да то что 3 реплики лучше чем 6 рейд, и какой это может дать профит на чтение (а так же какие недостатки мы поимеем на записи) я прекрасно знаю.
Проблема в том что фактор цены тут имеет определяющее значение.
Как я сказал оператор покупает систему которая не монетизируется, а еще ее эксплуатация жрет электричество и холод что тоже не бесплатно — он не заинтересован в надежности и скорости работы этой системы.
На самом деле в системе борются за каждый процент накладных расходов. У нас тут были крайне жаркие дискуссии между двумя решениями — одно требовало 3% места на диске на технологические нужды, другое 1%… Первое помедленнее, но способно работать на всем где можно нарезать ext4. Второе быстрее на порядок, но работает с дисками на низком уровне. Победило то, которое 3% за счет того что оно сможет работать с Куполом, но со скрипом. Так что ни про какие факторы репликации 3 (да хотя бы просто зеркало) мы даже не мечтаем.
Увы, я не смеюсь над фактором репликации и да то что 3 реплики лучше чем 6 рейд, и какой это может дать профит на чтение (а так же какие недостатки мы поимеем на записи) я прекрасно знаю.
Проблема в том что фактор цены тут имеет определяющее значение.
Как я сказал оператор покупает систему которая не монетизируется, а еще ее эксплуатация жрет электричество и холод что тоже не бесплатно — он не заинтересован в надежности и скорости работы этой системы.
На самом деле в системе борются за каждый процент накладных расходов. У нас тут были крайне жаркие дискуссии между двумя решениями — одно требовало 3% места на диске на технологические нужды, другое 1%… Первое помедленнее, но способно работать на всем где можно нарезать ext4. Второе быстрее на порядок, но работает с дисками на низком уровне. Победило то, которое 3% за счет того что оно сможет работать с Куполом, но со скрипом. Так что ни про какие факторы репликации 3 (да хотя бы просто зеркало) мы даже не мечтаем.
Не заинтересован в надежности и скорости… вот-вот. Я бы больше сказал — никто не способен контролировать надежность и результативность работы такой системы. Ни спецслужбы, ни оператор. По самым грубым прикидкам 99.99% данных, которые оператор должен хранить, никогда не потребуются. А из остального примерно 99% еще зашифрованы, или непригодны для поиска. Т.е. упрощенно, если мы будем сразу 99% данных удалять, заполняя диски белым шумом — этого возможно вообще никто не заметит. Это не банк, и реконсиляцию провести не с чем.
В таком случае я тоже не понимаю, зачем вообще такое хранилище, как тут описано, и почему не рассматриваются варианты дешевле? Потому что заказчик требует невозможного?
Да, возможно это уже десять раз обсудили — я не исключаю, дискуссия уже получилась длинная, может что и пропустил. В двух словах, если не лениво?
В таком случае я тоже не понимаю, зачем вообще такое хранилище, как тут описано, и почему не рассматриваются варианты дешевле? Потому что заказчик требует невозможного?
Да, возможно это уже десять раз обсудили — я не исключаю, дискуссия уже получилась длинная, может что и пропустил. В двух словах, если не лениво?
Что значит «дешевле»? Проблема в том, что да, не считая тестовых утилит, проверяющих «полноту» и постоянно читающих часть данных, в реальных условиях хорошо если прочитают 1% или даже 0,1%. Вот только никто не знает какой именно 1% понадобится. Поэтому и будем писать все.
Почему еще? потому что могие вещи нужны постфактум для расследования.
Беда многих участвующих в дисскуссии в том, что они отталкиваются от тезиса: «ФСБ хотят следить за всеми, а это не возможно». И они правы в невозможности, но сам тезис не верен. Спец службы желают постфактум получить содержимое потоков по вполне конкретным поисковым запросам. Зачем им это — не знаю. Вероятно существуют какие то методики, веротно не нужно декодированное содержимое, а достаточно факта самого наличия потока шифрованного — не знаю.
Но кстати не 99% шифрованого… процентов 70. из которых очень многое или ненужные сайтики типа ленты или соцсети, которых можно принудить к сливу ключей.
А если писать весь трафик — то так примерно и выходит просто тупо из за цены винтов, и различного инженерного оборудования вокруг.
Почему еще? потому что могие вещи нужны постфактум для расследования.
Беда многих участвующих в дисскуссии в том, что они отталкиваются от тезиса: «ФСБ хотят следить за всеми, а это не возможно». И они правы в невозможности, но сам тезис не верен. Спец службы желают постфактум получить содержимое потоков по вполне конкретным поисковым запросам. Зачем им это — не знаю. Вероятно существуют какие то методики, веротно не нужно декодированное содержимое, а достаточно факта самого наличия потока шифрованного — не знаю.
Но кстати не 99% шифрованого… процентов 70. из которых очень многое или ненужные сайтики типа ленты или соцсети, которых можно принудить к сливу ключей.
А если писать весь трафик — то так примерно и выходит просто тупо из за цены винтов, и различного инженерного оборудования вокруг.
И во всей этой ереси в документе один ключевой момент, на 20 слайде он:
«поиск по imsi за 1 сутки/месяц», по «IP и интервалу» это тривиальнейшая и банальнейшая задача. Просто вообще ниочем. Нормальные системы решают ее за сотые доли секунды, а не за десятки секунд.
А вот поискать по URL, да с маской, да за все 2 года, да по целой подсети… А потом ой это был IP гулового кеша…
Или найди цепочку звонков А-С-B…
К сожалению реальные задачи они несколько шире описанного в перзенташке.
«поиск по imsi за 1 сутки/месяц», по «IP и интервалу» это тривиальнейшая и банальнейшая задача. Просто вообще ниочем. Нормальные системы решают ее за сотые доли секунды, а не за десятки секунд.
А вот поискать по URL, да с маской, да за все 2 года, да по целой подсети… А потом ой это был IP гулового кеша…
Или найди цепочку звонков А-С-B…
К сожалению реальные задачи они несколько шире описанного в перзенташке.
к сожалению реально у тебя нет базовых знаний по теме. «нормальные системы» это рсубд, которые вынуждены использовать петабайты на индексы, что бы найти что либо за доли секунды. соответственно все что не в индексе — финиш. то что описано в презенташки — хадуп, он целиком партицию за эти пару секунд вычитывает, не то что цепочку, он что угодно просчитать может подняв данные со всей партиции. причем сторидж в презенташке менее чем за $100k гарантирует нормальное реданденси и дает эту скорость на механических HDD с крошечным 64гб кэшем. у нас речь идет о бюджете в $15 млн, т.е. горы SSD и почти весь архив в памяти. с таким бюджетом хадуп запросто брутфорсом будет успевать расшифровывать SSL трафик
Конечно у меня даже базовых знаний нет :)) совсем вообще…
Данные со всей партиции… пол петабайта за 10 секунд, грепом… Ага плавали… знаем…
Мы не забываем же что при этом должна одновременно выполняться сотня запросов?
Цепочку он поднимет… по номерам телефонов из которых известно только последний пяток цифр… и то не достоверно…
Вот к сожалению из за таких вот знатоков — теоретиков у нас и появляются иногда дебильные законы из серии «а давайте в ситилинке купим 4 террабайтные диски и забацаем на них 12 часовой кольцевой буфер» а ты потом мучайся и придумывай как это сделать…
Данные со всей партиции… пол петабайта за 10 секунд, грепом… Ага плавали… знаем…
Мы не забываем же что при этом должна одновременно выполняться сотня запросов?
Цепочку он поднимет… по номерам телефонов из которых известно только последний пяток цифр… и то не достоверно…
Вот к сожалению из за таких вот знатоков — теоретиков у нас и появляются иногда дебильные законы из серии «а давайте в ситилинке купим 4 террабайтные диски и забацаем на них 12 часовой кольцевой буфер» а ты потом мучайся и придумывай как это сделать…
Цепочку он поднимет… по номерам телефонов из которых известно только последний пяток цифр… и то не достоверно…
Простите, что вмешиваюсь (ваш спор очень интересный) но относительно цепочки — это смотря что именно оно будет писать.
именно… поэтому я и говорю — подходы есть, и зачастую очень непростые и ни разу не тривиальные.
А не вот так вот с наскоку в лоб «хадуп — что угодно посчитает».
Вот если данные правильно готовить до записи — то и хадуп становится совсем не нужным.
А не вот так вот с наскоку в лоб «хадуп — что угодно посчитает».
Вот если данные правильно готовить до записи — то и хадуп становится совсем не нужным.
подходы есть, и зачастую очень непростые и ни разу не тривиальные.
[...]
Вот если данные правильно готовить до записи — то и хадуп становится совсем не нужным.
Я понимаю, о чем именно вы говорите, и согласен.
а теперь расскажи на кой готовить эти данные если к ним нужен оракл ЕЕ с партишенингом и сторидж за $15 млн с ножным… простите механическим приводом?
хадуп в лоб становиться нужным, что бы не тратить $15 млн на устаревшие Power8 и механические HDD, а тратить на что-то вменяемое и совремнное, пусть и из ширпотребного сегмента. при этом иметь нормальную реданденси, мониторинг, начиная с подсчетов счетчиков на входящие данныне
хадуп в лоб становиться нужным, что бы не тратить $15 млн на устаревшие Power8 и механические HDD, а тратить на что-то вменяемое и совремнное, пусть и из ширпотребного сегмента. при этом иметь нормальную реданденси, мониторинг, начиная с подсчетов счетчиков на входящие данныне
Какой Оракл ЕЕ? С каким партишенингом? ты вообще о чем?
Нет там его. Совсем другие вещи используются.
А ширпотребные сегмент… ты время реакции на выход оборудования из строя себе представляешь? Пока вся бюрократия пройдет, пока запрет на работы снимут… Оно тупо не должно ломаться. А так даже дешевая коммуникационная стойка вместо нормального шкафа под дисковыми полками — и даже энтерпрайз винты сыпятся как семечки.
Нет там его. Совсем другие вещи используются.
А ширпотребные сегмент… ты время реакции на выход оборудования из строя себе представляешь? Пока вся бюрократия пройдет, пока запрет на работы снимут… Оно тупо не должно ломаться. А так даже дешевая коммуникационная стойка вместо нормального шкафа под дисковыми полками — и даже энтерпрайз винты сыпятся как семечки.
и даже энтерпрайз винты сыпятся как семечки.Вспомнилась мне даная публикация = Громкий звук системы пожаротушения вывел из строя диски в дата-центре Nasdaq
да, пол петабайта за 10 секунд. да, таких запросов тысячи. так бигдата и работает. да, потому и сворачивают аналитику на рсубд, переводят на кластера хадупа. ты тупо не имеешь базовых представлений о hdfs и как с него кластер данные поднимает.
но это на бигдате, а тут почти все в память уместиться, при бюджете $15 млн, SSD просто простаивать будут.
но это на бигдате, а тут почти все в память уместиться, при бюджете $15 млн, SSD просто простаивать будут.
Давай еще раз посчитаем… С хорошего диска в идеальных условиях на внешних секторах поднимем ну пусть 200МБ/с… за 10 секунд мы с него заберем 2ГБ чтобы поднять 500 000 ГБ (пол пета) нам понадобится 250 тысяч шпинделей… Пускай возьмем мидлайн сегмент LFF ных дисков… стоимость диска на 4ТБ пускай 500$
Итого: 125 млн долларов на одни только диски чтобы это прочитать с такой скоростью в идеальных ситуациях… без реданданси, последовательное чтение, на внешних секторах…
Тут как то SSD дисками то не пахнет.
Кстати на сайте HP 2ТБ SSD диск Mixed use c трехлетней гарантией — $2300… 60 петабайт это 30 тысяч таких дисков… или $69 млн только на диски. Вы еще настаиваете что Купол дорогой и все можно было сделать на SSD?
Итого: 125 млн долларов на одни только диски чтобы это прочитать с такой скоростью в идеальных ситуациях… без реданданси, последовательное чтение, на внешних секторах…
Тут как то SSD дисками то не пахнет.
Кстати на сайте HP 2ТБ SSD диск Mixed use c трехлетней гарантией — $2300… 60 петабайт это 30 тысяч таких дисков… или $69 млн только на диски. Вы еще настаиваете что Купол дорогой и все можно было сделать на SSD?
samsung evo 850 4Tb ssd с 5 лет гарантией стоит порядка $1100, чтение 500 Mb/s. эти лапти заплатили $15 млн за тупой сторидж 6ПТ, вот и считай. SSD тагого объема потянут лишь на $2 млн. да хадупу надо будет репликейшен фактор 3-4, но на итог это мало скажется, т.к. не хранит индексы и упаковка много эффективней. т.е. на хадупе, который далеко не тупой сторидж, решение бы запросто уместилось в $3-5 млн с гигантским запасом по дискам. причем SSD дискам.
samsung evo 850
Сейчас бы железки уровня «для дома для семьи» в хай-энд энтерпрайзные решения под огромные нагрузки ставить.
Коллега, вы читать умеете?
Где тут 6 ПБ? В статье речь про 62 ПБ так что не $2 млн, а все $20…
Какой Samsung Evo? да вам сам мегафон это решение зарубит на корню с такими дисками. Ибо эксплуатантами будут являться они и за всех мальчиков зайчиков которые будут все это менять платить тоже будут они.
Какая 5 летняя гарантия? Для бытового использования? Тут даже не энтерпрайзные нагрузки… Тут просто 24/7 без пауз и передышек.
С помощью этой системы «Мегафон» может хранить около 100 петабайт данных (62,6 ПБ в московском дата-центре).
Где тут 6 ПБ? В статье речь про 62 ПБ так что не $2 млн, а все $20…
Какой Samsung Evo? да вам сам мегафон это решение зарубит на корню с такими дисками. Ибо эксплуатантами будут являться они и за всех мальчиков зайчиков которые будут все это менять платить тоже будут они.
Какая 5 летняя гарантия? Для бытового использования? Тут даже не энтерпрайзные нагрузки… Тут просто 24/7 без пауз и передышек.
к чему эта клоунада? так сложно открыть документ тендера и посмотреть сколько закуплено на тот млрд? на млрд они купили 6 стоек по 96 дисков, диски по 12 тб.
все датацентры гугла и амазона живут на ширпотреб дисках, статистика отказов публикуется и доступна. разницы с ентерпрайз гугл не видит, но даже ентерпрайз SSD диски 1.5-2 раза дороже. ну будет не $2 млн, а $4 млн. все равно во многие разы дешевле купола
все датацентры гугла и амазона живут на ширпотреб дисках, статистика отказов публикуется и доступна. разницы с ентерпрайз гугл не видит, но даже ентерпрайз SSD диски 1.5-2 раза дороже. ну будет не $2 млн, а $4 млн. все равно во многие разы дешевле купола
Какая клоунада? вы вообще о чем? В отличие от вас я знаю не только чего и сколько закупили, но и где, как, куда и чем должно быть смонтировано. А так же какие требования предъявляются к ТТХ СХД.
разницы с ентерпрайз гугл не видитотлично я прямо сейчас побегу в мегафон и сообщу им сию радостную весть. Разницы гугол не видит. А ничего что у него совсем другая удельная нагрузка на этот самый ССД диск? И вообще другой профиль чтение/запись?
чувак, ну сходи по ссылке
zakupki.gov.ru/223/purchase/public/purchase/info/documents.html?regNumber=31806451184
ознакомься что закуплено на тот млрд
zakupki.gov.ru/223/purchase/public/purchase/info/documents.html?regNumber=31806451184
ознакомься что закуплено на тот млрд
Вот не поленился сходил, подумал «ну мало ли распиливают, а я не в курсе» и что мы видим?
drive.google.com/open?id=1PpnE6erT8i9or6xlTQ9kZobnDs70livE"
64 (китайских) Петабайта за 537 млн рублей что по курсу 60 р/$ грубо — $9 млн
Ну тоесть никак не 6 ПБ за миллиард.
drive.google.com/open?id=1PpnE6erT8i9or6xlTQ9kZobnDs70livE"
64 (китайских) Петабайта за 537 млн рублей что по курсу 60 р/$ грубо — $9 млн
Ну тоесть никак не 6 ПБ за миллиард.
ну-ка посчитаем сколько нужно таких стораджей за $100k чтобы объем в 60 петабайт закрыть… сколько там в сторадже 200 ТБ?
60000/200= 300 стораджей х 100k = $30 млн долларов
это я еще юниты не считал из расчета пускай 1/4 юнита на каждый сервер… а еще между этими 300+ серверами сеть организовать… интерконнект, балансировку записываемых данных и прочая прочая прочая…
и кстати одной только статистики в сутки с 200 гигабит/с трафика будет примерно 2 ТБ — а совсем не 500ГБ. Как видите расчеты из этой презенташки уже трещат по швам.
60000/200= 300 стораджей х 100k = $30 млн долларов
это я еще юниты не считал из расчета пускай 1/4 юнита на каждый сервер… а еще между этими 300+ серверами сеть организовать… интерконнект, балансировку записываемых данных и прочая прочая прочая…
и кстати одной только статистики в сутки с 200 гигабит/с трафика будет примерно 2 ТБ — а совсем не 500ГБ. Как видите расчеты из этой презенташки уже трещат по швам.
сколько воткнешь, столько в сторидже и будет. у леново 15.36 TB ынтерпрайз ssd диски есть, стоят порядка $26k
lenovopress.com/lp0612-pm1633a-enterprise-capacity-12gb-sas-ssd
lenovopress.com/lp0612-pm1633a-enterprise-capacity-12gb-sas-ssd
Думаю наш спор стоит сворачивать. Точно такой же HDD 12 ТБ диск от HP стоит в 10 раз дешевле, а значит ваше решение будет в 10 раз дороже. Незнаю куда вы там собираетесь пихать сотню дисков и как обеспечивать коммутирование за 0$.
Но в тендере сумма не только за диски, но еще и за коммутационное и инженерное оборудование включая шкафы, стоимость работ по монтажу, доставке, поддержке и прочее.
Но это все мелочи — как я сказал я детально имею аналогичное по объему и характеристикам производительности решение… да оно дешевле Купола, но никак не в разы. И оно на обычных дисках а не на ССД. Но обладает рядом недостатков по сравнению с куполом (функциональность, энергопотребление, плотность хранения, масса) и не включает в себя услуг по поддержке этого хозяйства.
P.S. Если Вам интересна дискуссия по этому вопросу — то лучше в личку
Но в тендере сумма не только за диски, но еще и за коммутационное и инженерное оборудование включая шкафы, стоимость работ по монтажу, доставке, поддержке и прочее.
Но это все мелочи — как я сказал я детально имею аналогичное по объему и характеристикам производительности решение… да оно дешевле Купола, но никак не в разы. И оно на обычных дисках а не на ССД. Но обладает рядом недостатков по сравнению с куполом (функциональность, энергопотребление, плотность хранения, масса) и не включает в себя услуг по поддержке этого хозяйства.
P.S. Если Вам интересна дискуссия по этому вопросу — то лучше в личку
100 Gbit сетевые линки вполне уже доступны. 48 PCIe lanes по 16 Gbit на процессор тоже вполне доступны. Так что один камень в сервере-приемнике на сетевой upstream, второй запихивает поток в подсистему хранения. Одна 2U железка двухнодовая с учётом резервного узла...
Про обработчик данных в статье ни слова. Хранить чтобы тупо хранить это тупой слив бабла
Power8 — открытая архитектура, в отличие от Intel.
Может и так. Хотя тогда странно, что в посте указан именно продукта от ibm, а не другое что-то на вот этой архитектуре. Как ни крути, пахнет пиломатериалами.
Именно IBM Power8 или OpenPOWER? И что именно там открыто? Сможете заказать сами камни у китайцев / тайваньцев / корейцев?
Раньше IBM производила все POWER на своих заводах в пиндосии. И отчасти поэтому является основным поставщиком под тамошний гос заказ. Не просто так p и z линейки остались родными, а x продали ленивым
IBM POWER8 – это реализация OpenPOWER. Кто хочет, тот и может выпускать, по лицензии. В частности, китайская PowerCore Technology Corporation в городе-герое Сучжоу выпускает свои Power8.
Сама IBM, действительно, выпускает POWER в пиндосии.
x продали, потому что это была более срочная и более простая задача. По z давно идут переговоры с Hitachi, а p открыт для клонирования. Для IBM нет ничего хорошего в том, чтобы быть привязанной к правительству США с его заморочками, когда центр мирового производственного бизнеса находится в КНР, и они это прекрасно понимают.
Сама IBM, действительно, выпускает POWER в пиндосии.
x продали, потому что это была более срочная и более простая задача. По z давно идут переговоры с Hitachi, а p открыт для клонирования. Для IBM нет ничего хорошего в том, чтобы быть привязанной к правительству США с его заморочками, когда центр мирового производственного бизнеса находится в КНР, и они это прекрасно понимают.
А этот купол — точно не какой-нибудь Hitachi с переклеенной, как обычно, биркой?
Не Hitachi.
Наверняка noname на порядок дешевле.
Судя по характеристикам это http://yadro.com/products/tatlin.
+1
А у них и бложик на хабре есть habr.com/company/yadro
А надо-то было всего лишь слово «занавес» на «купол» заменить!
«Колпак» же. «Мы все под колпаком у Мюллера» (С)
Но название "Железный купол" уже занято
Не понимаю почему простые граждане (прямо или косвенно) должны страдать от решения государственных чиновников. То пол интернета заблокируют, то законы, в следствие исполнения которых стоимость коммуникаций повысится, введут. Эх…
Каждый народ имеет то правительство, которое он заслуживает.
Из письма (от 27 августа 1811 г.) посланника Сардинского королевства при русском дворе графа Жозефа де Местра (1753—1821).В этом письме граф писал своему правительству о новых законах, установленных императором Александром 1. Возможно, что сардинский посланник перефразировал известную фразу философа и просветителя Шарля Луи Монтескье из его сочинения «Дух законов»: «Каждый народ достоин своей участи».
Гражлане сами проголосовали за этих чиновников.
А что к 30 июня то? Мы вроде к 31 мая делаем.
Интересное предложение: «Комплекс СХД «Купол» создан 30 марта 2018 года». Типа ребята собрались в баре за кружечкой пивка и решили как освоить миллиарды на переклеивание шильдиков?
Почему не Эльбрус? Нет ну реально, импорта замещение, госбезопасность и т.п. и бац power.
скорость шины, сколько по ней транзакций в секунду? количество портов? приедет ли в случае чего инжынер из мсцт с блоком на замену? и… шишенка на торте: макетка сколько? а сдк есть?
зато в power е meltdown нет, и удаленного интелевского слежения/управления
И в эльбрусе нет ни meltdown, ни интеловского слежения.
есть. при этом патчей нет, и не будет. и на их мейнфремах meltdown во всей красе и без патчей
опс, интересно а в повер или эльбрусе, можна хоть аноним ссылку на пдф, для самообразования
Additional exploits for other architectures are also known to exist. These include IBM System Z, POWER8 (Big Endian and Little Endian), and POWER9 (Little Endian).
access.redhat.com/security/vulnerabilities/speculativeexecution
Three security vulnerabilities that allow unauthorized users to bypass the hardware barrier between applications and kernel memory have been made public. These vulnerabilities all make use of speculative execution to perform side-channel information disclosure attacks. The first two vulnerabilities, CVE-2017-5753 and CVE-2017- 5715, are collectively known as Spectre
www.ibm.com/blogs/psirt/potential-impact-processors-power-family
access.redhat.com/security/vulnerabilities/speculativeexecution
Three security vulnerabilities that allow unauthorized users to bypass the hardware barrier between applications and kernel memory have been made public. These vulnerabilities all make use of speculative execution to perform side-channel information disclosure attacks. The first two vulnerabilities, CVE-2017-5753 and CVE-2017- 5715, are collectively known as Spectre
www.ibm.com/blogs/psirt/potential-impact-processors-power-family
Еще один из вариантов получения взятки.
самый щикарный и общественно видимый вариант взятки — это реклама на федеральных каналов товаров и услуг для юр. рож: мне как физику" по барабану «транс трах нефть арматура» — их инженеры, логисты не смотрят телек в рабочее время — им работать надо: делаем рекламное агентсво, гламурная дива рекламирует нефтеарматуру — а что там через агентсво наснимали клипов с бюджетом в пол оборота компании — ну это тоже прибыль
И потом, рекламодатель зачем у нас рекламу даёт?..© Generation «П»
Теперь клиент хочет показать большим мужчинам, которые внимательно следят за происходящим на экране и в жизни, что он может взять и кинуть миллион долларов в мусорное ведро. Поэтому чем хуже его реклама, тем лучше.
Вот я тоже не понимал, нафига крымский мост рекламировали?
пока есть мерило богатства, найдутся те, кто хотят контролировать, и те кто хотят скрыть, ну это уже философия
apocaliptico humor: все боеголовки удачно поразили условные цели на полигоне Кура на Камчатке… если некоторые ну системы, по привычке «как с байконура» летят так же с Восточного, а не будет ли так, что все наши боеголовки поразят полигон Кура, на Камчатке, по привычке…
Я конечно дико извиняюсь. Но вот смотрю я на эти компании предлагающие комплексы под закон Яровой: а что у нас так много специалистов в этих областях? Запись, хранение, индексация и поиск по таким запредельным объемам не видицо мне такой простой задачей. Да чего там, даже анб не в курсе как и что искать по своими хранилищу, а тут якобы комплексы под ключ.
Второй момент: все так бодро рапортуют о готовности к внедрению. Помню встречал статьи, мб даже от мылору, о том что, например WD неспособны поставить такой объем дисков.
Ну и третий: ох нагнут они рубль, ох нагнут…
Второй момент: все так бодро рапортуют о готовности к внедрению. Помню встречал статьи, мб даже от мылору, о том что, например WD неспособны поставить такой объем дисков.
Ну и третий: ох нагнут они рубль, ох нагнут…
Кста, бро! WD отказался от HGST — ктото перекупил бузинес по высоконадежным хардам, основное требование- 80 лет хранения, второй вопрос, а как они срок годности определили? ещо столько лет не прошло…
а как «они» (кто это они) нагнут суверенную, неконвертируемую валюту? мне просто интересно, сорос продаст рубли? (колекционные, дорожают век от века) странное вангование
а как «они» (кто это они) нагнут суверенную, неконвертируемую валюту? мне просто интересно, сорос продаст рубли? (колекционные, дорожают век от века) странное вангование
Да есть несколько компаний, которым это под силу. И даже люди из них это реализующие присутствуют тут. На самом деле нет ничего сложного в реализации записи и поиска — технологий вагон. Тот же гугол, яндекс, всякие однокашники с фейсбуками — давно уже это делают и на подобных масштабах.
Реально проблема в том чтобы реализовать это на минимальном железе с минимальными затратами, ибо эта прелесть в отличае от гуглов и однокашников никоим образом не монетизируется. А так да — берем хадуп, какую нибудь монгу дб, строим пару датацентров чтобы разместить там гору дешевейшего ширпотребного железа… нанимаем пару взводов рабов чтобы это все чинить и менять и получаем профит…
Реально проблема в том чтобы реализовать это на минимальном железе с минимальными затратами, ибо эта прелесть в отличае от гуглов и однокашников никоим образом не монетизируется. А так да — берем хадуп, какую нибудь монгу дб, строим пару датацентров чтобы разместить там гору дешевейшего ширпотребного железа… нанимаем пару взводов рабов чтобы это все чинить и менять и получаем профит…
технологий вагон.
Поэтому практически всех кто работает с такими объемами включая АНБ понятия не имеют что с ними делать?)
всякие однокашники с фейсбуками — давно уже это делают и на подобных масштабах.
Ничего даже примерно похожего там нет. У у них у всех четко систематезированные данные, с совершенно определенными связями.
А так да — берем хадуп, какую нибудь монгу дб
Вот каждый раз такое слышу. И почему то таки люди втыкаются с разбегу в пень на поиске по серьезному объему.
Да ну нет. Технологии… не не так… Подходы к решению проблем поиска и анализа данных есть. И какие-то даже реализуются и работают.
Другой вопрос что ничего из «готового» как правило просто непригодно ну или приходиться использовать это либо очень «нестандартно», либо жесточайше тюнить.
А если вы воткнулись с разбегу в пень… ну значит вы взяли мало железа… даже если это уже измеряется машзалами :sarcasm:
Другой вопрос что ничего из «готового» как правило просто непригодно ну или приходиться использовать это либо очень «нестандартно», либо жесточайше тюнить.
А если вы воткнулись с разбегу в пень… ну значит вы взяли мало железа… даже если это уже измеряется машзалами :sarcasm:
Подходы к решению проблем поиска и анализа данных есть.
Согласен. Если в отношении определенного списка целей. Алгоритмов позволяющих выявить террористов методом анализа петабайтов данных просто нет. Тупые вещи типа «бомба 12 апреля» конечно не берем.
Ну конечно если предположить что хотя бы в теории, кто либо когда нибудь таки попытается использовать все это для поиска возможных террористов, во что я верю слабо.
Не все, не всегда, и не безразмерно можно отмасштабировать 8) это не все понимают.
Кроме того вот простейшая цепочка по предыдущему тезису:
— проводятся «оперативно роыскные предметы в отношении лица н»
— кроме поиска это подразумевает исключение данных из кольцевого буфера
— соответственно нужно еще одно хранилище пол эти задачи, а поскольку запросов таких немало, хранилище соответственного объема
— встает вопрос фрагментации
использовать это либо очень «нестандартно», либо жесточайше тюнить
так и вижу как в распил-конторах работают толпы людей знающих и умеющих очень нестандартные вещи и жесточайший тюнинг на объемах, которыми до селе оперировало всего десяток компаний в мире.
так и вижу как в распил-конторах работают толпы людей знающих и умеющих очень нестандартные вещи и жесточайший тюнинг на объемах, которыми до селе оперировало всего десяток компаний в мире
А вот сейчас обидно было. Много вы знаете контор которые проектируют свои решения с учетом того, что скорость записи на диск на внутренних и внешних секторах разная?
Почему обидно. Вы в распил конторе работаете? Или конкретно купол проектировали?
Зы при таком количестве шпинделей есть необходимость в таких вещах?
Зы при таком количестве шпинделей есть необходимость в таких вещах?
Да необходимость есть — шпиндели шпинделями, но вот эффективное их использование, та же самая параллельная запись/чтение/удаление. Хотя проблемы начинаются уже на этапе как это все безобразие разместить и скоммутировать. Только на словах просто «мы как возьмем 96 дисков, да как распихаем»
Нет конкретно Купол я не проектировал, но коллеги из Ядра практически описывали тут его технологию. А вот остальное железо вокруг… И да Купол в его составе самая дорогая часть исключительно из за стоимости самого железа. Но технологически не самая сложная. Скажем так у нас есть собственное решение по хранению таких объемов, то есть можно было бы обойтись и без Купола, но все это только в теории. а на практике трудности начнутся уже просто при попытке купить необходимое количество дисков… доставить, смонтировать, спроектировать инженерное окружение, обслуживать это добро, менять и так далее и т.п. Почему про это все забывают?
Нет конкретно Купол я не проектировал, но коллеги из Ядра практически описывали тут его технологию. А вот остальное железо вокруг… И да Купол в его составе самая дорогая часть исключительно из за стоимости самого железа. Но технологически не самая сложная. Скажем так у нас есть собственное решение по хранению таких объемов, то есть можно было бы обойтись и без Купола, но все это только в теории. а на практике трудности начнутся уже просто при попытке купить необходимое количество дисков… доставить, смонтировать, спроектировать инженерное окружение, обслуживать это добро, менять и так далее и т.п. Почему про это все забывают?
Тогда не пойму на что вы обижаетесь. Я как раз и говорю о том что бошкой в роспил конторах особо не думают, да это и не нужно. Они просто хотят достать пол-триллиона рублей и оделить.
о чем и речь.
удаление? сражу фрагментацию тогда до кучи в проблемы. А уж поиск то какой интересный будет.
и снова о чем и речь.
ну те кто смотрит со стороны просто не представляют масштабов катастрофы. А те кто смотрит изнутри считает бабло
Хотя проблемы начинаются уже на этапе как это все безобразие разместить и скоммутировать
о чем и речь.
запись/чтение/удаление.
удаление? сражу фрагментацию тогда до кучи в проблемы. А уж поиск то какой интересный будет.
просто при попытке купить необходимое количество дисков
и снова о чем и речь.
Почему про это все забывают?
ну те кто смотрит со стороны просто не представляют масштабов катастрофы. А те кто смотрит изнутри считает бабло
удаление? сражу фрагментацию тогда до кучи в проблемы. А уж поиск то какой интересный будет.
Да решено уже все: и запись, и чтение, и поиск и без фрагментации и быстро. Говорю же — там Купол только большой тупой жесткий диск, вершинка айсберга.
Да решено уже все:
Я дико извиняюсь, А почему я тогда читаю что тот же фейсбук предпочитает не удалять вообще ничего чем бороться с фрагментацией.
И почему даже спецы из АНБ пишут что поиск значимых данных по таким объемам задача из области фантастики?
Да потому, что другой режим записи и удаления. Здесь удаление выполняется не по конкретному объекту/пользователю а по интервалу времени «все за час».
А уж в АНБ как любят по ушам ездить.
А насчет поисков я отошлю вас к требованиям приказа 538. Комплекс выполняет их в полной мере.
А уж в АНБ как любят по ушам ездить.
А насчет поисков я отошлю вас к требованиям приказа 538. Комплекс выполняет их в полной мере.
А уж в АНБ как любят по ушам ездить.
А я вам не о той категории поиска говорю. Я вам говорю о поиске ЗНАЧИМОЙ для задачи информации (конечно мы говорим о терроре и иже с ними).
Да о чем вообще речь. С такими немеряными ресурсами можно порешить воровство маркированных изделий на корню. А авто с перебитыми номерами как ставили на учет так и дальше ставят.
На самом деле не соглашусь: воровство маркированых изделий решается более чем тривиально и с гораздо меньшими техническими ресурсами, и проблема не в железе, а в желании решить проблему. А вот этого увы нет. Например когда у меня сперли запаску — я конкретно следаку и отличительные признаки указал и номер перекупа дал… Но увы заинтересованности нет, а мне в итоге через страховку все сделать быстрее было.
Тоже самое с ворованными трубками — вычислить местоположение телефона — задача нескольких секунд… но тоже…
Тоже самое с ворованными трубками — вычислить местоположение телефона — задача нескольких секунд… но тоже…
ви таки не беспокойтесь госплан одного актера все просчитал — нужные специалисты уйдут в афилированные конторы, не нужные уйдут в евросеть, грамотные пойдут ярс програмировать, амбициозные свалят на запад. все при деле, это как собрать польский шкаф — нужно 4 человека, хотя хватило бы и одного — но в странах ВЭФ не должно было быть безработицы
Интересно, Мегафон уже объявил новую линейку тарифов, максимально дружественных пользователям этим вот расходам на слежку за пользователями безопасность граждан?
Откуда такие суммы, я как-то не очень понимаю. Но что тут имеет место отечественныйсамосбор кулибинг из чуть-чуть неотечественных компонентов (если скажут, что все проверили, я бы хотел посмотреть на их реверс-проверку прошивок для дисков, хотя бы) — это подозрение как-то имеет место быть.
Откуда такие суммы, я как-то не очень понимаю. Но что тут имеет место отечественный
там нужные параноики, сукины сыны, а свои
у билайна весело — 300 гб в мес, мне столько не надо! зато вы все время на связи! — на связи с кем? с голосовым помощником яндекса? так я и сам с собой говорю, я говорю с Богом, мне ещо больше воображаемых друзей не нужно, они за мной так не следят как контектсная реклама,
Любая сущность, а названии которой присутствует слово «национальный», ныне означает какую-то гнусность.
Причем в комплекте будет: тендер, слова, что враги теперь точно утрутся, затем внедряж (кто сказал "пилеж"?!), затем фейл, наказание невиновных и награждение неучавствоваших. А, ну и слова о вредительстве завистников.
Причем точно то же в обычной коммерческой упаковке продается сильно дешевле и работает легко и непринужденно.
« золотые» купола
«Патриотизм — последнее прибежище негодяя»
у меня на йоте тариф вместо 250р/мс стало 290. добавили конечно 40 минут. но я не думаю что это столько стоит.
Чудовищно. Такие гигантские мощности буквально в никуда, просто на ветер.
Какой там процент шифрованного трафика сегодня в интернете?
Какой там процент шифрованного трафика сегодня в интернете?
Довольно иронично что компания «Национальные технологии» производит системы для прослушки населения.
Недавно говорили, что у нас импортозамещение, все такое… Но «Национальные технологии» и это железо как-то совсем не вяжется. Да и куда такие мощности, аж жалко. Практически все зашифровано, зачем это всё хранить?
А можно узнать, что именно не вяжется? Если речь о жестких дисках — то их сейчас во всем мире 3 компании производящих диски, с представителями одной из них вчера мило пообщались.
Кроме дисков — там много вещей которые коллеги разрабатывают самостоятельно и даже частично производят самостоятельно. Насчет «а чего они остальное делают не у нас» — у нас до 90х отставание в радиоэлектронке было лет 10 если не двадцать, потом еще 25 лет на пользу тоже не пошли.
У нас в стране головастые люди которые могут прекрасно спроектировать что угодно, и даже произвести штучно… но увы массовых технологий нет и не будет пока хоть как то двигаться не начнем. Вот в Ростехе что-то производят или пытаются, в МСЦТ тоже что-то производят или пытаются… Но нет же мы будем их поливать грязью, называть распил конторами и прочее. А наши кодеры будут работать на гугл, боинг. Ну вот пока так будет — мы и будем сидеть в РЭА глубоко в…
Кроме дисков — там много вещей которые коллеги разрабатывают самостоятельно и даже частично производят самостоятельно. Насчет «а чего они остальное делают не у нас» — у нас до 90х отставание в радиоэлектронке было лет 10 если не двадцать, потом еще 25 лет на пользу тоже не пошли.
У нас в стране головастые люди которые могут прекрасно спроектировать что угодно, и даже произвести штучно… но увы массовых технологий нет и не будет пока хоть как то двигаться не начнем. Вот в Ростехе что-то производят или пытаются, в МСЦТ тоже что-то производят или пытаются… Но нет же мы будем их поливать грязью, называть распил конторами и прочее. А наши кодеры будут работать на гугл, боинг. Ну вот пока так будет — мы и будем сидеть в РЭА глубоко в…
А вы, надо полагать, жизнь предлагаете положить за копеечную зарплату и с подпиской о невыезде, пока дяди набивают свои карманы? Чтобы думать о производстве микроэлектроники, нужно начать вкладывать было 30 лет назад, и сегодня уже могли бы начинать думать (не производить я замечу)
Мы обычные комерсы и подписок о невыезде никаких у нас нет.
Допуск к сов. секретным сведениям и сведениям особой важности есть даже мало у кого в ВПК. Под него обычно подводят начальников отделов и выше.
И даже они спокойно ездят за границу — так как всячески стараются не эти самые сов. секретные документы на руки не брать, всяких стремных мест после которых появляется 5 лет невыезда — не посещать и в общем-то нормально живут, просто таскают в паспортный стол на одну бумажку больше. Ведь невыезд начинается не с момента получения формы допуска, а с момента самого ознакомления с документом.
Да и зарплата я бы не сказал что копеечная. По крайней мере в Москве.
И даже они спокойно ездят за границу — так как всячески стараются не эти самые сов. секретные документы на руки не брать, всяких стремных мест после которых появляется 5 лет невыезда — не посещать и в общем-то нормально живут, просто таскают в паспортный стол на одну бумажку больше. Ведь невыезд начинается не с момента получения формы допуска, а с момента самого ознакомления с документом.
Да и зарплата я бы не сказал что копеечная. По крайней мере в Москве.
По поводу зарплаты мне вспомнилось одно совещание, на котором я присутствовал году эдак в 2010. Там директор выяснял какого лешего отдел микроэлектроники не может породить нормально работающий камень и куда деваются зарплаты в 250 тыщ. Речь понятно шла от зарплатах руководителя этого отдела и всяческих лидов, но я не думаю что она в несколько раз выше чем у инженеров. То есть тыщ по 120-150 я думаю ребята зарабатывали — и это в 2010 году. Конечно в сравнении с доходами в кремниевой долине — это немного, но в рамках России — очень неплохо. Я тогда был сильно удивлен, потому что мой заработок в отделе бортовой авионики был гораздо скромнее, хотя по меркам того времени тоже неплохой.
У меня сотрудник был, оптик-конструктор по специальности. Самое шикарное предложение было от НПЗ: 3500 рублей в месяц и невыездной 3 года.
И зря кстати не думаете. По моему опыту именно так и есть.
И зря кстати не думаете. По моему опыту именно так и есть.
Это когда было? В 90е? Или Вы ноль забыли один?
Все ж зависит от того к какому периоду времени Ваш опыт относится.
Я, например, работаю в отрасли с 2006 года. Причем начинал с оборонки, собственно с нее почти все и начинают. Моя первая з/п, полставки, как студента-стажера составляла 17000. Когда выпустился в том же 2006 году — з/п стала составлять 40000. И по моим ощущениям года до 2014, то есть до известных событий — все было достаточно неплохо с точки зрения рынка труда. Сейчас все несколько печальнее.
Все ж зависит от того к какому периоду времени Ваш опыт относится.
Я, например, работаю в отрасли с 2006 года. Причем начинал с оборонки, собственно с нее почти все и начинают. Моя первая з/п, полставки, как студента-стажера составляла 17000. Когда выпустился в том же 2006 году — з/п стала составлять 40000. И по моим ощущениям года до 2014, то есть до известных событий — все было достаточно неплохо с точки зрения рынка труда. Сейчас все несколько печальнее.
и невыездной 3 года.
И что-то Вы либо не так помните, либо обманываете.
Нет таких сроков. Есть 5 лет, как для сов. секретных так и для особой важности.
Мб и 5, тут не ручаюсь.
Если мне память не изменяет, то в 2012. А что вы так удивляетесь? Может вам еще подсказать, что зп учителя начальных классов 11 тысяч рублей?
Вот сейчас пошел глянул «Слесарь-электрик по ремонту промышленного оборудования» — 20-25к рублей. Опыт от 3 лет. Прямо дико смешно. У нас хорошего специалиста такого профиля нужно с бубном искать по всему городу.
И поэтому вы предполагаете зп по 150 тысяч рублей?) Когда не каждый программист за мкадом получает хотя бы 50, а на рынок It давит общемировой.
ЗЫ почта россии, ведущий программист, 16 тысяч рублей…
Это когда было? В 90е? Или Вы ноль забыли один?
Если мне память не изменяет, то в 2012. А что вы так удивляетесь? Может вам еще подсказать, что зп учителя начальных классов 11 тысяч рублей?
Моя первая з/п, полставки, как студента-стажера составляла 17000. Когда выпустился в том же 2006 году — з/п стала составлять 40000.
Вот сейчас пошел глянул «Слесарь-электрик по ремонту промышленного оборудования» — 20-25к рублей. Опыт от 3 лет. Прямо дико смешно. У нас хорошего специалиста такого профиля нужно с бубном искать по всему городу.
Сейчас все несколько печальнее.
И поэтому вы предполагаете зп по 150 тысяч рублей?) Когда не каждый программист за мкадом получает хотя бы 50, а на рынок It давит общемировой.
ЗЫ почта россии, ведущий программист, 16 тысяч рублей…
И поэтому вы предполагаете зп по 150 тысяч рублей?) Когда не каждый программист за мкадом получает хотя бы 50, а на рынок It давит общемировой.
Ну во первых я где-то наверху написал, что говорю про Москву.
ЗЫ почта россии, ведущий программист, 16 тысяч рублей…
Какой программист — такой и доход.
Мне эти лычки ведущие/младшие/старшие ничего о квалификации специалиста не говорят.
«Слесарь-электрик по ремонту промышленного оборудования» — 20-25к рублей. Опыт от 3 лет.
Мы же вроде о микроэлектронике говорим — нет? А не о электриках-ремонтниках. Это несколько разные вещи.
У меня есть один знакомый электрик — он в квартирах электрику делает. С напарником. Доход у них на двоих — порядка 450 тысяч. Хорошие электрики с хорошим дорогим инструментом.
Хотя вот конкретно программистам за МКАД ничего не мешает зарабатывать (а не получать) столько же, сколько и внутри МКАД и в кремниевой долине.
Вот плюсую. Уже несколько лет вакансии С++ программистов не можем закрыть. Вилка 100-150т.р. территориально Нижний Новгород. Просто тупо нет нормальных самодостаточных программеров. Процентов 70 кандидатов, называющих себя с++ программистами и претендующих на оклад 100к валятся на вопросе «напишите функцию принимающую на вход список std::list и удаляющую из него элементы с четными значениями». А уж про какие то тонкости типа «порядок инициализации членов класса» или «чем реализация std::unordered_map отличается от std::map» я даже и не заикаюсь.
Ну я то имел в виду что у программистов масса возможностей для удаленной работы. Но раз им и на местах готовы платить — тем паче.
«напишите функцию принимающую на вход список std::list и удаляющую из него элементы с четными значениями»
Эм… даже я, никогда не писавший на с++, понимаю, что это простейший filter… есть в сях функции высшего порядка и генераторы списков? На том же Erlang это будет ровно одна строчка… хотя по уму, надо бы еще входные значения на корректность проверить.
И вот на этом сыплются??? Все настолько плохо?
Да какие функции высшего порядка, какие генераторы списков… Есть конечно в алгоритмах std::remove_if, но даже если ты его не помнишь — это элементарный обход списка итератором. Там единственный подвох — заранее ++ итератору сделать ибо после удаления развалится.
Ну о чем можно говорить с «с++ программистом» который не знает что такое итератор? И подчеркиваю это не зеленые студенты 1 курса… Это люди считающие что они достойны такого оклада…
Ну о чем можно говорить с «с++ программистом» который не знает что такое итератор? И подчеркиваю это не зеленые студенты 1 курса… Это люди считающие что они достойны такого оклада…
зачем это всё хранить?
З.Ы. а затем, чтобы другими оперативными мероприятиями добыть ключи и расшифровать… Гуглите про ОРИ — при наличие таких систем самим ОРИ не надо хранить содержимое ваших бесед, достаточно предоставить ключи шифрования.
Но частично я с вами согласен — есть решения более адекватные чем требуемые в законе. Например хранить только то что расшифровалось в виде объектов прикладного уровня+шифрованное. Фильтрация всякого говна от торентов и ютюбов до обновлений всяких операционок… Но увы…
другими оперативными мероприятиями добыть ключи и расшифроватьСтараниями Гугла везде работает новый (старше 2012 г.) стандарт SSL/TLS, в котором реализовано Perfect Forward Secrecy.
Это значит, сессионные ключи теряются после закрытия канала. Даже если предположить, что какой-нибудь Facebook.com сдаст ключи от SSL-сертификата домена (размечтались, разве что NSA он их сдаст), расшифровать всё равно ничего нельзя. Надо было с этими ключами раньше становиться в MitM и сохранять временный сессионный ключ.
Например хранить только то что расшифровалось в виде объектов прикладного уровня+шифрованноеЭтому активно противодействуют все, в рамках борьбы за сетевой нейтралитет, превращая трафик в зашифрованную UDP-помойку, где у пакетов нет ни заголовков, ни сигнатур.
Под «всеми» я подразумаваю и интернет-корпорации, тот же Гугл с его HTTP2/QUIC поверх UDP, так и писателей отдельных софтин. Например, в dc++ сеть DHT так сделана: только UDP, а пакет шифруется id ноды, которой этот пакет предназначен. Внешний наблюдатель будет видеть только UDP-мусор.
Борются, борются. И да трафик шифрованный и UDP помойка. А то что вы привели это всего лишь торренты и гугол. Если отсюда вычеркунуть всякие порно и видосики — останутся соцсети и различные ресурсы вроде того же хабра или яплакала. А вот они то и являются ОРИ и будут либо сами все хранить и предоставлять либо будут ходить по православным HTTPS и лить ключи (временные сессионные).
А то что вы привели это всего лишь торренты и гуголТо есть, если возвращаться к ОРИ и расшифровке, это весь трафик Андроида и десктопного Хрома (да я думаю, и firefox не сидит на ssl-библиотеках 5-летней давности). Который не расшифруешь, независимо о хотелок проводящих ОРИ — ключи физически утеряны. «Всего лишь», ага.
Если отсюда вычеркунуть всякие порно и видосики — останутся соцсети и различные ресурсы вроде того же хабра или яплакалаВы хотите исключить всю UDP-помойку из хранения? Это большинство голосовых мессенджеров. От торрентов вы их никак не отделите.
предоставлять либо будут ходить по православным HTTPS и лить ключи (временные сессионные).Как вы себе это технически представляете? Ну пусть facebook прогнётся и будет просто сдавать данные. Но любой другой бложик, ему пофиг на требования. Это всё можно реализовать лишь через белые списки, на что даже Китай не идёт.
Sign up to leave a comment.
«Мегафон» заказал комплекс СХД «Купол» для хранения трафика по закону Яровой