«Мегафон» заказал комплекс СХД «Купол» для хранения трафика по закону Яровой



    Один из ведущих производителей оборудования для СОРМ компания «Национальные технологии» разместила на портале госзакупок документацию по системе хранения данных «Купол», которая разработана при её участии.

    Как следует из документации, до 30 мая 2018 года компания обязуется поставить оборудование на восемь площадок «Мегафона» и три площадки «Скартел» («дочка» «Мегафона», работает под брендом Yota). Площадки «Мегафона» располагаются в Москве, Санкт-Петербурге, Нижнем Новгороде, Самаре, Екатеринбурге, Саранске, Пскове и Смоленске, площадки Yota — в Москве, Санкт-Петербурге и Самаре.

    С помощью этой системы «Мегафон» может хранить около 100 петабайт данных (62,6 ПБ в московском дата-центре). Комплексы для Yota рассчитаны на 7,6 ПБ. Эксперты поясняют, что суммарный трафик «Мегафона» в несколько десятков раз превышает объём поставки, так что это тестовая закупка всего лишь на 1 миллиард рублей.

    Комплекс СХД «Купол» создан 30 марта 2018 года. Его задачи — создание надёжного, отказоустойчивого, высокопроизводительного СХД, подключение к оборудованию СОРМ для реализации интегрированного решения и обеспечение безопасного, бесперебойного хранения и накопления данных.

    По документации, СХД «Купол» представляет из себя модульную систему хранения данных отечественного производства, состоящую из следующих подсистем:

    • подсистема контроллеров СХД и фабрик PCI Express;
    • подсистема дисковых модулей;
    • подсистема управления комплексом;
    • подсистема сети хранения данных;
    • подсистемы монтажной инфраструктуры и вспомогательного оборудования;
    • подсистема распределения питания.

    Для примера приводим характеристики подсистемы контроллеров.

    Центральным элементом систем является фабрика PCI Express, к которой подключаются контроллеры системы хранения и дисковые модули. Все компоненты задублированы, а контроллер фабрики не имеет единой точки отказа. Имеется функционал виртуализации фабрики. Архитектура Комплекса позволяет создавать конфигурации на основе гибридных систем хранения, включая все современные накопители. Надёжность хранения информации гарантируют гибкие политики защиты целостности данных с минимальной избыточностью на основе кодов Рида-Соломона. Соотношение количества контроллеров к общему объему дисков в дисковых модулях определяется внешней нагрузкой и может быть изменено при необходимости.

    Технические характеристики контроллера СХД приведены ниже:

    • Процессоры: 4 POWER8 Turismo SCM
    • Вычислительные ядра: 40
    • Память: 256ГБ DDR4
    • Пропускная способность шины памяти: до 46 ГБ/с
    • Шина PCI Express: 2 слота x16, 3 слота x8
    • Внутренняя дисковая подсистема: 2×480 ГБ NVMe 2 дисков
    • Средства управления: Web GUI, CLI, RESTFul API
    • Средства мониторинга: SNMP, Call Home, Email Alerts
    • Максимальная потребляемая мощность: 2 кВт
    • Габариты (W × H × D): 448 × 87 × 815 мм
    • Вес: до 40 кг
    • Форм-фактор: 2 (два) RU

    Фабрика PCI Express представляет собой устройство форм-фактора 3 RU для установки в стандартные 19-дюймовые стойки. Она обладает модульной архитектурой. Шасси содержит до 96 накопителей NVMe размером до 8 ТБ и до 22 карт расширения, при этом агрегированная пропускная способность фабрики оставляет до 128 ГБ/с, а все компоненты продублированы и имеют возможность горячей замены.

    Типовая конфигурация контроллеров СХД и фабрик PCI Express включает в себя объединительную плату модулей памяти, восьмиядерный процессор POWER8 3,325 ГГц, модуль памяти 32 ГБ DDR4 RDIMM 2400 МГц 2Rx4, твёрдотельный накопитель NVMe 480 ГБ, PCIe HHHL.

    Подсистема дисковых модулей предусматривает установку 96 дисков 3.5” SAS/NLSAS/SATA суммарной максимальной ёмкостью 1152 ТБ (96 SAS 3.5” × 12 ТБ).

    Подсистема сети хранения данных представляет собой оптические коммутаторы (далее ОК1-11 и ОК1-12) ёмкостью 24 или 64 порта соответственно. Использование подсистемы сети хранения данных позволяет создавать СХД в различных исполнениях — от небольших сверхбыстрых систем, построенных на ТНД (так называемые ALL FLASH) до гибридных систем хранения данных больших и сверхбольших объёмов (десятки и сотни петабайт), построенных на традиционных НЖМД, сказано в документации на «Купол».


    Передняя панель контроллера СХД и фабрики PCI Express имеет следующую маркировку: «Изготовлено для комплекса СХД «Купол». Маркировка должна быть выполнена на металлическом носителе размером 60х15 миллиметров (из документации на сайте госзакупок)

    Например, для своей самой крупной площадки № 1 (г. Москва, Волгоградский проспект, д. 42, корпус 5 (Болгария), этаж 1, модуль 1) «Мегафон» закупает СХД полезной ёмкости 64 152 ТБ стоимостью 537,3 млн руб. Краткий состав комплекса:

    • Контроллер хранения – 12 шт.
    • Контроллер фабрики PCI Express – 6 шт.
    • Дисковый модуль расширения – 75 шт.
    • Оптический коммутатор ОК1-12 на 64 порта 32 Гбит/с в cборе – 4 шт.
    • Шкаф монтажный – 17 шт.
    • Программное обеспечение СХД
    • Расширенная сервисная поддержка

    До 30 мая оборудование «Купол» нужно поставить на площадки «Мегафона», а работы по монтажу предстоит завершить до 30 июня. Все оборудование и работы по его внедрению обойдутся в 923,5 млн руб.

    Лучший комментарий (Alter2): Довольно иронично, что компания «Национальные технологии» производит системы для прослушки населения.
    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 182
    • +11
      так что это тестовая закупка всего лишь на 1 миллиард рублей.


      Всего лишь…
      • +4
        Особенно доставляет с учётом этого:
        суммарный трафик «Мегафона» в несколько десятков раз превышает объём поставки
        • +1
          Да тут сама фраза корявая. Суммарный трафик за какой период — не указано.
          • +1
            По умолчанию считаем, что имеется тот период, который указан в законе Яровой.
            • 0

              Там их несколько, тащемто.

              • 0
                Для сетей документальной электросвязи — обеспечить период хранения всего объема трафика не менее месяца, но не более 6 месяцев что составляет минимум 324 TB с каждого 1 гигабита среднесуточного трафика.
        • +1
          И никто ведь не думает, что «Мегафон» достанет их из своей прибыли или ему кто-то поможет с такими расходами… Выплатим постепенным мы все, не только тестово =)
          • 0
            ща матрицу обкатают, и в десятки раз повысят закупки.
            ребят, ну читайте по диагонали между строк
            • 0
              например СП с китайцами на производство и поставки дисков — тоже обещает быть недурственно, это вам не эдисон крутящийся на барабане с воском,
            • 0
              так прибыль и состоит из того, что мы все платим
              • 0
                прибыль состоит что можно скачать с юзера, забудьте маркса и смита, ща деньги делаются на деньгах
                • 0
                  в любом случае прибыль состоит из того что заплатили юзеры.
                  ну или притащили ещё как то, например просмотром рекламы.
          • +9
            Столько избыточных сущностей, чтобы загнать нас под «купол всевластия» на наши же налоги.
            • +1
              Да и «Купол» говорящее название.
              • +4
                «Доношу первое: большая машина «воин-купол» пришла в движение от пальца в отверстии пятом и от пальца в отверстии сорок седьмом, и движение было неодолимое, быстрое и прямое.» (С)
                • +1

                  Правильнее было назвать "колпак".

                • +5

                  Даже не на налоги, по факту на живые деньги, которые мы платим ща связь. Все сотовые операторы в последнее время либо повысили тарифы, либо отменили халявные опции, либо стало меньше услуг за те же деньги.

                  • 0
                    И снова активизировали отключённую когда-то всплывающую рекламу «поставь на звонок хрена-с-горы за 6 руб./день» в надежде что кто-то случайно ткнёт.
                    Всплывающую на телефоне — то ли USSD, то ли SIM-menu, отключалось во втором, про механизм доставки не в курсе.
                • 0
                  то-ли желязны то-ли хайнлайн «ну вы же платите налоги, вот мы вас на их и раскрутим»
                • +3

                  Ну вот и нашлись бенефициары закона Яровой. Остается раскопать, кто конечный собственник Купола.

                  • 0
                    Тоже очень интересно.
                    Компания ООО «НАЦИОНАЛЬНЫЕ ТЕХНОЛОГИИ», полное наименование — «НАЦИОНАЛЬНЫЕ ТЕХНОЛОГИИ», ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ, зарегистрирована 9 октября 1997 года, по адресу — 127247, г. МОСКВА, ул. 800-ЛЕТИЯ МОСКВЫ, д. 4, корп. 2, пом. ПРАВЛЕНИЯ. Основной вид деятельности компании — деятельность в области стандартизации и метрологии


                    Организация ликвидирована 22 марта 2008 г.

                    Причина: ПРЕКРАЩЕНИЕ ДЕЯТЕЛЬНОСТИ ЮРИДИЧЕСКОГО ЛИЦА В СВЯЗИ С ИСКЛЮЧЕНИЕМ ИЗ ЕГРЮЛ НА ОСНОВАНИИ П.2 СТ.21.1 ФЕДЕРАЛЬНОГО ЗАКОНА ОТ 08.08.2001 №129-ФЗ

                    Может кто-то умеет копнуть глубже?
                    • +4

                      Фирма, ликвидированная 10 лет назад, осваивает миллиарды. Интриги, скандалы, расследования...

                      • 0
                        из проекта договора (см документацию) можно найти zachestnyibiznes.ru/company/ul/5177746148421_7703436097_OOO-NT Уставный капитал: 10 000,00 руб. дата регистрации 31.10.2017
                      • +1
                        Не та компания. ИНН правильной: 7703436097
                      • +1
                        По словам Овчинникова, со стороны «Ростеха» проект реализуется концерном «Автоматика», а со стороны НКК — дочерней компанией «КГС Групп». 31 октября этого года было зарегистрировано ООО «Национальные технологии». 51% компании принадлежит концерну «Автоматика», а 49% — «КНС Групп», согласно данным «СПАРК-Интерфакса». Руководителем «Национальных технологий» стал бывший заместитель гендиректора Национального центра информатизации и экс-IT-директор «Мегафона» Константин Юнов. Согласно сообщению пресс-службы «Ростеха», СП создано для совместной реализации комплексных технологических проектов.

                        https://roem.ru/01-12-2017/264457/rosteh-i-nkk-17/

                        • 0
                          51% это 5100 рублей. Лично готов удвоить эту сумму, за долю 25%.
                      • –1
                        очередной попил или тупизна менеджмента?
                        даже если удастся закупить пару «отечественных» шкафов сегодня, уже понятно, что завтра power8 купить под санкциями уже не выйдет. зачем вообще собирать «ответственные» шкафы на сугубо американских и давно уже вымерших ibm архитектурах? почему бы не собрать стандартный для индустрии хадуп на обычном ширпотребе, у которого и возможности из другой вселенной и санкции нипочем.
                        • +1
                          Пофантазирую на эту тему — Потому что лежат мертвым грузом, а надо куда-то сбыть =).
                          • +3
                            А обещали пофантазировать…
                            • +1
                              А у меня разыгравается фантазия на типоразмер «2 (два) RU» — видится какой-то Дядя Вася лабающий подсобным инструментом 19' стойки…
                              • 0
                                Будет прикол, если, действительно введут законодательно типоразмер «RU» вместо «U»- в лучшем случае треп… (RU соотвествует U? а нафига сущности плодить? или это страна происхождения проката для штампофки профилей? ) но для HARD ONLY версии: надо-бы тогда и размер корзины поменять, (молюсь что в сторону увеличения) — хочешь поставить «мировой шерпотрёп» в наш ящик — купи переходники… пропорцию можно взять из анекдота про ширину колеи железной дороги (анекдот) — вот это импортновзамещение, а не наклейки печатать,
                                • 0
                                  Ю́нит (обозначение: U; от англ. Unit, RU — англ. Rack Unit, RMU — англ. Rack Mount Unit) — единица измерения высоты специального оборудования.

                                  • 0
                                    спасибо, меня видимо в гугле забанили, думал, зачем ещо один типоразмер — презентаторам видимо автору было красиво написать именно RU — просто все время сталкиваюсь с 1U 2U 18U… и все в дюймах
                                    • 0
                                      равен одному вершку, кстати :)
                          • +4
                            Ты хотя бы представляешь себе примерно с точностью до 2х порядков производительность хадупа и требуемую производительность этой шарманки? «на обычном ширпотребе» с армией мальчиков-зайчиков которые будут бегать и менять «ширпотребные» винты?

                            И потом это всего лишь хранилка, там еще шкаф оборудования декодирования, приема и организации данных. Ибо 200 гигабит/секунду с предельным временем отклика 10мс и 24/7 throughput это вам не хадуп и не ширпотреб.

                            Для ориентировки пока «ширпотребные» не тянут по скорости, времени отклика да и пропускную способность обеспечить не могут (чтобы не занимать при этом больше 2х шкафов)

                            • +1
                              да, представляю. куда там шкафчику с 96 дисками до того, с чем я имею дело на хадупе каждый день? там нужна throughput, а не отклик. на 96 дисках это курам насмех за миллиард. плюс что эта куцая и примитивная коробка будет делать, когда придет запрос на инфу? лампочками мигать? нахера этот примитив, если закон требует не тупой HDD с лампочкой, а полноценную систему, которая запрошенную инфу отфильтровать сможет.
                              опять же, а что там с реданденси? все в одной стойке, без репликации? что за клоунада?
                              • +3
                                Отвечаю:
                                Устройство съема и декодирования трафика работает на скорости 40 гигабит секунду. Или 5 гибибайт в секунду. Задержка в 1 секунду на запись данных требует минимум 10 гигабайтного буфера на отправляющей стороне тупо чтобы сгладить эту задержку. А также буферизация требуется на коммутируемый протокол на базе TCP ибо точки съема трафика и датацентр с хранилищами ни разу ни рядом, и так далее и тому подобное. В итоге у нас только на буфера сетевые для отправки улетает десятки гигабайт ОЗУ. Причем это на «смешные 40 гигабит».
                                Потом упомянутый тут Купол — это лишь большой и кстати довольно неудобный жесткий диск. Про остальную часть системы в статье ни слова.
                                Как раз про ту что аггрегирует, переупорядочивает, индексирует, ищет достает.

                                Реданданси? Репликация? Вы тут вайдосите что вам тарифы в разы поднимут… Давайте мы еще фактор репликации 3 введем… что бы уж наверняка?

                                Если вы мне не дай боже на хадупе… в рамках скажем 12 серверов класса HP gen9 с полками в паре шкафов сможете записать 20 миллионов одновременных потоков, приходящих фрагментами в лучшем случае по полтора килобайта с общей скоростью 5 гигабайт в секунду, с длительностью потоков до нескольких часов, а то и суток…

                                К слову сказать это если в лоб — примерно 3 миллиона IOPS при размере запроса 1,5 кб… и латентности 0,3 микросекунды.

                                И не просто записать, а еще и проиндексировать так чтобы потом найти в этих петабайтах любой поток по ключу не медленнее чем за пару секунд, а потом извлечь его хотябы в 10 раз быстрее чем он был записан… Все это на фоне текущей записи, гарантируя стабильное летенси скажем на 64 мегабайтный блок на запись хотя бы секунда… А реданданси ну хотя бы аналогичный Raid6…
                                Откровенно дурной протокол, указанный в нормативке, который просто не предназначен для кластерной архтектуры, а также проблемы вида «точка съема трафика у нас во Владивостоке, а датацентр с хранилкой в подмосковье» мы это пока оставим за скобками.

                                Вообщем, если вы это сделаете на хадупе ну или хотя бы на более подходящем для этого ceph… тогда у меня сразу есть для вас job-offer.

                                З.Ы. извиняюсь за некоторый сумбур в формулировках

                                • –1
                                  у них задача хранить архив под закон яровой, а не снимать живой трафик. посмотрите как люди делают СОРМ-3, почти у всех архив в хадупе и понятно, что на хадупе нет у них там никаких индексов.
                                  • +1
                                    ЭЭЭ… А назовите ка мне хоть одну реализацию СОРМ-3 на хадупе? Желательно еще не для голоса, а для ПД у которых архив интернет статистики за 2 года лежит в хадупе и которые выполняют требования 583 приказа по скорости извлечения этих данных из этого архива… Хорошо бы если бы он был «коммерческим».

                                    Это не «архив под закон Яровой» из этого «архива» надо данные извлекать со скоростью хотя бы 1 поток за секунду найти, а потом за пару секунд прочитать.
                                    • 0
                                      www.osp.ru/netcat_files/userfiles/Hadoop_2015/hadoop-2015Ermakov.pdf

                                      за млрд рублей там петабайты памяти будут, какой-нить спарк весь архив в памяти мог бы держать, обеспечивая нормальное реданденси. собирать из протухших от старости американских запчастей примитивную коробку которая ничего не умеет, нет никакого смысла. вообще. ширпотреб 2-4Тб DDR4 ставить можно, куда там по скоростям коробченке с 96 дисками
                                      • 0
                                        Pivotal Забавно… они оказывается СОРМ-3 делают… архитектура интересная… просто чудесная… прямо эталон так сказать… как НЕ надо делать СОРМ-3.

                                        50 ТБ на сервак… Это сколько сколько нам надо юнитов на пол-пета? А кто вам машзал на это выделит? Куда вы это монтировать будете, как питать? трехкратное резервирование данных???? Обоснуйте попробуйте мегафону зачем ему тратить 3х рублей если он может обойтись без резервирования и купить в ТРИ раза дешевле… Ему то как раз на сохранность данных — фиолетово.

                                        И вообще откуда вы взяли цифру «коробочка с 96 дисками» то? 96 дисков по 12 терр это всего 1 петабайт грязными без учета запаса на hot-spare, redundancy и прочее… Там таких коробочек минимум 75 штук… а еще шкафы, коммутаторы и прочая ересь. А теперь мне покажите сколько будет стоить сервер с 1 ПБ DDR4 на борту и сколько это будет занимать юнитов? И обеспечит ли этот сервер аптайм несколько лет…
                                        • 0
                                          какой машзал? в презенташке конфиг на бюджет в $100. там 16 ядер и 64 гб рам. понятно что с $15 млн нода будет порядка 60-70 ядер, 2 Тб рам и горы, огромные горы SSD. ширпотребный тредрипер это 72 ядра и 16 слотов памяти в 2U коробочке. вот и сравнивай.
                                          • 0
                                            что такое «трехкратное резервирование данных????» и откуда оно взялось?
                                            • 0
                                              Там чуть выше в комментах был сарказм, видимо ноги растут оттуда

                                              Реданданси? Репликация? Вы тут вайдосите что вам тарифы в разы поднимут… Давайте мы еще фактор репликации 3 введем… что бы уж наверняка?
                                              • 0
                                                Ну я вот тоже не понял, был ли это сарказм, или кто-то не в курсе, что фактор на хадупе регулируется, и можно сделать 1 (вот меньше, увы, нельзя ;), ну и потом, если оно реплицированное, то вообще говоря, это значит что мы даром можем улучшить параллелизм, запустив обработку на трех узлах… Правда, сразу возникает вопрос, а будет ли вообще кто-нибудь эти данные хоть когда-нибудь читать? :)

                                                В общем, тут много тонкостей, и я бы не стал смеяться над фактором репликации, не подсчитав хоть на пальцах, что получится.
                                                • 0
                                                  Именно это был сарказм :)
                                                  Увы, я не смеюсь над фактором репликации и да то что 3 реплики лучше чем 6 рейд, и какой это может дать профит на чтение (а так же какие недостатки мы поимеем на записи) я прекрасно знаю.
                                                  Проблема в том что фактор цены тут имеет определяющее значение.

                                                  Как я сказал оператор покупает систему которая не монетизируется, а еще ее эксплуатация жрет электричество и холод что тоже не бесплатно — он не заинтересован в надежности и скорости работы этой системы.
                                                  На самом деле в системе борются за каждый процент накладных расходов. У нас тут были крайне жаркие дискуссии между двумя решениями — одно требовало 3% места на диске на технологические нужды, другое 1%… Первое помедленнее, но способно работать на всем где можно нарезать ext4. Второе быстрее на порядок, но работает с дисками на низком уровне. Победило то, которое 3% за счет того что оно сможет работать с Куполом, но со скрипом. Так что ни про какие факторы репликации 3 (да хотя бы просто зеркало) мы даже не мечтаем.
                                                  • +1
                                                    Не заинтересован в надежности и скорости… вот-вот. Я бы больше сказал — никто не способен контролировать надежность и результативность работы такой системы. Ни спецслужбы, ни оператор. По самым грубым прикидкам 99.99% данных, которые оператор должен хранить, никогда не потребуются. А из остального примерно 99% еще зашифрованы, или непригодны для поиска. Т.е. упрощенно, если мы будем сразу 99% данных удалять, заполняя диски белым шумом — этого возможно вообще никто не заметит. Это не банк, и реконсиляцию провести не с чем.

                                                    В таком случае я тоже не понимаю, зачем вообще такое хранилище, как тут описано, и почему не рассматриваются варианты дешевле? Потому что заказчик требует невозможного?

                                                    Да, возможно это уже десять раз обсудили — я не исключаю, дискуссия уже получилась длинная, может что и пропустил. В двух словах, если не лениво?
                                                    • 0
                                                      Что значит «дешевле»? Проблема в том, что да, не считая тестовых утилит, проверяющих «полноту» и постоянно читающих часть данных, в реальных условиях хорошо если прочитают 1% или даже 0,1%. Вот только никто не знает какой именно 1% понадобится. Поэтому и будем писать все.
                                                      Почему еще? потому что могие вещи нужны постфактум для расследования.
                                                      Беда многих участвующих в дисскуссии в том, что они отталкиваются от тезиса: «ФСБ хотят следить за всеми, а это не возможно». И они правы в невозможности, но сам тезис не верен. Спец службы желают постфактум получить содержимое потоков по вполне конкретным поисковым запросам. Зачем им это — не знаю. Вероятно существуют какие то методики, веротно не нужно декодированное содержимое, а достаточно факта самого наличия потока шифрованного — не знаю.
                                                      Но кстати не 99% шифрованого… процентов 70. из которых очень многое или ненужные сайтики типа ленты или соцсети, которых можно принудить к сливу ключей.
                                                      А если писать весь трафик — то так примерно и выходит просто тупо из за цены винтов, и различного инженерного оборудования вокруг.
                                          • 0
                                            И во всей этой ереси в документе один ключевой момент, на 20 слайде он:
                                            «поиск по imsi за 1 сутки/месяц», по «IP и интервалу» это тривиальнейшая и банальнейшая задача. Просто вообще ниочем. Нормальные системы решают ее за сотые доли секунды, а не за десятки секунд.

                                            А вот поискать по URL, да с маской, да за все 2 года, да по целой подсети… А потом ой это был IP гулового кеша…
                                            Или найди цепочку звонков А-С-B…

                                            К сожалению реальные задачи они несколько шире описанного в перзенташке.
                                            • –1
                                              к сожалению реально у тебя нет базовых знаний по теме. «нормальные системы» это рсубд, которые вынуждены использовать петабайты на индексы, что бы найти что либо за доли секунды. соответственно все что не в индексе — финиш. то что описано в презенташки — хадуп, он целиком партицию за эти пару секунд вычитывает, не то что цепочку, он что угодно просчитать может подняв данные со всей партиции. причем сторидж в презенташке менее чем за $100k гарантирует нормальное реданденси и дает эту скорость на механических HDD с крошечным 64гб кэшем. у нас речь идет о бюджете в $15 млн, т.е. горы SSD и почти весь архив в памяти. с таким бюджетом хадуп запросто брутфорсом будет успевать расшифровывать SSL трафик

                                              • 0
                                                Конечно у меня даже базовых знаний нет :)) совсем вообще…
                                                Данные со всей партиции… пол петабайта за 10 секунд, грепом… Ага плавали… знаем…
                                                Мы не забываем же что при этом должна одновременно выполняться сотня запросов?
                                                Цепочку он поднимет… по номерам телефонов из которых известно только последний пяток цифр… и то не достоверно…

                                                Вот к сожалению из за таких вот знатоков — теоретиков у нас и появляются иногда дебильные законы из серии «а давайте в ситилинке купим 4 террабайтные диски и забацаем на них 12 часовой кольцевой буфер» а ты потом мучайся и придумывай как это сделать…
                                                • 0
                                                  Цепочку он поднимет… по номерам телефонов из которых известно только последний пяток цифр… и то не достоверно…


                                                  Простите, что вмешиваюсь (ваш спор очень интересный) но относительно цепочки — это смотря что именно оно будет писать.
                                                  • 0
                                                    именно… поэтому я и говорю — подходы есть, и зачастую очень непростые и ни разу не тривиальные.
                                                    А не вот так вот с наскоку в лоб «хадуп — что угодно посчитает».
                                                    Вот если данные правильно готовить до записи — то и хадуп становится совсем не нужным.
                                                    • 0
                                                      подходы есть, и зачастую очень непростые и ни разу не тривиальные.
                                                      [...]
                                                      Вот если данные правильно готовить до записи — то и хадуп становится совсем не нужным.


                                                      Я понимаю, о чем именно вы говорите, и согласен.
                                                      • 0
                                                        а теперь расскажи на кой готовить эти данные если к ним нужен оракл ЕЕ с партишенингом и сторидж за $15 млн с ножным… простите механическим приводом?
                                                        хадуп в лоб становиться нужным, что бы не тратить $15 млн на устаревшие Power8 и механические HDD, а тратить на что-то вменяемое и совремнное, пусть и из ширпотребного сегмента. при этом иметь нормальную реданденси, мониторинг, начиная с подсчетов счетчиков на входящие данныне
                                                        • 0
                                                          Какой Оракл ЕЕ? С каким партишенингом? ты вообще о чем?
                                                          Нет там его. Совсем другие вещи используются.
                                                          А ширпотребные сегмент… ты время реакции на выход оборудования из строя себе представляешь? Пока вся бюрократия пройдет, пока запрет на работы снимут… Оно тупо не должно ломаться. А так даже дешевая коммуникационная стойка вместо нормального шкафа под дисковыми полками — и даже энтерпрайз винты сыпятся как семечки.
                                                  • 0
                                                    да, пол петабайта за 10 секунд. да, таких запросов тысячи. так бигдата и работает. да, потому и сворачивают аналитику на рсубд, переводят на кластера хадупа. ты тупо не имеешь базовых представлений о hdfs и как с него кластер данные поднимает.
                                                    но это на бигдате, а тут почти все в память уместиться, при бюджете $15 млн, SSD просто простаивать будут.
                                                    • 0
                                                      Давай еще раз посчитаем… С хорошего диска в идеальных условиях на внешних секторах поднимем ну пусть 200МБ/с… за 10 секунд мы с него заберем 2ГБ чтобы поднять 500 000 ГБ (пол пета) нам понадобится 250 тысяч шпинделей… Пускай возьмем мидлайн сегмент LFF ных дисков… стоимость диска на 4ТБ пускай 500$
                                                      Итого: 125 млн долларов на одни только диски чтобы это прочитать с такой скоростью в идеальных ситуациях… без реданданси, последовательное чтение, на внешних секторах…
                                                      Тут как то SSD дисками то не пахнет.

                                                      Кстати на сайте HP 2ТБ SSD диск Mixed use c трехлетней гарантией — $2300… 60 петабайт это 30 тысяч таких дисков… или $69 млн только на диски. Вы еще настаиваете что Купол дорогой и все можно было сделать на SSD?
                                                      • 0
                                                        samsung evo 850 4Tb ssd с 5 лет гарантией стоит порядка $1100, чтение 500 Mb/s. эти лапти заплатили $15 млн за тупой сторидж 6ПТ, вот и считай. SSD тагого объема потянут лишь на $2 млн. да хадупу надо будет репликейшен фактор 3-4, но на итог это мало скажется, т.к. не хранит индексы и упаковка много эффективней. т.е. на хадупе, который далеко не тупой сторидж, решение бы запросто уместилось в $3-5 млн с гигантским запасом по дискам. причем SSD дискам.
                                                        • +1
                                                          samsung evo 850


                                                          Сейчас бы железки уровня «для дома для семьи» в хай-энд энтерпрайзные решения под огромные нагрузки ставить.
                                                          • 0
                                                            гуглы, амазоны и прочие лидеры ставят примерно в эти же хадупы. от того они и лидеры
                                                            у леново 15.36 TB ынтерпрайз ssd диски есть, стоят порядка $26k. даже с такими хадуп дешевле купола выходит
                                                            • 0
                                                              гуглы, амазоны и прочие лидеры ставят примерно в эти же хадупы.


                                                              Пруф.
                                                          • 0
                                                            Коллега, вы читать умеете?

                                                            С помощью этой системы «Мегафон» может хранить около 100 петабайт данных (62,6 ПБ в московском дата-центре).


                                                            Где тут 6 ПБ? В статье речь про 62 ПБ так что не $2 млн, а все $20…

                                                            Какой Samsung Evo? да вам сам мегафон это решение зарубит на корню с такими дисками. Ибо эксплуатантами будут являться они и за всех мальчиков зайчиков которые будут все это менять платить тоже будут они.
                                                            Какая 5 летняя гарантия? Для бытового использования? Тут даже не энтерпрайзные нагрузки… Тут просто 24/7 без пауз и передышек.
                                                            • 0
                                                              к чему эта клоунада? так сложно открыть документ тендера и посмотреть сколько закуплено на тот млрд? на млрд они купили 6 стоек по 96 дисков, диски по 12 тб.

                                                              все датацентры гугла и амазона живут на ширпотреб дисках, статистика отказов публикуется и доступна. разницы с ентерпрайз гугл не видит, но даже ентерпрайз SSD диски 1.5-2 раза дороже. ну будет не $2 млн, а $4 млн. все равно во многие разы дешевле купола
                                                              • 0
                                                                Какая клоунада? вы вообще о чем? В отличие от вас я знаю не только чего и сколько закупили, но и где, как, куда и чем должно быть смонтировано. А так же какие требования предъявляются к ТТХ СХД.

                                                                разницы с ентерпрайз гугл не видит
                                                                отлично я прямо сейчас побегу в мегафон и сообщу им сию радостную весть. Разницы гугол не видит. А ничего что у него совсем другая удельная нагрузка на этот самый ССД диск? И вообще другой профиль чтение/запись?
                                                  • 0
                                                    ну-ка посчитаем сколько нужно таких стораджей за $100k чтобы объем в 60 петабайт закрыть… сколько там в сторадже 200 ТБ?

                                                    60000/200= 300 стораджей х 100k = $30 млн долларов
                                                    это я еще юниты не считал из расчета пускай 1/4 юнита на каждый сервер… а еще между этими 300+ серверами сеть организовать… интерконнект, балансировку записываемых данных и прочая прочая прочая…

                                                    и кстати одной только статистики в сутки с 200 гигабит/с трафика будет примерно 2 ТБ — а совсем не 500ГБ. Как видите расчеты из этой презенташки уже трещат по швам.
                                                    • 0
                                                      сколько воткнешь, столько в сторидже и будет. у леново 15.36 TB ынтерпрайз ssd диски есть, стоят порядка $26k
                                                      lenovopress.com/lp0612-pm1633a-enterprise-capacity-12gb-sas-ssd
                                                      • 0
                                                        Думаю наш спор стоит сворачивать. Точно такой же HDD 12 ТБ диск от HP стоит в 10 раз дешевле, а значит ваше решение будет в 10 раз дороже. Незнаю куда вы там собираетесь пихать сотню дисков и как обеспечивать коммутирование за 0$.
                                                        Но в тендере сумма не только за диски, но еще и за коммутационное и инженерное оборудование включая шкафы, стоимость работ по монтажу, доставке, поддержке и прочее.
                                                        Но это все мелочи — как я сказал я детально имею аналогичное по объему и характеристикам производительности решение… да оно дешевле Купола, но никак не в разы. И оно на обычных дисках а не на ССД. Но обладает рядом недостатков по сравнению с куполом (функциональность, энергопотребление, плотность хранения, масса) и не включает в себя услуг по поддержке этого хозяйства.

                                                        P.S. Если Вам интересна дискуссия по этому вопросу — то лучше в личку
                                                        • 0
                                                          Замечательный спор, с удовольствием прочитал. Не часто достаточно содержательные технические дискуссии можно встретить.
                                      • 0

                                        100 Gbit сетевые линки вполне уже доступны. 48 PCIe lanes по 16 Gbit на процессор тоже вполне доступны. Так что один камень в сервере-приемнике на сетевой upstream, второй запихивает поток в подсистему хранения. Одна 2U железка двухнодовая с учётом резервного узла...


                                        Про обработчик данных в статье ни слова. Хранить чтобы тупо хранить это тупой слив бабла

                                      • +1
                                        Power8 — открытая архитектура, в отличие от Intel.
                                        • 0
                                          Может и так. Хотя тогда странно, что в посте указан именно продукта от ibm, а не другое что-то на вот этой архитектуре. Как ни крути, пахнет пиломатериалами.
                                          • 0
                                            В посте не указан продукт от IBM.
                                            • 0
                                              Да, действительно. Не там смотрел.
                                          • –1

                                            Именно IBM Power8 или OpenPOWER? И что именно там открыто? Сможете заказать сами камни у китайцев / тайваньцев / корейцев?


                                            Раньше IBM производила все POWER на своих заводах в пиндосии. И отчасти поэтому является основным поставщиком под тамошний гос заказ. Не просто так p и z линейки остались родными, а x продали ленивым

                                            • +1
                                              IBM POWER8 – это реализация OpenPOWER. Кто хочет, тот и может выпускать, по лицензии. В частности, китайская PowerCore Technology Corporation в городе-герое Сучжоу выпускает свои Power8.

                                              Сама IBM, действительно, выпускает POWER в пиндосии.

                                              x продали, потому что это была более срочная и более простая задача. По z давно идут переговоры с Hitachi, а p открыт для клонирования. Для IBM нет ничего хорошего в том, чтобы быть привязанной к правительству США с его заморочками, когда центр мирового производственного бизнеса находится в КНР, и они это прекрасно понимают.
                                        • 0
                                          А этот купол — точно не какой-нибудь Hitachi с переклеенной, как обычно, биркой?
                                        • 0
                                          А надо-то было всего лишь слово «занавес» на «купол» заменить!
                                          • +3
                                            «Колпак» же. «Мы все под колпаком у Мюллера» (С)
                                            • 0
                                              И фото Мюллера в мундире «фирменного» зеленого цвета (знакомого по рекламе Меги)?
                                            • 0
                                              Но название "Железный купол" уже занято
                                            • +1
                                              Не понимаю почему простые граждане (прямо или косвенно) должны страдать от решения государственных чиновников. То пол интернета заблокируют, то законы, в следствие исполнения которых стоимость коммуникаций повысится, введут. Эх…
                                              • +2
                                                Каждый народ имеет то правительство, которое он заслуживает.

                                                Из письма (от 27 августа 1811 г.) посланника Сардинского королевства при русском дворе графа Жозефа де Местра (1753—1821).В этом письме граф писал своему правительству о новых законах, установленных императором Александром 1. Возможно, что сардинский посланник перефразировал известную фразу философа и просветителя Шарля Луи Монтескье из его сочинения «Дух законов»: «Каждый народ достоин своей участи».
                                                • 0
                                                  поправочка:
                                                  Каждое правительство имеет народ, которое оно и заслужило
                                                  • +1
                                                    Каждое правительство имеет народ….дальше можно не продолжать
                                                    • 0
                                                      Каждый народ имеет правительство, которое его имеет.
                                                • +3

                                                  Гражлане сами проголосовали за этих чиновников.

                                                  • +1
                                                    голосовали за президента, а не за состав правительства
                                                    • 0
                                                      вам не нравится состав правительства?
                                                      • +1
                                                        Как будто к N+1 сроку он внезапно решит что-то поменять. Вот в следующий раз правительство сменится и я догадываюсь кто будет премьером.
                                                      • 0
                                                        интересен результат выборов: я вам приведу медведева, яровую, кудрина,…
                                                        результат выборов: шойгу, лаврова, онищенко — вызывает меньше вопросов
                                                        • 0

                                                          Фамилии и персоны, в данном контексте — ничтожны, не имеют ни малейшего значения..

                                                          • 0
                                                            Каких вопросов меньше Онищенко вызывает? Приличных?
                                                        • 0
                                                          А что к 30 июня то? Мы вроде к 31 мая делаем.
                                                          • 0
                                                            фигня, у меня сдача обьекта 8 мая, но — предпраздничный день, на обьекте до сих пор никого, думали запой — ан-нет! все на митинге, 15го, заказчик исчез, как коперфильд, остальные изображают эмиля кио
                                                          • +3
                                                            Интересное предложение: «Комплекс СХД «Купол» создан 30 марта 2018 года». Типа ребята собрались в баре за кружечкой пивка и решили как освоить миллиарды на переклеивание шильдиков?
                                                            • –2
                                                              ви таки слышали? футболист арапетян выиграл в лотерею волгу?
                                                              — во первых: не футболист, а наперсточник, и не выиграл, а проиграл, и не волгу а жигули, и в не спорт-лото а в буру, а так вы конечно правы.
                                                            • +2
                                                              Почему не Эльбрус? Нет ну реально, импорта замещение, госбезопасность и т.п. и бац power.
                                                              • +1
                                                                скорость шины, сколько по ней транзакций в секунду? количество портов? приедет ли в случае чего инжынер из мсцт с блоком на замену? и… шишенка на торте: макетка сколько? а сдк есть?
                                                                • +3
                                                                  Да не, я это все понимаю, но как же обозначенные выше «импорта замещение, госбезопасность». Как то не патриотично ребята действуют, надо все свое!
                                                                  • 0
                                                                    Стоп… что значит «приедет ли» вообще-то на время ЧМ специалист из мсцт должен будет сидеть рядом со шкафами 24/7 с готовым блоком в позе «наготовЕ»
                                                                  • 0
                                                                    зато в power е meltdown нет, и удаленного интелевского слежения/управления
                                                                    • +1
                                                                      И в эльбрусе нет ни meltdown, ни интеловского слежения.
                                                                      • +1
                                                                        впрочем, может приучит програмеров не говнокодить, а такты считать…
                                                                      • +2
                                                                        есть. при этом патчей нет, и не будет. и на их мейнфремах meltdown во всей красе и без патчей
                                                                        • 0
                                                                          опс, интересно а в повер или эльбрусе, можна хоть аноним ссылку на пдф, для самообразования
                                                                          • 0
                                                                            Additional exploits for other architectures are also known to exist. These include IBM System Z, POWER8 (Big Endian and Little Endian), and POWER9 (Little Endian).

                                                                            access.redhat.com/security/vulnerabilities/speculativeexecution

                                                                            Three security vulnerabilities that allow unauthorized users to bypass the hardware barrier between applications and kernel memory have been made public. These vulnerabilities all make use of speculative execution to perform side-channel information disclosure attacks. The first two vulnerabilities, CVE-2017-5753 and CVE-2017- 5715, are collectively known as Spectre

                                                                            www.ibm.com/blogs/psirt/potential-impact-processors-power-family
                                                                            • 0
                                                                              как интересно, тут я Вам не отвечу, почитаю, спс за линк
                                                                    • 0
                                                                      Еще один из вариантов получения взятки.
                                                                      • 0
                                                                        самый щикарный и общественно видимый вариант взятки — это реклама на федеральных каналов товаров и услуг для юр. рож: мне как физику" по барабану «транс трах нефть арматура» — их инженеры, логисты не смотрят телек в рабочее время — им работать надо: делаем рекламное агентсво, гламурная дива рекламирует нефтеарматуру — а что там через агентсво наснимали клипов с бюджетом в пол оборота компании — ну это тоже прибыль
                                                                        • 0
                                                                          И потом, рекламодатель зачем у нас рекламу даёт?..
                                                                          Теперь клиент хочет показать большим мужчинам, которые внимательно следят за происходящим на экране и в жизни, что он может взять и кинуть миллион долларов в мусорное ведро. Поэтому чем хуже его реклама, тем лучше.
                                                                          © Generation «П»
                                                                          • 0
                                                                            Вот я тоже не понимал, нафига крымский мост рекламировали?
                                                                            • 0
                                                                              плевок в лицо про народное достояние года три как Вас не смущает?
                                                                          • 0
                                                                            пока есть мерило богатства, найдутся те, кто хотят контролировать, и те кто хотят скрыть, ну это уже философия
                                                                          • –2
                                                                            apocaliptico humor: все боеголовки удачно поразили условные цели на полигоне Кура на Камчатке… если некоторые ну системы, по привычке «как с байконура» летят так же с Восточного, а не будет ли так, что все наши боеголовки поразят полигон Кура, на Камчатке, по привычке…
                                                                            • 0
                                                                              Я конечно дико извиняюсь. Но вот смотрю я на эти компании предлагающие комплексы под закон Яровой: а что у нас так много специалистов в этих областях? Запись, хранение, индексация и поиск по таким запредельным объемам не видицо мне такой простой задачей. Да чего там, даже анб не в курсе как и что искать по своими хранилищу, а тут якобы комплексы под ключ.

                                                                              Второй момент: все так бодро рапортуют о готовности к внедрению. Помню встречал статьи, мб даже от мылору, о том что, например WD неспособны поставить такой объем дисков.

                                                                              Ну и третий: ох нагнут они рубль, ох нагнут…
                                                                              • 0
                                                                                Кста, бро! WD отказался от HGST — ктото перекупил бузинес по высоконадежным хардам, основное требование- 80 лет хранения, второй вопрос, а как они срок годности определили? ещо столько лет не прошло…
                                                                                а как «они» (кто это они) нагнут суверенную, неконвертируемую валюту? мне просто интересно, сорос продаст рубли? (колекционные, дорожают век от века) странное вангование
                                                                                • 0
                                                                                  а как «они»

                                                                                  Русские компании оперируют рублями? Наверняка
                                                                                  Оборудование в баксах? Наверняка
                                                                                  Как должны сказацо на курсе рубля многомиллиардные покупки в баксах.
                                                                                  • 0
                                                                                    нефть продают за баксы, за баксы покупают рубли (налоги заплатить) — могут найти друг друга, а менять на бирже такие суммы — ССЗБ, есть внебиржевые каналы. Хотя прецеденты были.
                                                                                • +1
                                                                                  Да есть несколько компаний, которым это под силу. И даже люди из них это реализующие присутствуют тут. На самом деле нет ничего сложного в реализации записи и поиска — технологий вагон. Тот же гугол, яндекс, всякие однокашники с фейсбуками — давно уже это делают и на подобных масштабах.

                                                                                  Реально проблема в том чтобы реализовать это на минимальном железе с минимальными затратами, ибо эта прелесть в отличае от гуглов и однокашников никоим образом не монетизируется. А так да — берем хадуп, какую нибудь монгу дб, строим пару датацентров чтобы разместить там гору дешевейшего ширпотребного железа… нанимаем пару взводов рабов чтобы это все чинить и менять и получаем профит…
                                                                                  • 0
                                                                                    технологий вагон.

                                                                                    Поэтому практически всех кто работает с такими объемами включая АНБ понятия не имеют что с ними делать?)

                                                                                    всякие однокашники с фейсбуками — давно уже это делают и на подобных масштабах.

                                                                                    Ничего даже примерно похожего там нет. У у них у всех четко систематезированные данные, с совершенно определенными связями.

                                                                                    А так да — берем хадуп, какую нибудь монгу дб

                                                                                    Вот каждый раз такое слышу. И почему то таки люди втыкаются с разбегу в пень на поиске по серьезному объему.
                                                                                    • 0
                                                                                      Да ну нет. Технологии… не не так… Подходы к решению проблем поиска и анализа данных есть. И какие-то даже реализуются и работают.
                                                                                      Другой вопрос что ничего из «готового» как правило просто непригодно ну или приходиться использовать это либо очень «нестандартно», либо жесточайше тюнить.

                                                                                      А если вы воткнулись с разбегу в пень… ну значит вы взяли мало железа… даже если это уже измеряется машзалами :sarcasm:
                                                                                      • 0
                                                                                        Подходы к решению проблем поиска и анализа данных есть.

                                                                                        Согласен. Если в отношении определенного списка целей. Алгоритмов позволяющих выявить террористов методом анализа петабайтов данных просто нет. Тупые вещи типа «бомба 12 апреля» конечно не берем.

                                                                                        Ну конечно если предположить что хотя бы в теории, кто либо когда нибудь таки попытается использовать все это для поиска возможных террористов, во что я верю слабо.

                                                                                        Не все, не всегда, и не безразмерно можно отмасштабировать 8) это не все понимают.

                                                                                        Кроме того вот простейшая цепочка по предыдущему тезису:
                                                                                        — проводятся «оперативно роыскные предметы в отношении лица н»
                                                                                        — кроме поиска это подразумевает исключение данных из кольцевого буфера
                                                                                        — соответственно нужно еще одно хранилище пол эти задачи, а поскольку запросов таких немало, хранилище соответственного объема
                                                                                        — встает вопрос фрагментации

                                                                                        использовать это либо очень «нестандартно», либо жесточайше тюнить

                                                                                        так и вижу как в распил-конторах работают толпы людей знающих и умеющих очень нестандартные вещи и жесточайший тюнинг на объемах, которыми до селе оперировало всего десяток компаний в мире.
                                                                                        • 0
                                                                                          так и вижу как в распил-конторах работают толпы людей знающих и умеющих очень нестандартные вещи и жесточайший тюнинг на объемах, которыми до селе оперировало всего десяток компаний в мире


                                                                                          А вот сейчас обидно было. Много вы знаете контор которые проектируют свои решения с учетом того, что скорость записи на диск на внутренних и внешних секторах разная?
                                                                                          • 0
                                                                                            Почему обидно. Вы в распил конторе работаете? Или конкретно купол проектировали?

                                                                                            Зы при таком количестве шпинделей есть необходимость в таких вещах?
                                                                                            • 0
                                                                                              Да необходимость есть — шпиндели шпинделями, но вот эффективное их использование, та же самая параллельная запись/чтение/удаление. Хотя проблемы начинаются уже на этапе как это все безобразие разместить и скоммутировать. Только на словах просто «мы как возьмем 96 дисков, да как распихаем»

                                                                                              Нет конкретно Купол я не проектировал, но коллеги из Ядра практически описывали тут его технологию. А вот остальное железо вокруг… И да Купол в его составе самая дорогая часть исключительно из за стоимости самого железа. Но технологически не самая сложная. Скажем так у нас есть собственное решение по хранению таких объемов, то есть можно было бы обойтись и без Купола, но все это только в теории. а на практике трудности начнутся уже просто при попытке купить необходимое количество дисков… доставить, смонтировать, спроектировать инженерное окружение, обслуживать это добро, менять и так далее и т.п. Почему про это все забывают?

                                                                                              • 0
                                                                                                Тогда не пойму на что вы обижаетесь. Я как раз и говорю о том что бошкой в роспил конторах особо не думают, да это и не нужно. Они просто хотят достать пол-триллиона рублей и оделить.

                                                                                                Хотя проблемы начинаются уже на этапе как это все безобразие разместить и скоммутировать

                                                                                                о чем и речь.

                                                                                                запись/чтение/удаление.

                                                                                                удаление? сражу фрагментацию тогда до кучи в проблемы. А уж поиск то какой интересный будет.

                                                                                                просто при попытке купить необходимое количество дисков

                                                                                                и снова о чем и речь.

                                                                                                Почему про это все забывают?

                                                                                                ну те кто смотрит со стороны просто не представляют масштабов катастрофы. А те кто смотрит изнутри считает бабло
                                                                                                • 0
                                                                                                  удаление? сражу фрагментацию тогда до кучи в проблемы. А уж поиск то какой интересный будет.

                                                                                                  Да решено уже все: и запись, и чтение, и поиск и без фрагментации и быстро. Говорю же — там Купол только большой тупой жесткий диск, вершинка айсберга.
                                                                                                  • 0
                                                                                                    Да решено уже все:

                                                                                                    Я дико извиняюсь, А почему я тогда читаю что тот же фейсбук предпочитает не удалять вообще ничего чем бороться с фрагментацией.
                                                                                                    И почему даже спецы из АНБ пишут что поиск значимых данных по таким объемам задача из области фантастики?
                                                                                                    • 0
                                                                                                      Да потому, что другой режим записи и удаления. Здесь удаление выполняется не по конкретному объекту/пользователю а по интервалу времени «все за час».
                                                                                                      А уж в АНБ как любят по ушам ездить.
                                                                                                      А насчет поисков я отошлю вас к требованиям приказа 538. Комплекс выполняет их в полной мере.
                                                                                                      • 0
                                                                                                        А уж в АНБ как любят по ушам ездить.

                                                                                                        А я вам не о той категории поиска говорю. Я вам говорю о поиске ЗНАЧИМОЙ для задачи информации (конечно мы говорим о терроре и иже с ними).

                                                                                                        Да о чем вообще речь. С такими немеряными ресурсами можно порешить воровство маркированных изделий на корню. А авто с перебитыми номерами как ставили на учет так и дальше ставят.
                                                                                                        • 0
                                                                                                          На самом деле не соглашусь: воровство маркированых изделий решается более чем тривиально и с гораздо меньшими техническими ресурсами, и проблема не в железе, а в желании решить проблему. А вот этого увы нет. Например когда у меня сперли запаску — я конкретно следаку и отличительные признаки указал и номер перекупа дал… Но увы заинтересованности нет, а мне в итоге через страховку все сделать быстрее было.
                                                                                                          Тоже самое с ворованными трубками — вычислить местоположение телефона — задача нескольких секунд… но тоже…
                                                                                • 0
                                                                                  ви таки не беспокойтесь госплан одного актера все просчитал — нужные специалисты уйдут в афилированные конторы, не нужные уйдут в евросеть, грамотные пойдут ярс програмировать, амбициозные свалят на запад. все при деле, это как собрать польский шкаф — нужно 4 человека, хотя хватило бы и одного — но в странах ВЭФ не должно было быть безработицы