• Почему не следует пользоваться Google Cloud

    • Перевод
    Дополнение (2 июля 2018 г): сотрудники поддержки Google Cloud Platform (GCP) заверили, что такое больше не повторится. Их слова: «Многие люди (в рамках GCP) заинтересованы в том, чтобы улучшить ситуацию не только для вас, но для всех клиентов».

    Примечание: это пост не о качестве облачных сервисов Google. Они превосходны, наравне с AWS. Речь идёт о «резких движениях без предупреждения», когда они полностью отключают все ваши системы, если сотрудники (или машины) вдруг решили: что-то не так. C нами это случилось второй раз.

    Предыстория


    Наш проект в продакшне использует GCP для мониторинга сотен ветроэнергетических установок (ВЭУ) и десятков солнечных электростанций, разбросанных по восьми странам. У нас центры управления с экранами на всю стену: там приборные панели, набитые метриками, за которыми следят круглосуточно. Менеджеры объектов используют эту систему для контроля в реальном времени состояния отдельных ВЭУ и солнечных установок. Если требуется вмешательство, оно производится немедленно. Команды разработки и прогнозирования используют систему для отработки алгоритмов на данных в BigQuery. Все действия непосредственно транслируются в нашу прибыль. Мы имеем дело с ветровой/солнечной энергией — скоропортящимся товаром. Если мы генерируем излишек, то не можем сохранить его и продать позже. Если генерируем недостаточно, то платим штрафы. По этой причине объекты нужно отслеживать 24/7, чтобы не выходить за рамки потребностей энергосистемы и заключенных соглашений о покупке электроэнергии.
    Читать дальше →
  • Север, воля, надежда, страна без границ (с), или Как делаются проекты в суровых сибирских условиях

      Так уж получилось, что большинство наших основных богатств в виде нефти и газа приходится добывать в Тюменской области – среди болот, тайги, тундры и вечной мерзлоты Ханты-Мансийского и Ямало-Ненецкого автономных округов. Производственные площадки располагаются в местах, от которых до ближайшего населенного пункта не меньше пары сотен километров. На этих промыслах мы строим КИТСО (комплексы инженерно-технических средств охраны), защищающие важные стратегические объекты. Здесь и сами ограждения с освещением, и системы: видеонаблюдения, периметральной защиты, пожарной сигнализации и т.п. Сегодня мы хотим рассказать о том, в каких нестандартных условиях приходится работать.


      Читать дальше →
    • RabbitMQ против Kafka: два разных подхода к обмену сообщениями

        В прошлых двух статьях мы рассказывали об IIoT — индустриальном интернете вещей — строили архитектуру, чтобы принимать данные от сенсоров, паяли сами сенсоры. Краеугольным камнем архитектур IIoT да и вообще любых архитектур работающих с BigData является потоковая обработка данных. В ее основе лежит концепция передачи сообщений и очередей. Стандартом работы с рассылкой сообщений сейчас стала Apache Kafka. Однако, для того, чтобы разобраться в ее преимуществах (и понять ее недостатки) было бы хорошо разобраться в основах работы систем очередей в целом, механизмах их работы, шаблонах использования и основной функциональности.



        Мы нашли отличную серию статей, которая сравнивает функциональность Apache Kafka и другого (незаслуженно игнорируемого) гиганта среди систем очередей — RabbitMQ. Эту серию статей мы перевели, снабдили своими комментариями и дополнили. Хотя серия и написана в декабре 2017 года, мир систем обмена сообщениями (и особенно Apache Kafka) меняется так быстро, что уже к лету 2018-го года некоторые вещи изменились.

        Читать дальше →
      • Почему (сегодня) return 444 не всегда полезен

          В web-сервере Nginx есть замечательный код ответа 444, который «закрывает» соединение без отправки данных. Данный функционал весьма полезен при фильтрации паразитного трафика — если мы уверены, что клиент по каким-то критериям не является валидным, то нет необходимости его уведомлять, например, 403-м ответом. Эффективнее просто прекратить передачу данных, что, зачастую, позволяет существенно снизить нагрузку на сервер.

          Рекомендации использовать такие ответы можно встретить повсеместно в инструкциях по блокировках переходов по ссылкам с популярных сайтов и реферального спама, защите от DDoS и т.п.

          И, в общем-то, на протяжении многих лет эти советы можно было использовать почти не глядя, но… современные браузеры не стоят на месте и периодически преподносят нам новые сюрпризы.
          Читать дальше →
        • QUIC, TLS 1.3, DNS-over-HTTPS, далее везде

            Хабр, привет! Это транскрипция доклада Артема ximaera Гавриченкова, прочитанного им на BackendConf 2018 в рамках прошедшего фестиваля РИТ++.



            — Здравствуйте!

            В названии доклада приведён длинный список протоколов, мы по нему пройдемся постепенно, но давайте начнем с того, чего в названии нет.

            Это (под катом) заголовок одного из блогов, в интернете вы могли таких заголовков видеть очень много. В том посте написано, что HTTP/2 — это не какое-то отдаленное будущее, это наше настоящее; это современный протокол, разработанный Google и сотнями профессионалов из многих продвинутых компаний, выпущенный IETF в качестве RFC в далеком 2015 году, то есть уже 3 года назад.

            Стандарты IETF воспринимаются индустрией, как такие железобетонные документы, как могильная плита, фактически.
            Читать дальше →
          • Как мы обслуживали дизель-динамический источник бесперебойного питания


              Это такой здоровенный волчок-ротор, стоящий в разрыве электрической цепи на входе в дата-центр. Он постоянно крутится. Если отключают питание, то он по инерции обеспечивает беспрерывность питания до запуска дизеля. Питание без переключения снова восстанавливается. У нас там выработались подшипники, и мы решили их немного поменять.

              Современная практика такова, что здания строятся с учётом того, что там будет резерв в части энергоснабжения, в нашем случае это ДДИБП. Здание подземного дата-центра у нас уже было, и поэтому замена проходила очень увлекательно.

              Вот, например, задача на знание физики.



              Здесь на вал посажена соединительная муфта. Она прилегает к валу настолько плотно, что снять его нет никакой возможности.

              Мы позвали специального мужика с чёрным поясом по сварке, задача которого была ОЧЕНЬ БЫСТРО разогреть эту муфту. Было важно, чтобы муфта нагрелась как можно сильнее, при этом вал оставался холодным, и поэтому для лучшего контроля мы наблюдали за этим процессом через тепловизор. Параллельно тепловым работам между валом и муфтой прикладывалось усилие гидравлическим 10-тонным прессом, и в какой-то момент у нас получилось «сдернуть» и впоследствии снять эту муфту. Обратно ставить муфту было гораздо проще. Мы постепенно её разогрели до 200 °С и надели на вал.

              В общем, лучше я расскажу сначала про работу людей, обслуживающих эти ваши хрупкие процессоры в дата-центрах.
              Читать дальше →
            • Ой, у вас баннер убежал!

              Ну. И что?
              Реклама
            • Дверь, которая с нами здоровается по именам и открывает только сотрудникам отдела


                У нас была пара дней промежутка между большими проектами, и мы решили поиздеваться над дверью руководителя подразделения. Just for fun. Потому что дроны нас в лицо уже узнают — чем дверь-то хуже?

                На момент старта IT-проекта у нас уже была накладная панель, напечатанная на 3D-принтере. За два дня из железа, готовых библиотек и какой-то матери мы сделали прототип устройства, которое учитывает сотрудников или позволяет проверять, что человек прошёл через турникет именно по своему пропуску.

                Никаких денег. Мы использовали только опенсорс.

                Вы можете повторить это минут за 15–20 с нашим скриптом.
                Читать дальше →
              • Как мы научились подключать китайские камеры за 1000р к облаку. Без регистраторов и SMS (и сэкономили миллионы долларов)

                  Всем привет!


                  Наверное, ни для кого не секрет, что в последнее время облачные сервисы видеонаблюдения набирают популярность. И понятно почему так происходит, видео — это "тяжелый" контент, для хранения которого необходима инфраструктура и большие объемы дискового хранилища. Использование локальной системы видеонаблюдения требует средств на эксплуатацию и поддержку, как в случае организации, использующей сотни камер наблюдения, так и в случае индивидуального пользователя с несколькими камерами.



                  Облачные системы видеонаблюдения решают эту задачу — предоставляя клиентам уже существующую инфраструктуру хранения и обработки видео. Клиенту облачного видеонаблюдения достаточно просто подключить камеру к интернету и привязать к своему аккаунту в облаке.


                  Есть несколько технологических способов подключения камер к облаку. Бесспорно, наиболее удобный и дешевый способ — камера напрямую подключается и работает с облаком, без участия дополнительного оборудования типа сервера или регистратора.


                  Для этого необходимо, чтобы на камере был установлен модуль ПО работающий с облаком. Однако, если говорить про дешевые камеры, то у них очень ограничены аппаратные ресурсы, которые почти на 100% занимает родная прошивка вендора камеры, а ресурсов необходимых для облачного плагина — нет. Этой проблеме разработчики из ivideon посвятили статью, в которой говорится почему они не могут установить плагин на дешевые камеры. Как итог, минимальная цена камеры — 5000р ($80 долларов) и миллионы потраченных денег на оборудование.


                  Мы эту проблему успешно решили. Если интересно как — велком под кат

                  Читать дальше →
                • Спустя 6 лет вышла новая версия легендарного аварийного дистрибутива Hiren's BootCD



                    Сегодня праздник у железячников, ремонтников, сисадминов и эникейщиков!
                    После долгого забвения был возобновлен выпуск легендарного загрузочного диска Hiren's BootCD.

                    Hiren's BootCD (также известный как HBCD) представляет собой загрузочный образ с программным обеспечением для записи на CD\DVD\USB-flash, содержащий ряд диагностических утилит, таких как тесты производительности системы, программы для форматирования и разметки, средства клонирования и создания образов диска, инструменты для восстановления данных, инструменты для работы с MBR, инструменты прошивки и модификации BIOS и других средств для исправления различных компьютерных проблем.

                    На этот раз дистрибутив базируется на 64-разрядной Windows PE 10.0 и содержит только легальные для свободного распространения программы, при условии, что вы будете использовать HBCD исключительно в целях диагностики и устранения компьютерных неисправностей, а не в качестве основного ПО для компьютера.

                    Выпуском новых официальных версий занимается группа особо преданных фанатов дистрибутива, которым был передан доступ к официальному сайту (старая версия сайта до анонса новых версий), в то время как оригинальный автор давно отошел от дел.
                    Читать дальше →
                  • Как мы добавили подъезды на карту и сократили размер баз на 10%



                      В конце прошлого месяца 2ГИС начал отображать подъезды. Входы в организации мы показываем аж с 2013 года, а подъезды — вроде бы те же входы. Так почему только сейчас? Все внутренние продукты и процессы готовы, всего-то нужно дособрать ещё чуть-чуть да подправить отображение в UI.

                      Кроме стандартного ответа «Были другие приоритеты» есть и не совсем стандартный: «Не всё так просто». Эта статья про то, какие были сложности и как мы их решили.
                      Заходим!
                    Самое читаемое