• Адаптивная балансировка нагрузки или как повысить надёжность микросервиса

      Привет, меня зовут Геннадий, я работаю в Ozon, занимаюсь разработкой backend-сервисов.

      Избыточностью компонентов, кластеризацией или балансировкой уже никого не удивишь в наши дни. Это очень важные и нужные механизмы. Но так ли они хороши? На сколько они защищают нас от возможных отказов?

      В Ozon все перечисленное используется, но мы сталкивается с проблемами, которые выходят за рамки возможностей стандартных решений и нужны иные подходы и инструменты. Я уверен, что и у вас есть кластеризация и она также не спасает на все сто.

      В статье я хочу затронуть некоторые из этих вопросов и показать, как мы повышаем надежность сервисов с помощью адаптивной балансировки.

      Читать далее
    • Что делать, если украли смартфон

        image


        Евгений (MalDeckard) Черешнев поделился личным опытом и написал исчерпывающий гайд, который может помочь многим людям и предостеречь от последствий:

        У меня на днях украли смартфон — профессиональный вор-велосипедист на скорости выхватил из рук прямо в центре города и был таков. Это может случиться с кем угодно и в любой стране мира. Я, в силу профессиональной деформации вокруг IT, данных, приватности и безопасности, к ситуации был морально готов и знал, что делать. Друзья, с которым поделился историей посоветовали написать памятку, которую может использовать каждый человек, даже далекий от айти. Этот текст — эта самая памятка. Смартфон она вам не вернет. Но, если кому-то поможет снизить ущерб и сэкономит седых волос — значит, не зря потратил время на написание, а вы — на прочтение.

        Справедливости ради, большинство воров уже в курсе того, что каждый смартфон — это, по сути, радиомаяк, по которому всегда можно укравшего отследить. Поэтому они редко оставляют его включенным — практически сразу достают и выбрасывают SIM-карту, сам телефон вырубают и сдают на запчасти за копейки. Что крайне обидно — ибо шансы того, что, например, мой iPhone 12 Pro Max 512 банально разберут на экран, аккумулятор и несколько особо востребованных микросхем — стремятся к 100%. То есть, вор украл крайне дорогой девайс, а получит за него или хрен или (если он идиот) — срок. Но это не всегда так. Иногда можно получить реально грузовичок и тележку проблем. Во-первых, в ряде типов краж (как в моем случае) телефон попадает в руки плохого парня в разлоченном состоянии и есть риск, что злоумышленник девайс специально не залочит — будет держать его активированным и извлекать из него максимальную пользу, на что у него будет в теории до 24ч (после чего сработает система защиты в заводских настройках и снова попросит ввести пин-код, даже, если телефон до сих пор разлочен).
        Читать дальше →
      • Матричное умножение. Медленное достижение мифической цели

        • Перевод
        В недавней работе был установлен новый рекорд скорости по умножению двух матриц. Она также знаменует и конец эпохи для метода, который ученые применяли для исследований на протяжении десятилетий.


        Математики стремятся к достижению мифической цели — второй степени (exponent two), то есть к умножению пары матриц n х n всего за n2 шагов. Исследователи подбираются все ближе к своей цели, но получится ли у них когда-нибудь достичь ее?
        Читать дальше →
        • +28
        • 10,7k
        • 8
      • Мастера перевоплощений: охотимся на буткиты

          Прогосударственые хакерские группы уже давно и успешно используют буткиты — специальный вредоносный код для BIOS/UEFI, который может очень долго оставаться незамеченным, контролировать все процессы и успешно пережить как переустановку ОС, так и смену жесткого диска. Благодаря тому, что подобные атаки сложно выявить (вендорам ИБ удалось лишь дважды самостоятельно обнаружить такие угрозы!), наблюдается рост интереса к подобному методу заражения компьютеров и среди финансово мотивированных преступников — например, операторов TrickBot. Семен Рогачев, специалист по исследованию вредоносного кода Group-IB, рассказывает как охотиться за подобными угрозами в локальной сети и собрать свой тестовый стенд с последним из обнаруженных UEFI-буткитов Mosaic Regressor. Бонусом - новые сетевые индикаторы компрометации, связанные с инфраструктурой Mosaic Regressor, и рекомендации по защите в соответствии с MITRE ATT&CK и MITRE Shield.

          Читать далее
          • +13
          • 3,9k
          • 9
        • Команды GDB, о которых вы возможно не знали


            Отладка кода — это как охота. Охота на баги.
            — Amit Kalantri

            Что такое GDB


            GNU Debugger — переносимый отладчик проекта GNU, который работает на многих UNIX-подобных системах и умеет производить отладку многих языков программирования, включая Си, C++, Free Pascal, FreeBASIC, Ada, Фортран и Rust. GDB — свободное программное обеспечение, распространяемое по лицензии GPL.
            Источник: GNU Debugger — Википедия


            Проще говоря GDB — отладчик, который работает прямо из консоли.


            В данной статье я опишу команды, о которых раньше не знал, однако, они оказались очень полезными при отладке в GDB.

            Читать дальше →
            • +13
            • 4,1k
            • 2
          • Собираем Свой Суперкомпьютер Недорого

              thumbnail


              Нынче никого не удивишь достижениями искусственного интеллекта машинного обучения (ML) в самых разных областях. При этом доверчивые граждане редко задают два вопроса: (i) а какая собственно цена экспериментов и финальной системы и (ii) имеет ли сделанное хоть какую-то целесообразность? Самым важным компонентом такой цены являются как ни странно цена на железо и зарплаты людей. В случае если это все крутится в облаке, нужно еще умножать стоимость железа в 2-3 раза (маржа посредника).


              И тут мы неизбежно приходим к тому, что несмотря на то, что теперь даже в официальные билды PyTorch добавляют бета-поддержку ROCm, Nvidia де-факто в этом цикле обновления железа (и скорее всего следующем) остается монополистом. Понятно, что есть TPU от Google и мифические IPU от Graphcore, но реальной альтернативы не в облаке пока нет и не предвидится (первая версия CUDA вышла аж 13 лет назад!).


              Что делать и какие опции есть, когда зачем-то хочется собрать свой "суперкомпьютер", но при этом не хочется платить маржу, заложенную в продукты для ультра-богатых [мысленно вставить комментарий про госдолг США, майнинг, крах Бреттон-Вудсткой системы, цены на здравоохранение в странах ОЭСР]? Чтобы попасть в топ-500 суперкомпьютеров достаточно купить DGX Superpod, в котором от 20 до 100 с лишним видеокарт. Из своей практики — де-факто серьезное машинное обучение сейчас подразумевает карточки Nvidia в количестве примерно 8-20 штук (понятно что карточки бывают разные).

              Читать дальше →
            • И еще один сервис проверки паспортов или опять вопрос сколько гигабайт в одном мегабайте

              Какое-то время назад появилась возможность уделить внимание языку Go и удачно на глаза попалась публикация «Паспортный контроль, или Как сжать полтора гигабайта до 42 мегабайт» . В статье кратко, но информативно, рассказывается о тестовой задаче по разработке сервиса проверки номеров российских паспортов на предмет наличия их в списке недействительных паспортов.  Среди основных требований к реализации – это скорость проверки и доступность сервиса.  

              После прочтения статьи для себя решил, что именно на этой практической задаче можно построить свое обучение Go.  Действительно, задача c проверкой недействительных паспортов, хоть и избитая, но интересная, а раз уж требования по производительности здесь в приоритете, то реализация на Go здесь будет вполне уместна.

              Кроме того, в упомянутой выше статье затронуты вопросы эффективной, с точки зрения памяти, организации битовых массивов (bitmap). И эта тема достаточно актуальна и востребована в разных прикладных решениях, например, в виде bitmap-индексов для СУБД.

              Итак, есть желание посмотреть на новый для себя язык Go, есть интересная проблематика в виде организации и использования bitmap, есть практическое применение, на котором эти две задачи можно отработать. 

              Читать далее
              • +13
              • 3,8k
              • 3
            • Хроника противостояния Роскомнадзора и Twitter (обновлено 2021-03-21)



                10 марта в 10 утра по московскому времени Роскомнадзор заявил, что доступ к Twitter для пользователей из России будет замедлен. Поводом стало размещение 3168 единиц контента, «склоняющего несовершеннолетних к совершению самоубийств, содержащего детскую порнографию или информацию об использовании наркотических веществ».

                Замедление — уже не первое столкновение сервиса микроблогов и российского регулятора. Ниже хронология этого и предыдущих конфликтов.
                Читать дальше →
              • Обзор Adafruit Feather RP2040: как Raspberry Pi Pico, только лучше


                  Совсем недавно ребята из Raspberry Foundation представили новую плату, главным элементом которой является собственный SoC, RP2040. Плата отличная, ничего не скажешь, но некоторых возможностей, конечно, не хватает.

                  Сторонние разработчики занялись решением этого вопроса: — на основе той же системы на кристалле они создают собственные платы с новыми функциями. Одна из них — Adafruit Feather RP2040. Что там у нас нового?
                  Читать дальше →
                • Dagcoin — Not Yet Another ShittyCoin или феерическая история мошенников

                    Никогда не думал, что буду писать на тему криптовалюты. Ну и Хабр сообщество относится к этим темам достаточно негативно. Ну тут дело даже не в самой пирамиде очередной говномонеты DagCoin, а в карикатурности персонажей, которые эту пирамиду продвигают. Нет, это не султан Брунея, и даже совсем не особа королевской крови, это один из членов команды SuccessFactory MLM пирамида DagCoin, очень мутная, но очень фееричная личность Олег Иванов. Все фотографии взяты с открытого доступа или предоставлены им. Это невероятный по целому набору качеств человек, который занимается продвижением этой схемы, и это будет статья с препарированием очередной пирамиды! Вы увидите, каким образом мошеннические команды нагло обманывают людей, чуть модифицируют схему и сразу же угрожают судом, как только говоришь очевидные вещи. Поскольку схема оперирует в России, и ближнем зарубежье, то информация будет полезна тем, кто наберет в Гугле название монеты и получит полную информацию. Поехали.

                    image
                    Читать дальше →
                  • Приключения персональных данных в России

                      Пришел ко мне хороший приятель с просьбой помочь разобраться с защитой персональных данных, так как недавно к нему заглянули ответственные товарищи и напугали огромной ответственностью – типа штрафы выросли за прошлый год в 6000 раз. Я в этой теме поковырялся и обнаружил, что многие валят в одну кучу и требования к защите персональных данных в соответствии со 152 ФЗ и уровнями защищенности от 1-го до 4-го, и требования по 242 ФЗ в части локализации обработки персональных данных граждан РФ. Дисклеймер:
                      В 90% случаев нужен 3-й уровень. Вот его повально все нарушают, даже не подозревая об этом!

                      Читать далее
                    • C и Python: мост между мирами

                      • Tutorial

                      Вам интересно подключить всю мощь Python в свою программу на C? Отлично: в статье содержится минимальный крэш-курс по подключению интерпретатора Python, загрузке своего кода и взаимодействию с ним из программы на C.

                      Приготовления завершены
                    • Аудиосоцсети наступают, но пока малым числом

                        На волне интереса к Clubhouse, основателям которого все чаще приходится отвечать на критику, набирают популярность новые аудиосоцсети — Cappuccino, Audlist, Nibble и ряд других проектов, стремящихся стать жизнеспособной альтернативой «клубному дому». Обсуждаем наиболее заметные начинания, их особенности, преимущества, недостатки и перспективы.

                        Читать далее
                      • 5 HTML-трюков, о которых никто не говорит

                        • Перевод

                        Все веб-разработчики широко используют HTML, независимо от того, какой фреймворк или серверный язык используется. Фреймворки и языки программирования могут приходить и уходить, но HTML никуда не денется. Но, несмотря на такое широкое использование, всё ещё есть теги и свойства, о которых большинство разработчиков не знают. На мой взгляд, лучше использовать возможности HTML, когда это возможно, вместо достижения той же функциональности с помощью JavaScript, хотя я признаю, что написание HTML может утомить.

                        Несмотря на то что многие разработчики ежедневно используют HTML, они не пытаются оттачивать свой навык и поэтому не применяют некоторые из редко обсуждаемых фичей HTML. Специально к старту нового потока курса по веб-разработке, делимся материалом в котором приведены 5 тегов и атрибутов HTML, которые вам следует знать.

                        Читать далее
                      • Математики нашли решение задачи трех кубов для числа 3

                          Сотрудники Бристольского университета и Массачусетского технологического института смогли представить число 3 в виде суммы трех кубов целых чисел. Они показали 21-разрядное решение задачи.

                          Читать далее
                        • Подключение к платежному сервису — быстро и удобно. Миф или реальность? Часть 2

                            Всем привет! Совсем недавно мы рассказывали про внутреннюю кухню подключения к платежному сервису: как ускоряем и автоматизируем процессы в части заключения договора. А сегодня мы поговорим о технической стороне вопроса — об интеграции сайтов и сервисов с нашим платежным решением.

                            Если начать по порядку, то для приема платежей интегрироваться с сервисом ЮKassa не обязательно — с помощью сервиса можно выставлять клиентам счета. Для этого в Личном кабинете ЮKassa можно создать ссылку для оплаты товара или услуги и отправить покупателю. Подробно мы рассказали про этот сервис в одной из Хабр-статей. А сейчас хотим рассказать, какие способы интеграции сайта и нашего платежного решения мы развиваем.

                            Читать далее
                          • Кодирование Рида-Соломона для чайников

                              Есть способ передавать данные, теряя часть по пути, но так, чтобы потерянное можно было вернуть по прибытии. Это третья, завершающая часть моего простого изложения алгоритма избыточного кодирования по Риду-Соломону. Реализовать это в коде не прочитав первую, или хотя бы вторую часть на эту тему будет проблематично, но чтобы понять для себя что можно сделать с использованием кодировки Рида-Соломона, можно ограничиться прочтением

                              этой статьи
                            • Тариф «100к+», или как вельми зело огорчить спамера


                                Уже не впервые сталкиваюсь, что читатели Хабра не все поголовно умеют правильно бороться со спамом. И я не про SpamAssasin, «Ктозвонил» и прочие приложения для фильтрации информационного мусора, а про несложную, но весьма доставляющую всем сторонам процесса подачу жалобы в ФАС.

                                Давайте расскажу, как буквально за 15 минут не отрываясь от любимого компьютера подключить спамеру задораздирающий тариф линейки «Административный»: «Административный 100к», «Административный 150к» и вплоть до «Административный 500к» – как повезет.
                                Читать дальше →
                              • Эксперт обнаружил баг в Windows 10. Использование определенного пути в адресной строке браузера уводит систему в ВSOD



                                  По информации Bleeping Computer, эксперт Джонас Л. рассказал о баге при использовании определенного пути в адресной строке браузера, например, Chrome, во всех версиях Windows 10, начиная с 1709 и выше, включая 20H2. Если баг задействовать, то система завершит работу и выдаст BSOD. Запустить эту процедуру можно в один клик. Причем этот процесс доступен любому пользователю с пониженными привилегиями в системе, а не только администратору.
                                  Читать дальше →