• Как превратить две серверные стойки в сеть для десятков тысяч машин и не остаться в неоплатном техническом долгу

      Как и любое другое облако, Yandex.Cloud — это многослойная иерархия абстракций: SaaS, лежащий поверх PaaS, запущенный на IaaS. Связность виртуальной инфраструктуры обеспечивает виртуальная же сеть, которая является, по сути, оверлеем. И только в самой глубине этой системы обнаруживается физическая сеть из проводов и коммутаторов. Мало кто вспоминает о ней, пока всё работает. А меж тем она — кровеносная система всей платформы.

      Привет, я Марат Сибгатулин, сетевой инженер Yandex.Cloud. Яндекс про свою сеть рассказывал уже не раз. И про её физическую инфраструктуру, и про особенности устройства Yandex.Cloud, и про то, как вообще работает виртуальная сеть. Не буду повторяться. Расскажу о том, как мы запустили публичное облако на том, что было — на двух стойках, и масштабировали его до сети для десятков тысяч серверов, не наращивая неоплатный технический долг.



      Мы практикуем следующий подход к созданию и развитию чего бы то ни было: прототип → минимально необходимая функциональность и масштаб → рост → эволюционное развитие. На первый взгляд он естественен и очевиден, в отличие от подхода «сделать сразу идеально и на века». На деле — требует вдумчивого предварительного планирования, чтобы потом не подставлять в горячке новые костыли под старые, пытаясь поспеть за внезапным ростом.
      Читать дальше →
    • Самописный антиспам-сервис Gotoh, или как мы боролись за «белизну» IP-адресов

        Система антиспама в Selectel до самописного решения

        Привет, Хабр! Я Саша Федосеев, младший разработчик Python в Selectel. Несколько лет назад, когда наша компания начала особенно быстро расти, мы столкнулись с проблемой. Нашими ресурсами начали интересоваться всякие недобросовестные спамеры из жарких стран. У нас есть довольно бюджетные конфигурации виртуалок, а что им еще для счастья надо.

        Почему мы решили с ними бороться? Ну, рассылается почта с аккаунтов, что тут такого… Однако с точки зрения облачного провайдера есть причины, почему все-таки стоит пресекать «размножение» спамеров.
        Читать дальше →
        • +50
        • 7.3k
        • 4
      • После пожара бэкапы OVH становятся бесплатными для всех клиентов


          Сгоревший дата-центр OVH в Страсбурге

          На прошлой неделе во Франции был уничтожен в пожаре один из дата-центров европейского облачного провайдера OVH. Этот инцидент должен стать уроком для индустрии, сказал Октав Клаба (Octave Klaba), основатель компании. По его словам, индустрия хостинга должна отказаться от идеи, что резервное копирование — это дополнительная услуга, за которую клиенты платят дополнительно.

          По крайней мере, сама OVH после данного инцидента начинает предоставлять услугу резервного копирования клиентам во всех своих дата-центрах без какой-либо дополнительной платы.
          Читать дальше →
        • [Личный опыт] Черногория — страна, как сон. Самая простая история переезда



            Олег Маюрченко был фронтенд-разработчиком в белорусском офисе Object Style. В августе в Минске, по его словам, «начался полнейший дурдом», и он принял решение куда-то уезжать. Москва не рассматривалась, он жил там 16 лет, обратно не хотелось. Приняли решение поехать и посмотреть Черногорию. И очень-очень просто получили ВНЖ! Цены оказались абсолютно не драконовскими, а климат — идеальным.


            Олег уехал и продолжил работать по удаленке на ту же компанию. Настолько понравилось, что теперь часто помогает другим, отвечает на вопросы в Фейсбуке. Мы поговорили с ним о его жизни в Будве, плюсах и минусах Черногории, местной кухне, налогах и жизни по принципам «полако».

            Читать дальше →
          • Почему я по-прежнему пользуюсь RSS

            • Translation


            Я твёрдо верю, что Интернет и его философия максимально проявились именно в RSS.

            RSS или Really Simple Syndication является (или был в прошлом, в зависимости от вашей точки зрения) средством, которое объединяет в один канал практически все онлайн-ресурсы. Вы заходите на сайт, если он вам нравится, то добавляете его RSS в свой любимый ридер — и с этого момента мгновенно получаете уведомления о любом новом контенте. Вот так просто.

            Расцвет RSS пришелся на эпоху Веб 2.0 (около 1999-2010 гг.), когда движущей силой многих инноваций была полная свобода делать всё что угодно с информацией из интернета. Конечно, всё это происходило до того, как начали развиваться социальные сети в нынешнем виде, а большинство этих концепций оказались изолированы в своих замкнутых социальных фидах.
            Читать дальше →
          • Почему чип Apple M1 такой быстрый?

            Опыт использования новых маков с М1 начинает расставлять точки над i. Эти чипы быстрые. Очень быстрые. Но почему? В чем магия?

            Я смотрел видео на Youtube, где автор купил iMac в прошлом году максимальной конфигурации. Машина с 40+ Gb ОЗУ стоила ему около 4000$. Он смотрел с недоверием, как его гипердорогой iMac был разнесен в пух и прах новеньким Mac mini с М1 на борту, который стоил около 700$.

            В реальном мире, тест за тестом, макбуки с М1 не просто превосходят топовые компьютеры Intel прошлых поколений. Компьютеры Mac просто уничтожают их. С недоверием люди стали спрашивать, как такое возможно?

            Читать далее
          • Почему бизнес хочет DevOps и что нужно знать инженеру, чтобы говорить с ним на одном языке

              Последние несколько лет мы при каждом удобном случае снова и снова обсуждаем, что же такое DevOps. Это уже порядком надоело, но раз всё еще происходит, значит есть проблема — проблема взаимодействия бизнеса и инженеров.

              Я часто вижу, как люди, пришедшие к применению DevOps из разных сфер, говорят на разных языках и понимают под словом DevOps совершенно разное. В итоге в какой-то момент времени оказывается, что участники проекта по трансформации абсолютно не понимают и друг друга, и зачем нужен весь этот DevOps тоже.



              Я не хочу рассуждать о том, что такое DevOps и какое его понимание более правильное. Мне интересно проследить за эволюцией процессов в IT и разобраться, что бизнес хочет получить от внедрения DevOps, что это значит для инженеров и как нам быть на одной волне.
              Читать дальше →
              • +29
              • 10.3k
              • 1
            • Как запускается сервер: UEFI


                Ранее мы уже разбирали последовательность запуска сервера на примере устаревшего Legacy. Настало время познакомиться с UEFI поближе.

                Первая версия того, что сейчас известно как Unified Extensive Firmware Interface (UEFI), разрабатывалась в 90-е годы прошлого тысячелетия специально под системы на Intel® Itanium® и называлась Intel Boot Initiative, а позже — EFI.

                Желание «обновить» процесс загрузки было ожидаемо. PC-BIOS, именуемый ныне Legacy, предлагает работать в 16-битном real mode, адресует всего 1 МБ оперативной памяти, а загрузчик вместе с таблицей разделов должен размещаться в первых 512 байтах накопителя. Более того, PC-BIOS передает управление первому найденному загрузчику без возможности возврата назад. При этом обработку случаев с несколькими операционными системами возлагают на плечи загрузчика.
                Читать дальше →
              • Бизнес-модель Остервальдера: что это такое?

                  Стратегическое планирование важно для каждого бизнеса. Один из самых популярных инструментов — бизнес-модель Остервальдера. Он простой и эффективный, подходит как для развивающихся, так и уже давно работающих компаний. В этой статье поговорим о истории появления модели и подробно разберем каждый блок.

                  image
                  Читать дальше →
                • Клоакинг фотографий для защиты от систем распознавания лиц



                    Современные системы распознавания лиц представляют угрозу личной приватности. Уже сейчас такие системы ежедневно сканируют миллионы лиц в Китае, Великобритании и России без их согласия. Поставлена задача, чтобы в следующем году 100% пассажиров в топ-20 аэропортов США незаметно подвергали этой процедуре.

                    Исследователи из Чикагского университета придумали любопытный алгоритм клоакинга, который позволяет защититься от распознавания лиц.
                    Читать дальше →
                    • +32
                    • 11.8k
                    • 8
                  • Оптимизация сервера Minecraft


                      В нашем блоге мы уже рассказывали, как создать свой сервер Minecraft, однако с тех пор прошло 5 лет и многое поменялось. Делимся с вами актуальными способами создания и оптимизации серверной части столь популярной игры.

                      За свою 9-летнюю историю (если считать от даты релиза) Minecraft заработал потрясающее количество поклонников и хейтеров как среди обычных игроков, так и среди гиков. Простая концепция мира из кубиков превратилась из обычного развлечения в универсальную среду для общения и создания различных объектов из реального мира.
                      Читать дальше →
                      • +6
                      • 20.2k
                      • 2
                    • Как книга «Электроника шаг за шагом» обрела новую жизнь



                      Привет, Хабр!

                      Хорошие новости для тех, кто следил за историей переиздания книги Рудольфа Свореня «Электроника шаг за шагом» — книга вот-вот, на днях, покинет типографию и попадёт в руки читателей. Почему так долго пришлось ждать новое издание книги? Что изменилось в тексте? А иллюстрации всё те же? Что со схемами  — по-прежнему, на МП39, с плюсовой «землей»? Будет ли электронная версия книги? На эти и другие вопросы, я попытаюсь ответить ниже.
                      Читать дальше →
                    • Как масштабировать дата-центры. Доклад Яндекса

                        Мы разработали дизайн сети дата-центров, который позволяет разворачивать вычислительные кластеры размером больше 100 тысяч серверов с полосой бисекции (bisection bandwidth) свыше одного петабита в секунду.

                        Из доклада Дмитрия Афанасьева вы узнаете об основных принципах нового дизайна, масштабировании топологий, возникающих при этом проблемах, вариантах их решения, об особенностях маршрутизации и масштабирования функций forwarding plane современных сетевых устройств в «плотных» (densely connected) топологиях с большим числом ECMP-маршрутов. Кроме того, Дима коротко рассказал об организации внешней связности, физическом уровне, кабельной системе и способах дальнейшего увеличения емкости.



                        — Всем добрый день! Меня зовут Дмитрий Афанасьев, я сетевой архитектор Яндекса и занимаюсь преимущественно дизайном сетей дата-центров.
                        Читать дальше →
                      • Умная хрущёвка на максималках

                          Моя статья про проводной умный дом была популярной на Хабре (159 тысяч просмотров) — в ней я описал положительный опыт от идеи до реализации умного дома в новостройке.

                          Вместе с тем, у меня есть опыт интеграции и со старыми домами — квартира в типовом советском пятиэтажном кирпичном доме семидесятых годов постройки уже 5 лет автоматизирована. Она имеет единую панель управления для разных подсистем и не зависит от облачных сервисов. В отличии от новостройки, эта квартира в пятиэтажке была автоматизирована не сразу, а поэтапно за несколько лет, по мере возникновения интереса к разным элементам управления и контроля, таким как:

                          1. мониторинг приборов учета;
                          2. датчики контроля: домофона, температуры, шума, открытия дверей, ...;
                          3. единая панель управления умным домом;
                          4. подъездное видеонаблюдение;
                          5. настенный дисплей для текущего времени и температуры за окном;
                          6. освещение в квартире, включая кнопку «выключить всё»;
                          7. удаленное обесточивание квартиры;
                          8. удаленное перекрытие воды.


                          3D модель этой двухкомнатной квартиры 47 кв.м, которая была автоматизирована, нарисованная в Sweet Home 3D
                          Хрущёвка в полном фарше
                        • Поднимаем свой полноценный игровой Minecraft сервер с мини-играми. Часть 1. Выбираем и устанавливаем сервер



                            Часть 2. Устанавливаем карту для лобби сервера

                            Часть 3. Устанавливаем мини-игры

                            tl;dr;
                            И так, что будет сделано в конце всего туториала?

                            • создадим основной сервер, так называемое лобби — место, куда попадают все игроки, только что подключившиеся к серверу
                            • запустим второй сервер, на котором установим популярную мини-игру Murder Mystery
                            • установим и настроим прокси сервер, который соединит игровой клиент и запущеные серверы таким образом, что игроки не заметят, что они переходят с одного сервера на другой
                            • создадим игрового персонажа, который будет перенаправлять нас на сервер с мини-игрой
                            • Установим еще одну популярную мини-игру SkyBlock
                            • Добавим внутриигровое меню на основе предметов инвентаря игрока
                            • Добавим внутриигровые деньги
                            • Создадим магазин
                            • … и многое другое

                            Посмотреть, что в итоге получилось у меня: mc.piratebayserver.net
                            По любым вопросам пишите в Discord.

                            Поехали!
                            Читать дальше →
                          • Простой прием для управления прокрастинацией

                              Попробую поделиться советом, как можно немного осознать свое состояние и выработать полезный навык. Все написанное основано только на личном опыте, желании им поделится и почерпнуть из обратной связи полезное.
                              Читать дальше →
                            • Чем на самом деле должен заниматься менеджер продукта

                                Ярополк Раш из Wargaming рассказал, кого на самом деле ищут работодатели, чем продакт-менеджер отличается от продюсера и по какому фреймворку он работает.

                                Проблема большинства продуктовых конференций в том, что темы докладов не имеют никакого отношения к управлению продуктами. Докладчики рассказывают о метриках, модных фреймворках, OKR и KPI, но не о том, чем на самом деле должен заниматься менеджер продукта. Попробуем разобраться, почему так вышло.

                                image

                                Ярополк Раш на конференции ProductSense

                                Читать дальше →
                              • Сказ о том, как я автоматизировал квартиру с помощью Node-RED. Часть I

                                  За прошлый год я собрал и настроил автоматизацию для небольшой квартиры около оживленной дороги. В этой статье я расскажу об использованных решениях в климатической системе, освещении, мультимедиа и в программном обеспечении.


                                  Читать дальше →
                                • do {Yoga} while (болит спина)

                                  Вступление


                                  Это обыкновенная история про самого обыкновенного IT-шника, которая, тем не менее, может быть интересна людям различных профессий. Статья не про то, как я добился успеха в той или иной IT-дисциплине, будь то программирование, администрирование или дизайн. Моя история про то, как я угробил свою спину за 10 лет работы в IT, и как потом ее вылечил.

                                  image

                                  Цель моего текста — не популяризация йоги как образа жизни, мышления или философии, это всего лишь мой личный опыт, который, я надеюсь, может стать кому-то очень полезен. Также хочу заметить, что статья не призывает вас к самолечению или к отрицанию традиционной медицины, но призывает к самоорганизации и более внимательному отношению к себе, то есть НЕигнорированию проблем и их корней.

                                  Перед написанием текста я изучил публикации моих коллег по цеху, например, вот эту, и не хочу повторяться, но, на мой взгляд, моя статья имеет несколько другое направление, хотя и рассказывает о том же предмете. Плюс, я надеюсь, что кого-то может зацепить или, говоря научно, мотивировать, тот эмоциональный фон, на подъеме которого я эту статью сочиняю. То, что описано ниже, пожалуй, самое значительное мое достижение на данном этапе моей жизни. Я только сейчас это осознал и просто не могу не рассказать об этом окружающим.

                                  С чего все началось и чем закончилось


                                  Итак, все началось давным давно и довольно банально, как и у большинства моих соотечественников. А именно: 10 лет сидячий жизни в школе = проблемы с осанкой, + 7 лет сидячей жизни в университете = проблемы с осанкой (уже видимо начались непосредственно проблемы с позвоночником) + 10 лет сидячей работы в IT = проблемы с осанкой (уже совершенно точно серьезные проблемы с позвоночником). Я периодически занимался какими-то физическими упражнениями типа игры в футбол, катания на сноуборде или нерегулярных походов на тхэквандо, но, насколько мне кажется теперь, это скорее негативно, чем позитивно отражалось на состоянии моей спины.
                                  Читать дальше →
                                • Интеллектуальный Ethernet-коммутатор для планеты Земля


                                    «Создать решение (решить проблему) можно несколькими способами, но, не всегда самый дорогой или/и популярный способ — самый эффективный!»

                                    Преамбула


                                    Года три назад, в процессе разработки дистанционной модели аварийного восстановления данных, я столкнулся с одним, незамеченным сразу, препятствием — недостатком информации о новых оригинальных решениях для виртуализации сетей в комьюнити-источниках. 

                                    -> Введение. Теоретическая часть. Интеллектуальный Ethernet-коммутатор для планеты Земля
                                    -> Практическое руководство по строительству виртуальных сетей. Часть 1
                                    -> Практическое руководство по строительству виртуальных сетей. Часть 2
                                    Читать дальше →
                                    • +36
                                    • 14.9k
                                    • 9