• Сериал «Чернобыль»: смотреть и думать

      Горький опыт сериалов, которые хорошо начинаются и разочаровывающе заканчиваются, удерживал меня от написания восторженного обзора на сериал «Чернобыль» до этой недели. И сейчас, когда вышла последняя, пятая серия, к сожалению, я вынужден сказать, что это отличный сериал, это прекрасный повод узнать больше о чернобыльской катастрофе, его обязательно стоит посмотреть, если вы еще не, но, если первые три серии, на мой взгляд, поднимаются до уровня моего самого любимого фильма «Аполлон-13», то две последние, опять же, по моему мнению, оказываются заметно похуже.


      Кадр из сериала

      Под катом спойлеры, как бы странно это не звучало для базирующегося на реальной истории сериала.
      Читать дальше →
    • Осторожный переезд в Нидерланды с женой и ипотекой. Часть 1: поиск работы

        На Хабре да и вообще в русскоязычном Интернете есть немало инструкций о том, как перебраться в Нидерланды. Я и сам немало полезного почерпнул из одной статьи на Хабре (ныне, видимо, скрытой в черновике уже нет, вот она). Но я все-таки расскажу о своем опыте поиска работы и переезда в эту европейскую страну. Помнится, и когда я только собирался рассылать резюме, и когда уже проходил собеседования, мне было очень интересно почитать об аналогичном опыте других коллег по цеху.

        image

        В общем, если вам интересен рассказ о том, как C++ программист из Подмосковья искал работу в Европе, желательно в Великобритании, а нашел-таки в Нидерландах, переехал туда сам и привез жену, все это с непогашенной ипотекой в России и с небольшими приключениями — добро пожаловать под кат.
        Читать дальше →
      • FAQ: что надо знать путешественнику-гику про прививки перед поездкой

          Мадагаскар закрывает границы!Вакцина — это способ показать иммунной системе сигнатуру угрозы, к которой за несколько циклов обучения будет выработан иммунный ответ.

          Любая борьба организма с инфекционным заболеванием — это попытки распознать сигнатуру угрозы и выработать контрмеры. В общем случае этот процесс ведётся до полного результата, то есть до выздоровления. Однако могут быть инфекции, которые:

          • Убивают носителя быстрее, чем будет выработан иммунный ответ.
          • Меняются быстрее, чем иммунная система сможет «распознать» патогены.
          • Маскируются и прячутся в местах, где очень сложно получить доступ к патогену.

          Поэтому в некоторых случаях лучше заранее устроить учения. Это и есть вакцины. Взрослый житель города привит от самых опасных инфекций в детстве. При вспышках инфекций или при помещении человека в опасную среду имеет смысл делать профилактические прививки. Путешествия относятся к таким ситуациям.

          Давайте сначала разберёмся с ликбезом, потом перейдём к путешествиям и списку действий.

          Почему путешествия опасны?


          Предположим, вы летите в Африку. Там есть повышенный риск жёлтой лихорадки. Простая вакцина обойдётся вам примерно в 1 500 рублей вместе с приёмом терапевта и услугами процедурного кабинета, вакцина более высокого уровня — в 3 000 рублей. Вылечиться от жёлтой лихорадки специализированными медикаментами нельзя (то есть можно только поддерживать ресурсы организма, пока он сам не справится), заболеть легко, летальность — около 10%, основной вектор — комары. Побочных эффектов у вакцины почти нет. Стоит вакцинация того? Наверное, да. Но решать вам.
          Читать дальше →
        • Начало

            «Проще, чем кажется» — бизнес-роман о том, на что еще способны программисты.


            1


            — Слушай, Сергей, ты меня достал уже. Просто назови срок, когда сделаешь отчет.

            — Я не хочу делать отчет в таком виде, это неправильно. Не отчет, а глупость какая-то. Галя, ты сама разве не видишь?

            — Я вижу задачу, которую мне, как начальнику отдела информационных технологий, поставил внутренний заказчик. Ты, между прочим, тоже работаешь в отделе информационных технологий, и исполнение задач — твоя прямая обязанность!

            — Даже если задача — полный бред? Даже если отчет никому не нужен, и никто не будет на него смотреть?

            — А это тебя вообще не касается! Много ты понимаешь в бухгалтерском учете? Отчет нужен главному бухгалтеру! Валерия — профессионал своего дела, и точно знает, чего хочет от автоматизации.

            — Может, хотя бы обсудим? Я не первый день работаю, повидал разных бухгалтеров, и представляю себе, чем они реально пользуются в работе, а что складывают в пыльный ящик.
            Читать дальше →
          • Hadoop Distributed File System

              Современные тенденции в развитии web-приложений и экспоненциальный рост информации, ими обрабатываемых, привел к потребности в появлении файловых систем ориентированных на обеспечение высокой производительности, масштабируемости, надежности и доступности. В стороне от данной проблемы не могли остаться такие гиганты поисковой индустрии, как Google и Yahoo.

              Специфика приложений и вычислительной инфраструктуры Google, построенной на огромном количестве недорогих серверов, с присущими им постоянными отказами, привело к разработке собственной закрытой распределенной файловой системы Google File System (GFS). Данная система нацелена на автоматическое восстановление после сбоев, высокую отказоустойчивость, высокую пропускную способность при доступе к данным в потоковом режиме. Система предназначена для работы с большими объемами данных, подразумевающих большие размеры хранимых файлов, поэтому GFS оптимизирована для соответствующих операций. В частности, в целях упрощения реализации и повышения эффективности GFS не реализует стандартный POSIX-интерфейс.

              Ответом GFS стал open source проект Hadoop, с его Hadoop Distributed File System.
              Читать дальше →
            • Теория и практика использования HBase

                Добрый день! Меня зовут Данил Липовой, наша команда в Сбертехе начала использовать HBase в качестве хранилища оперативных данных. В ходе его изучения накопился опыт, который захотелось систематизировать и описать (надеемся, что многим будет полезно). Все приведенные ниже эксперименты проводились с версиями HBase 1.2.0-cdh5.14.2 и 2.0.0-cdh6.0.0-beta1.

                1. Общая архитектура
                2. Запись данных в HBASE
                3. Чтение данных из HBASE
                4. Кэширование данных
                5. Пакетная обработка данных MultiGet/MultiPut
                6. Стратегия разбивки таблиц на регионы (спилитинг)
                7. Отказоустойчивость, компактификация и локальность данных
                8. Настройки и производительность
                9. Нагрузочное тестирование
                10. Выводы
                Читать дальше →
              • Oh, my code. Как стать системным администратором

                  Заместитель технического директора Mail.Ru Group Татьяна Бахаревская рассказывает о пути системного администратора, о плюсах работы сисадмином и особенностях эксплуатации в крупной компании. Татьяна отвечала и отвечает за работу сервисов двух крупнейших порталов России.


                  Ведущий программы — Павел Щербинин.
                  Читать дальше →
                • Дюжина приемов в Linux, которые действительно сэкономят уйму времени



                    Эта статья также есть на английском.

                    Однажды вечером, перечитывая Джеффри Фридла, я осознал, что даже несмотря на всем доступную документацию, существует множество приемов заточенных под себя. Все люди слишком разные. И приемы, которые очевидны для одних, могут быть неочевидны для других и выглядеть какой-то магией для третьих. Кстати, несколько подобных моментов я уже описывал здесь.

                    Командная строка для администратора или пользователя — это не только инструмент, которым можно сделать все, но и инструмент, который кастомизируется под себя любимого бесконечно долго. Недавно пробегал перевод на тему удобных приемов в CLI. Но у меня сложилось впечатление, что сам переводчик мало пользовался советами, из-за чего важные нюансы могли быть упущены.

                    Под катом — дюжина приемов в командной строке — из личного опыта.
                    Читать дальше →
                  • 20 приёмов работы в командной строке Linux, которые сэкономят уйму времени

                    • Translation
                    Тема полезных приёмов работы в терминале Linux неисчерпаема. Казалось бы — всё устроено очень просто: приглашение оболочки, да введённые с клавиатуры команды. Однако, в этой простоте кроется бездна неочевидных, но полезных возможностей. Именно поэтому мы регулярно публикуем материалы, посвящённые особенностям работы в командной строке Linux. В частности, сегодня это будет перевод статьи, автор которой увлечён экономией времени через повышение продуктивности труда.



                    Если вас интересует работа в командной строке Linux — вот некоторые из наших материалов на эту тему:

                    Читать дальше →
                  • Еще несколько слов о Path MTU Discovery Black Hole

                    Еще несколько слов о Path MTU Discovery Black Hole



                    Вместо вступления


                    Однажды для каждого настоящего системного администратора (или исполняющего обязанности такового) наступает момент истины. Ему выпадает судьба настроить маршрутизатор на компьютере с установленной ОС GNU/Linux. Те, кто это уже прошел, знают, что ничего сложного в этом нет и можно уложиться в пару команд. И вот наш админ находит эти команды, вбивает их в консоль и гордо идет к пользователям сказать, что уже все работает. Но не тут-то было – пользователи говорят что их любимые сайты не открываются. После траты некоторой части своей жизни на выяснение подробностей обнаруживается, что большая часть сайтов ведет себя следующим образом:
                    1. При открытии страницы загружается заголовок и больше ничего;
                    2. В таком состоянии страница висит неопределенно долгое время;
                    3. Строка статуса браузера все это время показывает что загружает страницу;
                    4. Пинги и трассировка до данного сайта проходят нормально;
                    5. Соединение по telnet на 80 порт тоже проходит нормально.
                    Обескураженный админ звонит в техподдержку провайдера, но там от него быстро избавляются, советуя попробовать настроить маршрутизатор на OC Windows, а если уж и там не работает тогда… купить аппаратный маршрутизатор.
                    Я думаю, эта ситуация знакома многим. Некоторые в нее попадали сами, у кого-то с ней сталкивались знакомые, а кто-то встречал таких админов на форумах и прочих конференциях. Итак: если у Вас Такая Ситуация, то — Поздравляю! Вы столкнулись с Path MTU Discovering Black Hole. Данная статья посвящается тому, отчего это бывает, и как решить эту проблему.

                    Читать дальше →
                  • Сheat-sheets «регулярные выражения»

                      Ловите 2 плаката с регулярными выражениями в форматах A2 и A3.

                      Плакаты просто идеальные, потому что красивые и полезные сразу. Распечатайте, повесьте, любуйтесь и пользуйтесь.
                      Читать дальше →
                    • Оптимизация скорости бэкапов средствами файловой системы (read ahead, опережающее чтение)

                      Данная статья адресована инженерам и консультантам работающим с производительностью операций, связанных с последовательным чтением файлов. В основном, это конечно бэкапы. Cюда же можно включить чтение больших файлов с файловых хранилищ, некоторые операции баз данных, например полное сканирование таблиц (зависит от размещения данных).
                      Читать дальше →
                    • Китай и китайцы. Взгляд со стороны. Часть 1



                        Прошло уже 5 месяцев с тех пор, как компания PHILIPS выбрала наш облачный сервис IVIDEON в качестве своего партнера. Мы были признаны действительно лучшими обойдя десяток претендентов на эту роль из разных уголков планеты.

                        Двенадцать перелетов в Гонконг и в Китай, чтобы на свет появилась камера PHILIPS — IVIDEON для её продажи во всех магазинах Apple по всему Миру.

                        Это действительно интересная история, которая показывает, что все-таки разработчики могут создать по-настоящему классный продукт. Более того без всяких “продавцов” заключать контракты мирового уровня.
                        Обещаю рассказать об этом немного позже, а сейчас я бы хотел поделиться с вами тем, каким предстал передо мной Китай. Без розовых очков и красок, как его видят многие туристы. Со здоровым скептицизмом, иногда с восхищением, а местами даже с отвращением. Этот пост, а точнее серия постов, будет полезна не только тем, кому просто интересно почитать о Китае, но и для тех, кто по тем или иным причинам задумывается о производстве или закупках продукции в этой стране. Так как не зная о том с кем придется иметь дело и особенности ведения бизнеса c китайцами можно легко быть обманутым и потерять не только деньги, но и время.

                        Перед тем как продолжить хотел бы сделать ремарку. Все повествование в статье основывается на собственном опыте посещения Гонконга, Шеньчженя, Гуанчжоу и Ханчжоу. Естественно, что Китай это огромная страна, где люди в зависимости от района будут отличаться не только по уровню культуры, но и внешне.
                        Читать дальше →
                      • Ожидание длиной в 15 лет. Nginx Application Server

                          Начиная с момента появления Nginx в 2004 году, мы все задавались вопросом: когда же на nginx можно будет запускать приложения? Мы запускали PHP в php-fpm и на апаче, запускали Python через uWSGI, иногда жили с Apache, а если нам нужны были разные версии PHP — жили с зоопарком из FPM-ов.

                          image

                          Только что на конференции NginxConf в Портленде Nginx, Inc. объявил о запуске Nginx Application Platform. ITSumma тестировала один из его компонентов, собственно сам Application Server под названием Nginx Unit с закрытой версии. В этом посте мы расскажем о том, как выглядит Nginx Unit, и как на нем запускать приложения.
                          Читать дальше →
                        • Vulnerable Docker VM — виртуалка-головоломка по Docker и pentesting



                            Британская компания NotSoSecure, специализирующаяся на penetration testing и ИТ-безопасности в целом, представила головоломку для специалистов по Docker под названием Vulnerable Docker VM.
                            Читать дальше →
                            • +15
                            • 8.9k
                            • 2
                          • Kubernetes на голом железе за 10 минут

                            • Translation


                            Kubernetes — это предназначенный для контейнерной оркестровки фреймворк с открытым исходным кодом. Он был создан с учетом богатейшего опыта Google в области создания сред управления контейнерами и позволяет выполнять контейнеризованные приложения в готовом к промышленной эксплуатации кластере. В механизме Kubernetes много движущихся частей и способов их настройки — это различные системные компоненты, драйверы сетевого транспорта, утилиты командной строки, не говоря уже о приложениях и рабочих нагрузках.


                            По ходу этой статьи мы установим Kubernetes 1.6 на реальную (не виртуальную) машину под управлением Ubuntu 16.04 примерно за 10 минут. В результате у вас появится возможность начать изучать взаимодействие с Kubernetes посредством его CLI kubectl.
                            Читать дальше →
                          • Материализуем результаты поиска, или как мы освободили 25 процессорных ядер


                              Не так давно мы решали задачу оптимизации потребления ресурсов нашего кластера elasticsearch. Неосилив настроить сам эластик, мы сделали что-то типа кэша результатов поиска, использовав при этом подход называемый "обратным" поиском или перколятором. Под катом рассказ про то, как мы работаем с метаданными метрик и собственно перколятор.

                              Читать дальше →
                            • Обзор систем мониторинга серверов. Заменяем munin на…

                              • Tutorial
                              Очень долго хотел написать статью, но не хватало времени. Нигде (в том числе на Хабре) не нашёл такой простой альтернативы munin, как описанная в этой статье.


                              Читать дальше →