• Дао интеграции Сбербанка: от локальных сетей к Kafka и потоковой разработке

      Привет, Хабр! Меня зовут Михаил Голованов, в Сбертехе я занимаюсь технической архитектурой и перспективными разработками. У нас, как и у любого современного банка, есть множество систем, которые поддерживают разные стороны работы банка: вклады, счета, зачисление денег, кредитование, финансовые рынки, акции и т.д. Всякий раз, когда появляется какая-то новая система, мы начинаем следующий уровень увлекательной игры под названием «Интеграция». И каждый следующий уровень сложнее предыдущего — ведь систем нужно охватывать все больше и больше. Этот пост — то, что в геймерских кругах именуется walkthrough: сначала мы пробежимся по локальным сетям и затем через очереди сообщений перейдем к масштабному этапу потоковых вычислений посредством Apache Kafka в широко распределенных сетях.  


      Читать дальше →
    • Советы по оптимизации кода на Java: как не наступать на грабли

      • Перевод
      Добрый вечер, коллеги.

      Перевод статьи, который мы вам предложим сегодня, призван помочь ответить на вопрос: а назрела ли необходимость целой книги по оптимизации кода на Java? Надеемся, что материал не только покажется вам интересным, но и пригодится на практике. Пожалуйста, не забудьте проголосовать.
      Читать дальше →
    • SSH у людей не достаточно безопасен. Как я борюсь с паранойей

        Под моим надзором примерно 1000 железных серверов, VPS даже не начинаю считать. Пару десятков из них обладают весьма критичными данными. И банальный ssh с ключами в стандартной ситуации не достаточно безопасен. Не все «кожаные люди» берегут ключи, поговорим как защититься от возможности потери ключа пользователем.
        Читать дальше →
      • У тебя есть быстрый сайт? А если проверю?

          Поисковые системы намеренно, а пользователи — интуитивно оценивают сайты по времени загрузки, а не только по качеству и релевантности контента. С недавнего времени важен стал также показатель скорости мобильной версии сайта. Но, в отличии от контента, за этими параметрами следить сложнее, особенно если целевая аудитория выходит далеко за пределы родного (для хостинга) города. Эта публикация опишет, как это все же можно сделать, используя сервис мониторинга сайтов ХостТрекер, и рассмотрит одно из возможных решений проблемы.


          Читать дальше →
        • Профессиональная иммиграция в Нидерланды: как это было

          image

          Прошлым летом я инициировал, а несколько месяцев назад успешно завершил процесс смены работы, приведший меня к релокации в Нидерланды. Хотите узнать, как это было? Добро пожаловать под кат. Осторожно — очень длиннопост.
          Читать дальше →
        • Лекции Технополиса. Проектирование высоконагруженных систем (осень 2017)



            Мы начинаем публиковать курсы лекций Технополиса — образовательного проекта команды Одноклассников в Санкт-Петербургском Политехническом университете Петра Великого. Создание высоконагруженных приложений — это не только проектирование и написание кода, но и огромное количество других аспектов на всём протяжении жизненного цикла продукта. Мы пройдём по всему процессу создания и использования высоконагруженной системы. Особое внимание будет уделено особенностям эксплуатации, сетям, балансировке нагрузки, иерархии памяти, повседневным инструментам. Также поговорим о мониторинге, аудите и многом другом. Лекции курса читает команда экспертов под руководством ведущего разработчика в Одноклассниках Вадима Цесько.

            Список лекций:

            1. Введение (Вадим Цесько)
            2. Типовые архитектуры (Александр Христофоров)
            3. Эксплуатация (Илья Щаников)
            4. Сетевой стек (Дмитрий Самсонов dmitrysamsonov)
            5. Балансировка (Андрей Домась)
            6. Процессоры и память (Алексей Горбов)
            7. Хранилища данных (Сергей Егоричев)
            8. JVM (Андрей Паньгин apangin)
            9. Мониторинг (Сергей Шарапов Sharapoff)
            10. Облака (Леонид Талалаев)

            Читать дальше →
          • Любительская астрономия: взгляд изнутри сообщества на хобби и грабли новичков

              Извиняюсь, если зря поместила пост в хаб космонавтики: к сожалению, хаба с названием «космос» или подобного не нашла. Так же извиняюсь за некоторое количество саморефлексии в трех следующих абзацах, но саморефлексия необходима, так как пост является критическим по отношению к нескольким ранее опубликованным, и за опечатки, которые наверняка присутствуют в моем посте (но будут исправляться по мере того, как я буду их замечать).

              На написание своего поста меня сподвигла серия таких:

              А Вы подключали телескоп к компьютеру?
              Айтишник на отдыхе: а как насчет телескопа?
              Айтишник на отдыхе: добавим немного астрономии?
              Айтишник на отдыхе: прибамбасы к телескопу

              Спасибо большое авторам, что они популяризируют любительскую астрономию, но при чтении этих постов у меня несколько раз от неудобства и стыда сжимались пальцы на ногах.
              Может быть, это не так и важно: В конце концов, Хабрахабр это ресурс ИТ-ков, а любительская астрономия это всего лишь хобби, и каждый занимается хобби так, как ему нравится. А может, нет, и критиковать, поучать, как заниматься хобби можно?

              Это пост про грабли, на которые Вы скорее всего наступите, если увлечетесь таким красивым, романтичным, но сложным хобби. Мой пост не является очень популярным, он рассчитан на человека, который уже хоть что-то почитал (например, вышеозначенные посты, которые мне не понравились, хотя авторам я все равно поставила плюс в карму за популяризацию). В посте могут встречаться непонятные термины. Если Вас это напрягает, пожалуйста, не читайте.

              Для затравки анекдот.
              Приходит в магазин телескопов покупатель, и спрашивает:

              — А можно у Вас купить телескоп за три тысячи рублей?
              — Ну… можно, но линзы будут пластмассовыми, и лучше не стоит, возьмите вот лучше рефрактор за 6 тысяч. — Продавец показывает рукой на самый популярный среди школьников линзовый телескоп
              — Хорошо, а можно купить телескоп за 25 тысяч? — Вопрошает покупатель
              — Можно, — Отвечает продавец, показывая рукой на восьмидюймовый ньютон на EQ5 — это очень хороший телескоп для начинающих
              — А в него можно увидеть плеяды сквозь облака? — спрашивает покупатель
              — К сожалению, нельзя… — Качает головой продавец
              — А есть телескоп за 100 тысяч? — Не унимается покупатель
              — Да, вот — Продавец показывает на компьютеризированный и навороченный Nexstar 11SE
              — А в него можно увидеть туманность Андромеды днём?
              — К сожалению, нельзя, — качает головой продавец
              — А зачем тогда он такой дорогой нужен?

              Так получилось, что любительская астрономия стала моим главным хобби. Мне бы очень хотелось поделиться с хабрасообществом, которое вдруг решится на обретение нового хобби, своим опытом. Может быть, далеко не самым большим, но зато своим. Мой хороший знакомый, которого я считаю лучшим визуальщиком-наблюдателем объектов дальнего космоса Москвы, а может быть и России, считает себя наблюдателем со средним скиллом(сравнивая себя с наблюдателями всего мира), меня начинающей, а все новички, получается, находятся вне классификации. Не знаю, дает ли мне такой опыт право на написание постов на тему любительской астрономии на Хабрахабре? Я раньше считала что нет, не дает, но вышеприведенная серия постов изменила эту точку зрения, и мне очень захотелось написать пост, который бы предостерег начинающих любителей астрономии (не по классификации знакомого наблюдателя), от наступления на грабли, которые могут отбить желание заниматься этим хобби.

              «О каких граблях речь? Это же хобби! Им каждый занимается так, как ему нравится!» — Воскликнет скептик, и будет прав:
              Например, ИТ-кам нравятся всякие высокотехнологичные жужжащие штуки, ну вот пускай и покупают мелкоскопчик с GoTo системой за ограниченный бюджет. Пусть мелкоскоп после наведения в точку на небе, где находится галактика «Игла» NGC 4565, такая красивая на фотографиях, со своими газопылевыми облаками не покажет ничего ни через окно кухни квартиры в центре Москвы, ни даже с застекленной и тёплой веранды дачи :) Главное, что мелкоскопчик жжужит, мигает красивыми красными огнями на пульте, и владелец оборудования доволен новым гаджетом и приощением к небу, сидя в тепле и комфорте, не так ли?

              Или всё-таки не так? Если не так, добро пожаловать под кат. В противном случае, пожалуйста, не читайте мои многобукв про грабли, ведь в хобби наступление на грабли может быть даже своеобразным мазохизмом, и в чём-то быть приятным наступающему!

              Читать дальше →
            • Астротрекер за два вечера

              • Tutorial
              После прочтения статьи про любительскую астрономию я загорелся идеей поснимать звезды с помощью обычной камеры без телескопа. Статья подсказала идею про астротрекеры — устройства для компенсации вращения звездного неба на длительных выдержках.



              Погуглив, я обнаружил что их легко можно купить. Но вот цена кусалась. Например, самый дешевый Vixin Ploarie Star Tracker стоит от $400 + доставка. Да и грузоподъемность его вызывала сомнения. В перспективе я планировал от широкоугольного объектива перейти и к 70-200/2.8 который вместе с камерой весят под полтора кг.

              В процессе поиска оказалось что люди делают себе так называемые Barn Door трекеры: раз, два и другие. Попросту говоря — дверь от сарая. Принцип действия прост — две доски соединенных дверным навесом. Одна из них поворачивается с такой же скоростью как и земля вокруг своей оси. Ось навеса направляетя на Полярную звезду. Нижняя доска ставится на штатив, а на подвижную половинку ставится штативная голова с камерой.

              Под катом много картинок.
              Читать дальше →
            • Математики нашли проблему в знаменитых уравнениях для описания жидкостей

              • Перевод

              Два математика доказали, что при определённых экстремальных условиях уравнения Навье-Стокса выдают бессмыслицу


              Уравнения Навье-Стокса при помощи нескольких лаконичных членов описывают одно из самых распространённых явлений физического мира: течение жидкостей. Сегодня эти уравнения, появившиеся ещё в 1820-х, используются для описания всего, от океанских течений и турбулентности, следующей за самолётом до потока крови в сердце.

              Хотя физики считают эти уравнения надёжными, как молоток, математики относятся к ним с недоверием. Для математика то, что эти уравнения вроде бы работают, мало что значит. Им нужны доказательства того, что уравнения безошибочны: что для любой жидкости и для долгосрочного прогноза, распространённого сколь угодно далеко в будущее, математика уравнений не подведёт. Такую гарантию оказалось нелегко отыскать. Первый человек или команда, которая сумеет доказать, что уравнения Навье-Стокса будут работать всегда — или представить пример, доказывающий, что они не работают — сможет получить награду за решение одной из "Задач тысячелетия", анонсированных математическим институтом Клэя, и миллионом долларов в придачу [по состоянию на 2017 год только одна из семи задач тысячелетия (гипотеза Пуанкаре) решена Григорием Перельманом / прим. перев.].
              Читать дальше →
            • Как устроен dtraceasm в JMH

                В последней версии Java Microbenchmark Harness (JMH) появился новый профайлер — dtraceasm, долгожданный порт perfasm на Mac OS X, который умеет показывать ассемблерный профиль Java-бенчмарка.


                Блиц-опрос показал, что не всем понятно, как в принципе возможно, получив на входе Java-метод, на выходе показать ассемблерный листинг скомпилированного метода с самыми горячими инструкциями, их распределением и небольшим профилем вида "А еще 5% времени виртуальная машина провела в методе Symbol::as_C_string(char*, int)".


                В процессе портирования perfasm выяснилось, что на самом деле™ все не очень сложно и появилось желание рассказать, как такой профайлер устроен.


                Для понимания статьи крайне желательно ознакомиться с JMH, например, посмотрев на примеры его использования.

                Читать дальше →