Как стать автором
Обновить
4
0

Пользователь

Отправить сообщение

Как мы построили корпоративную шину данных на Kafka, которая обрабатывает до 3 млн сообщений в секунду

Время на прочтение10 мин
Количество просмотров27K

Привет! Меня зовут Иван Гаас, я руковожу автоматизацией процессов разработки в Почтатехе — компании, создающей цифровые продукты для Почты России.

Среднее количество сообщений, которые мы обрабатываем в Почте — от 500 тысяч до миллиона в секунду. В пики, когда наша big data прогоняет свои 25 петабайт данных — до 3 миллионов. При этом кластер Kafka состоит всего из 12 серверов в каждом из 3 дата-центров и справляется с этим.

C 2016 года мы в три раза увеличили количество новых цифровых сервисов. Корпоративная шина на Kafka помогла быстро масштабироваться: количество интеграций за последнее время упало с 1000 до 300 и теперь растёт незначительно. Если раньше интеграция сервиса растягивалась на месяцы, то теперь достаточно нескольких дней.

Я расскажу, как мы построили шину, которая обеспечивает такую производительность.

Читать дальше
Всего голосов 30: ↑29 и ↓1+35
Комментарии14

Судьбы героев

Время на прочтение11 мин
Количество просмотров23K
В конце есть краткое содержание.

Герои – это такие сотрудники. Вы их наверняка видели. Возможно, и вы – герой.

Уникальные. Сверхпродуктивные. Влюбленные в своё дело. Не просто способные, а реально делающие то, что другим только в мечтах является, и так, что остаётся только завидовать. Способные заменить собой с десяток других.

Или по-другому. Неуправляемые. Нарушающие все мыслимые и немыслимые правила. Не укладывающиеся в сроки. Требующие к себе особого отношения. Выскочки. Непонятные, пугающие, выводящие из себя.

Отношение к героям внутри компании – всегда разное, и зависит, в первую очередь, от точки обзора. Объединяет героев одно – трагическая судьба в компании. Примеров долгой и успешной карьеры – единицы, а случаев выдавливания из компании любыми способами – масса.
Читать дальше →
Всего голосов 70: ↑62 и ↓8+75
Комментарии34

Система мониторинга и записи сигналов для Arduino и не только

Время на прочтение2 мин
Количество просмотров10K
Всем привет. Еще одна попытка сделать нормальную систему для отображения графика значений данных.  
Всего голосов 17: ↑16 и ↓1+15
Комментарии9

Микро-UPS на ионисторах

Время на прочтение8 мин
Количество просмотров32K
Доброго времени суток всему уважаемому сообществу. Имею честь предложить хабровчанам, заинтересованным в радиоэлектронике, несколько рассуждений и конкретную реализацию блока резервного питания на ионисторах (они же суперконденсаторы с двойным электрическим слоем), предназначенного обеспечить корректное завершение работы процессорного модуля на ARM-микроконтроллере, работающего под стандартным Linux Debian.
Читать дальше →
Всего голосов 59: ↑59 и ↓0+59
Комментарии67

Что такое платформа Tarantool IIoT?

Время на прочтение11 мин
Количество просмотров15K

image


Недавно в пресс-релизе мы рассказали о том, что запустили Tarantool IIoT — платформу для промышленного интернета вещей. Новость облетела многие электронные издания. Но что такое Tarantool IIoT и как он работает — тема оставалась не до конца раскрытой. Мы решили это исправить. Подробности под катом.

Читать дальше →
Всего голосов 39: ↑39 и ↓0+39
Комментарии44

ClickHouse: очень быстро и очень удобно

Время на прочтение21 мин
Количество просмотров251K


Виктор Тарнавский показывает, что оно работает. Перед вами расшифровка доклада Highload++ 2016.

Здравствуйте. Меня зовут Виктор Тарнавский. Я работаю в «Яндексе». Расскажу про очень быструю, очень отказоустойчивую и супермасштабируемую базу данных ClickHouse для аналитических задач, которую мы разработали.

Пару слов обо мне. Я Виктор, работаю в «Яндексе» и руковожу отделом, который занимается разработкой аналитических продуктов, таких как «Яндекс.Метрика» и «Яндекс.AppMetrica». Я думаю, многие из вас пользовались этими продуктами и знают их. Ну, и в прошлом, и по-прежнему пишу много кода, а раньше еще занимался разработкой железа.
Всего голосов 53: ↑47 и ↓6+41
Комментарии19

Микросервисная архитектура, Spring Cloud и Docker

Время на прочтение14 мин
Количество просмотров258K

Привет, Хабр. В этой статье я кратко расскажу о деталях реализации микросервисной архитектуры с использованием инструментов, которые предоставляет Spring Cloud на примере простого концепт-пруф приложения.



Код доступен для ознакомления на гитхабе. Образы опубликованы на докерхабе, весь зоопарк стартует одной командой.

Читать дальше →
Всего голосов 31: ↑31 и ↓0+31
Комментарии32

Микросервисы: опыт использования в нагруженном проекте

Время на прочтение17 мин
Количество просмотров68K


На конференции HighLoad++ 2016 руководитель разработки «М-Тех» Вадим Мадисон рассказал о росте от системы, для которой сотня микросервисов казалась огромным числом, до нагруженного проекта, где пара тысяч микросервисов — обыденность.

Тема моего доклада — то, как мы запускали в продакшн микросервисы на достаточно нагруженном проекте. Это некий агрегированный опыт, но поскольку я работаю в компании «M-Tех», то давайте я пару слов расскажу о том, кто мы.

Если коротко, то мы занимаемся видеоотдачей — отдаём видео в реальном времени. Мы являемся видеоплатформой для «НТВ-Плюс» и «Матч ТВ». Это 300 тысяч одновременных пользователей, которые прибегают за 5 минут. Это 300 терабайт контента, который мы отдаем в час. Это такая интересная задача. Как это всё обслужить?

Про что сама эта история? Это про то, как мы росли, как проект развивался, как происходило какое-то переосмысление каких-то его частей, какого-то взаимодействия. Так или иначе, это про масштабирование проекта, потому что это всё — ради того, чтобы выдержать ещё больше нагрузки, предоставить клиентам ещё больше функционала и при этом не упасть, не потерять ключевых характеристик. В общем, чтобы клиент остался доволен. Ну и немного про то, какой путь мы прошли. С чего мы начинали.
Читать дальше →
Всего голосов 78: ↑77 и ↓1+76
Комментарии65

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность