Kafka — это популярный способ потоковой загрузки данных в ClickHouse. ClickHouse имеет встроенный коннектор для этой цели — движок Kafka. Наши друзья из Cloudfare первоначально создали этот движок для ClickHouse. С тех пор движок Kafka был значительно переработан и теперь поддерживается разработчиками Altinity. Однако не всегда очевидно, как использовать его наиболее эффективным образом. Мы попытались восполнить этот пробел, проведя вебинар по Kafka, который прошел успешно. В этой статье мы собрали типичные вопросы, которые мы получаем по поводу использования движка Kafka. Надеемся, что наши рекомендации помогут избежать распространенных проблем.

Всем привет! Я хотел бы поделиться своим опытом по расширению высоконагруженного кластера ClickHouse, немного о том как работает репликация и шардирование.

В предыдущей статье мы поговорили про роль Data Engineer в Х5, какие задачи он решает и с каким технологическим стеком работает. Рассмотрели структуру собеседования, основные направления, по которым мы оцениваем кандидатов, и подробно разобрали базовые требования, предъявляемые нами к уровню владения Python.

В данной статье мы разберём требования к ключевым для Data Engineer в X5 навыкам: распределённые системы и вычисления на Hadoop / Spark, а также SQL и проектирование схемы данных.

Что такое IPFS?

В статье Наблюдение за выполнением конкурирующих задач в Go и Rust коллега cpmonster привёл весьма интересные результаты:

Программа на Rust показала намного большую производительность при вычислении членов возвратной последовательности, чем программа на Go: 367 млн. итераций в секунду против 44 млн.

Ну, в 1.5 раза… Ну, в 2 раза… Но семь гвардейцев за два дня? — это слишком, тем более что тут "гвардейцев" больше восьми!

Или нет, не слишком? В общем, потенциал любопытства пересилил другие потенциалы и я провёл своё исследование.

Fail2ban — утилита чрезвычайно полезная во многих случаях. Думаю, многие используют её для того, чтобы в автоматическом режиме блокировать особенно назойливых «посетителей». К сожалению, если входящий поток становится слишком большим, fail2ban теряет все свои полезные свойства, потому что разбор лога безнадёжно отстаёт от реальности.

Лог nginx из 100 тысяч строчек fail2ban при самых простых настройках разбирает порядка 45 секунд. Нехитрыми манипуляциями его можно ускорить раз в 6, но этого оказалось недостаточно. Наивная реализация на аналогичного фильтра на Rust уже обеспечила требуемую производительность, но если уж взялся за оптимизацию, то остановиться трудно.

* только необходимую часть функционала

Прошедший год наш проект "Лаборатория свободного интернета" провел, разбираясь в в различных, часто не очень приятных аспектах взаимодействия операторов мобильной связи и их пользователей. В процессе мы наткнулись на несколько интересных юридических моментов, о которых ни я, ни мои коллеги даже не подозревали. Обобщив этот опыт, решил поделиться.

Вы задавались вопросом, кому принадлежит ваш номер телефона? На номер завязано многое — доступы к соцсетям и мессенджерам, на него приходят СМС авторизации в банковских приложениях, телефонный номер привязан к сайту Госуслуг…

Пока мы работали над нашим расследованием про «пробив», мы обнаружили такую  нелегальную услугу, как перевыпуск чьей-либо сим-карты без ведома владельца телефонного номера. На самом деле, как нам кажется, поигрывать с этой опцией могут и сами операторы. Вспомним нашумевший кейс Романа Доброхотова (признан иноагентом в РФ), чей номер испарился из баз МТС; или даже внезапные ночные отключения сервисов на телефонных номерах у активистов. 

Пока абонент отдыхал…

Злоумышленники с чужой симкой могут натворить всякого. Например, нам попалось интересное судебное решение в деле с перевыпуском сим-карты.

Абонент МТС из Москвы поехала отдыхать в теплые края, где с ее сим-картой произошли неполадки, и она перестала работать. В это время некие злоумышленники в салоне сотовой связи получили дубликат этой сим-карты (что, вероятно, и явилось причиной прекращения работы основной сим-карты), а с его помощью — доступ к онлайн-банку. После чего аккуратными суммами, не вызывающими подозрений у банка, вывели со счета средства на общую сумму, явно имеющую значение для абонента.

Мне всегда хотелось иметь возможность отлаживать bash-scripts так же, как и любой другой код, т.е. по шагам, и bash такую возможность предусмотрел, но о ней не все знают. Несмотря на довольно большой опыт использования Linux, я дошёл до неё только недавно.

Тестирование — один из процессов, который может быть автоматизирован в рамках CI/CD. Надёжное и тщательное автоматизированное тестирование позволяет быть уверенным в новых сборках, снижает затраты на производство и повышает качество продукта. Но даже в крупных компаниях на больших проектах оно есть не всегда. 

Обычно в тестирование начинают вкладываться, когда багов становится слишком много, недовольство клиентов растёт, и начинают «гореть» деньги бизнеса. Вместе с Александром Довнаром, Lead DevOps в Naviteq, мы разобрали, что такое непрерывное тестирование и какую роль оно занимает в CI/CD. А ещё рассмотрели кейс, как компании приходят к его внедрению, и что это внедрение даёт. 

Привет, Хабр! Сегодня я расскажу об одном реальном переезде с проприетарного ПО на opensource-аналоги. Миграция на СПО — тема, конечно, избитая до безобразия. Но этот кейс интересен тем, что задача решалась в комплексе: под замену пошла вся экосистема инфраструктурного и прикладного ПО заказчика. Проект завершили в конце прошлого года, и поэтому в тексте вы найдете много отсылок к  экономическим соображениям. Но пока я собирался рассказать обо всем подробно, ситуация  сильно поменялась и бизнес-показатели ушли на второй план. Однако сам опыт масштабной миграции стал еще более актуальным — по крайней мере, когда я заканчивал текст этого поста, Коммерсантъ сообщил о росте  спроса на отечественное ПО (в основном, работающее на базе открытых технологий) на 600% только за неделю. И если вам тоже теперь нужно переезжать на СПО, надеюсь, опыт нашей команды окажется действительно полезным, а экономические выкладки, которые я делал для данной миграции, пусть остаются приятным бонусом.