Системное проектирование
В подкасты! Рассказываем, как с помощью ИИ мы создали аудио-стриминг телеграм-каналов.
Сейчас в Телеграм много очень интересного контента. Но часто не хватает времени, чтобы все это читать. Вот тут-то и приходит на помощь Radiogram. Мы сделали так, что ваши любимые телеграм-каналы можно просто слушать – как подкасты.
Всем привет.
В статье я опишу, как мы настраивали реестр схем данных для того, чтобы использовать его для сериализации и десериализации сообщений Kafka.
Спойлер: на данный момент реестр схем данных настроен и используется в боевой системе, каких-то проблем, связанных с SR, замечено не было.
Мы расскажем, как настроить безопасность кластеров Kafka и Zookeeper, какие инструменты можно использовать для мониторинга и управления кластером, а также про особенности продукта, с которыми мы столкнулись.
Почему Apache Kafka?
Apache Kafka — это унификация. Десятки поставщиков и потребителей, миллионы сообщений в день и огромные массивы данных — для этого нужна надежная, отказоустойчивая и высокопроизводительная шина данных. Существует множество версий дистрибутивов Apache Kafka, например vanilla kafka, oбразы от confluent, bitnami, wurstmeister и т.д. Мы расскажем про решение на базе сборок от Confluent в виде Docker-образов. Оно самое надежное в плане информационной безопасности. Конфигурирование и запуск контейнеров с Kafka в данном случае происходит с помощью docker-compose.
За время работы с Kafka мы прошли путь от «коробочного» решения до тонкой настройки безопасности кластера, применения TLS шифрования и разворачивания по рекомендациям вендора по построению геораспределенного кластера. В конфигурации «из коробки» нет первоначальных настроек безопасности. Для контроля доступов, вносимых изменений и безопасного взаимодействия перед нами встала задача настройки на кластере Apache Kafka TLS шифрования, аутентификации и авторизации средствами встроенного ACL.
TLS шифрование
Обеспечивает шифрование соединения между брокерами Kafka, серверами Zookeeper, клиентами и брокерами. Вся ключевая информация помещается в хранилища — keystore, которые разделяют на два вида:
• keystore, где хранятся ключи и сертификаты стороны, в отношении которой пройдет процедура аутентификации и установления защищенного соединения, например, приватный ключ и ассоциированный с ним и подписанный со стороны центра сертификации (ЦC) сертификат.
Привет, я Леша, и я подписан на 38 телеграм-каналов. В этих каналах много интересного: про технологии и стартапы, про бизнес и политику, про финансы и науку.
Вот только есть проблема - у меня редко бывает время, чтобы все это читать. Но я готов слушать! По дороге на работу, на тренировке в спортзале, на прогулке с коляской, во время разных бытовых дел.
Так и родилась идея телеграм-радио. Потом были 9 месяцев сложной и неочевидной разработки, и получился Radiogram (www.radiogram.ai).
Есть два типа личности по тому, как они отвечают сами себе на вопрос о том, почему есть разница между тем, каким должен быть мир для автора вопроса к себе и тем, каков этот мир есть. В чем корень проблемы между "хочу" и "есть"?
Одни отвечают что проблема "в мире", другие отвечают что проблема в "во мне".
Первые это психотики, вторые - невротики. Есть пограничное между ними состояние - оно так и называется "пограничное".
const worker = new Worker('test.worker.js');
worker.onmessage = (data) => {
if(data.eventName === 'someFuncResult')
someFunc();
else if(data.eventName === 'someFunc2Result')
someFunc2();
};
worker.postMessage({eventName: 'someFunc'});
self.addEventListener('message', (data) => {
if(data.eventName === 'someFunc') {
doSomeFunc();
self.postMessage('someFuncResult');
}
if(data.eventName === 'someFunc2') {
doSomeFunc();
self.postMessage('someFunc2Result');
}
})
Мы рады представить сообществу сервис PushAuth, который позволяет Вашим клиентам авторизироваться с помощью PUSH-сообщений на мобильном устройстве!
Эта идея не новая и многие компании в своих приложениях уже используют эту технологию. Всё выглядит достаточно просто, пока не рассматриваешь вопросы: безопасности, менеджмента устройств и клиентов, совместимости и комфортной работы.
— Расскажи нам, как проходила начальная разработка Node? Это ведь уже было достаточно давно, ты создал Node в 2009.
