Как стать автором
Обновить

Cloudera митап про интерактивные SQL запросы к потоковым данным пройдет 27.04 в 16:00 МСК

Блог компании Cloudera Big Data *Хранение данных *Hadoop *Data Engineering *


Cloudera Streaming Analytics предлагает SQL Stream Builder как сервис для создания непрерывных запросов к вашему потоку данных, используя SQL.

Конструктор SQL Stream Builder (SSB) — это комплексный интерфейс для создания заданий по обработке потоковых данных с контролем состояния данных с помощью SQL. Используя SQL, вы можете легко и просто создавать запросы, которые фильтруют, агрегируют, маршрутизируют и иным образом модифицируют потоки данных. SSB представляет собой интерфейс управления заданиями для компоновки и выполнения непрерывного SQL на потоках, а также для создания надежных API-интерфейсов для получения результатов.
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 367
Комментарии 0

Roblox подробно объяснила октябрьский сбой

Серверная оптимизация *Серверное администрирование *Игры и игровые консоли

В Roblox рассказали подробности технического сбоя, который длился с 28 по 31 октября 2021 года. В этот период игровая онлайн-платформа была недоступна для пользователей. Сбой вызвали две проблемы: включение новой функции потоковой передачи в Consul при необычно высокой нагрузке чтения и записи, а также производительность в BoltDB. Система BoltDB с открытым исходным кодом используется в Consul для управления журналами.

Читать далее
Всего голосов 25: ↑21 и ↓4 +17
Просмотры 6.9K
Комментарии 6

Adobe Flash Player и передача потоковых данных без участия сервера, часть 1-я: организация пирингового вещания

Adobe Flash
Из песочницы
    Как известно недавнее обновление продуктов Adobe Flash Player до 10.1 и Adobe AIR до 1.5 версий осуществило целый фурор, презентовав новый протокол связи Real-Time Media Flow Protocol (RTMFP). Заранее попрошу не путать вышеупомянутый с Real-Time Messaging Protocol (RTMP) для использования которого был необходим Adobe Flash Media Server (FMS) на стороне обслуживающего сервера.
    Разработчики обещают, что протокол будет обладать низкой задержкой во времени при пересылке пакетов, но самое главное, протокол ориентирован на организацию пиринговой сети.
Читать дальше →
Всего голосов 49: ↑44 и ↓5 +39
Просмотры 18K
Комментарии 30

Apache Kafka: обзор

Блог компании Издательский дом «Питер» Программирование *Java *Apache *Big Data *
Перевод
Привет, Хабр!

Сегодня мы предлагаем вам сравнительно краткую, но при этом толковую и информативную статью об устройстве и вариантах применения Apache Kafka. Рассчитываем перевести и выпустить книгу Нии Нархид (Neha Narkhede) et. al до конца лета.


Приятного чтения!
Читать дальше →
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 287K
Комментарии 19

Знакомство с реактивными потоками – для Java-разработчиков

Блог компании Издательский дом «Питер» Программирование *Java *Проектирование и рефакторинг *Scala *
Перевод
Привет, Хабр!

Сегодня мы вернемся к одной из тем, затрагиваемых в нашей замечательной книге "Реактивные шаблоны проектирования". Речь пойдет об Akka Streams и потоковой передаче данных в целом — в книге Роланда Куна этим вопросам посвящены главы 10 и 15-17.
Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 20K
Комментарии 4

Потоковая передача данных из REST сервиса в MQ очередь

Java *
Из песочницы
Привет, Хабр!

В статье я опишу способ разработки REST сервиса, позволяющего принимать файлы и сохранять их в систему обмена сообщениями в потоковом режиме без необходимости хранения всего файла на стороне сервиса. Также будет описан обратный сценарий, при котором клиент будет получать в качестве ответа файл, размещенный в системе обмена сообщениями.

Для наглядности я приведу примеры кода разработанного сервиса на JEE7 под сервер приложений IBM WebSphere Liberty Server, а в качестве системы обмена сообщениями будет выступать IBM MQ.
Тем не менее, описанный метод подходит и для других аналогичных платформ, т.е. в качестве системы обмена сообщений может выступать любой поставщик JMS API, а в качестве сервера приложений любой JEE сервер (например, Apache Tomcat).
Читать дальше →
Всего голосов 11: ↑9 и ↓2 +7
Просмотры 16K
Комментарии 10

Kafka как хранилище данных: реальный пример от Twitter

Блог компании Издательский дом «Питер» Восстановление данных *Apache *Big Data *Профессиональная литература *
Перевод
Привет, Хабр!

Нас давно занимала тема использования Apache Kafka в качестве хранилища данных, рассмотренная с теоретической точки зрения, например, здесь. Тем интереснее предложить вашему вниманию перевод материала из блога Twitter (оригинал — декабрь 2020), в котором описан нетрадиционный вариант использования Kafka в качестве базы данных для обработки и воспроизведения событий. Надеемся, статья будет интересна и натолкнет вас на свежие мысли и решения при работе с Kafka.
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 10K
Комментарии 0

Стриминг Edge2AI на NVIDIA JETSON Nano 2Гб с использованием агентов MiNiFi в приложениях FLaNK

Блог компании Cloudera Big Data *Машинное обучение *Hadoop *Видеокарты
Перевод

Стриминг Edge2AI на новой карте NVIDIA JETSON Nano 2 Гб с использованием агентов MiNiFi в приложениях FLaNK

Устройство NVIDIA Jetson Nano 2GB великолепно - ничего лишнего. Скорость вполне подходит для большинства потребностей, особенно для задач разработки и прототипирования. Настройка проста, система быстрая, я настоятельно рекомендую всем, кто ищет быстрый способ поэкспериментировать с ИИ на периферии и другими пограничными рабочими нагрузками. Я также подключил свой Jetson к монитору, клавиатуре и мыши, и я могу использовать его сразу же как для вычислений на периферии, так и в качестве основного рабочего стола. С большим количеством таких устройств можно будет легко запустить MiNiFi агентов, модель классификации на Python и модели Deep Learning. Я также покажу, как быстро запустить на ней модель глубокого обучения для классификации изображений с веб камеры.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 1.7K
Комментарии 0

gRPC + Dart, Сервис + Клиент, напишем? Часть 3

Dart *Flutter *
Туториал

Привет, я Андрей, работаю Flutter разработчиком в компании Финам.

Продолжим развивать сервис Umka.

На примере реализации кода для проведения "экзамена" мы познакомимся с возможностью технологии gRPC передавать данные в виде потока от клиентского приложения на сервис.

Также парой-тройкой десятков строчек кода мы реализуем чат, для проведения "технического интервью".

Для этого используем возможность gRPC осуществлять двунаправленную потоковую передачу данных от сервиса к клиентскому приложению и обратно в рамках одного HTTP/2 соединения.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 3K
Комментарии 1

Стримим Новый год в реальном времени: какой протокол выбрать (HESP, WebRTC, RTMP, HLS)

Блог компании G-Core Labs Работа с видео *Разработка систем связи *Облачные сервисы *Видеоконференцсвязь

Наш клиент планирует стримить видео празднования Нового года на всех своих пользователей. Транслировать контент предстоит на сотни тысяч человек с минимальными задержками — так, чтобы зрители встретили 2022 год не позже соседей. Мы сравнили решения для быстрой доставки видео и делимся результатами: рассказываем, как организовать дешёвый стриминг медиаданных на большую аудиторию.

Поехали!
Всего голосов 7: ↑5 и ↓2 +3
Просмотры 2.7K
Комментарии 0