Pull to refresh

Comments 1

Возможно вопрос более подходит к вашей предыдущий стать. Вот на примере лайков. Flink как вы пишете работает без batch в реальном времени и т д.

Считаем лайки (суммируем по статьям). Внутри flink они инкрементируются обрабатывая сообщение за сообщением. И есть sink в базу например mongo. И как они в базу пишутся ? Также на каждый лайк происходит update в базу данных? Это же создаст туже нагрузку что я просто буду писать напрямую в базу update like++. Посмотрел параметры в настройках sink для mongo , там есть параметры таймаутов, размеров буферов и т д. Но ничего связанного с решением описанной проблемы.

Так вот мне flink не подходит и мне нужно переходить как раз на batch по типу spark?

Или это какие то сложные ручные Processorы надо писать чтобы они делали flush в бд с условиями 'или изменения за 1 минуту или накопили 1000 записей на update'

0

Sign up to leave a comment.