Ksqldb — это абстракция поверх kafka streams, а kstream и ktable — работают как консьюмеры-продьюсеры поверх топиков и локальных хранилищ данных.
Обработка сообщений параллелится по количеству партиций (например, в топике 6 партиций — значит, можно распараллелить обработку только на 6 машин).
Если я не ошибаюсь, то таблицы, которые создаются в коде, могут содержать только данные из тех же партиций, которые уже обрабатываются данным приложением (другие данные взять неоткуда, помимо запросов ко внешним источникам).
Сами данные из таблиц бэкапятся локально на случай падения приложения и бэкапятся в топик на случай падения машины.
Можно запрашивать данные и из других партиций/приложений, но это уже сложнее. Там есть global state store и есть interactive queries для таких вещей.
В ноутбуках серьёзные проблемы с охлаждением. В итоге в этих GS процессор и видеокарта работать на полную мощность будут минуту-две, а потом уйдут в жесточайший троттлинг. Был личный опыт, сравнивал два одинаковых i7 в компактном MSI GS и обычном ноутбуке. Первая минута — паритет в бенчмарке. После 5 минут — разница уже в 3 раза. По сравнению с декстопом всё ещё хуже.
Обработка сообщений параллелится по количеству партиций (например, в топике 6 партиций — значит, можно распараллелить обработку только на 6 машин).
Если я не ошибаюсь, то таблицы, которые создаются в коде, могут содержать только данные из тех же партиций, которые уже обрабатываются данным приложением (другие данные взять неоткуда, помимо запросов ко внешним источникам).
Сами данные из таблиц бэкапятся локально на случай падения приложения и бэкапятся в топик на случай падения машины.
Можно запрашивать данные и из других партиций/приложений, но это уже сложнее. Там есть global state store и есть interactive queries для таких вещей.