Ускоряем индексацию нодлистов Фидонета при помощи Java Streams и Spring Data JDBC: перебираем нодлисты прямиком с СУБД

[kolezz]

Может стоит рассказать что это вообще за проект и что он делает. Чтобы понять что именно ускоряется. И чем лучше, например, какой-нибудь системы контроля версий для исторических исследований

[oldzoomer]

Если вкратце, это аналог nodehist.wfido.ru, только уже в рамках современного стека.

Проект, по большей части, является полигоном, в котором я практикую многие современные технологии в Java-мире.

[ris58h]

В статье есть утверждения типа «значительно снизит потребление ОЗУ» и что-то про неэффективность другого подхода и ускорение, но я так нигде и не увидел цифр, которые бы наглядно показали читателю каких результатов удалось добиться.

[oldzoomer]

У меня раньше, когда я использовал findAll() типа List<T>, NodehistJ мог сожрать огромное количество ОЗУ (требовался сервер с 8+ Гб ОЗУ). Потом перешёл на пагинацию - но это приводило к замедлению уже на стороне СУБД (из за LIMIT+OFFSET), и нодлисты могли грузиться по несколько часов (на слабых серверах) из за полного перебора по всему БД. Сейчас же индексация проходит намного шустрее, и не требует значительного объема ОЗУ (NodehistJ требует теперь 3-4 гига ОЗУ, из за своей микросервисной сущности).