oldzoomer31 дек 2025 в 14:01

Ускоряем индексацию нодлистов Фидонета при помощи Java Streams и Spring Data JDBC: перебираем нодлисты прямиком с СУБД

Простой

2 мин

11K

Java * Fidonet *

Кейс

Комментарии 8

kolezz 31 дек 2025 в 21:31

Может стоит рассказать что это вообще за проект и что он делает. Чтобы понять что именно ускоряется. И чем лучше, например, какой-нибудь системы контроля версий для исторических исследований

oldzoomer 1 янв в 08:34

Если вкратце, это аналог nodehist.wfido.ru, только уже в рамках современного стека.

Проект, по большей части, является полигоном, в котором я практикую многие современные технологии в Java-мире.

ris58h 1 янв в 13:42

В статье есть утверждения типа «значительно снизит потребление ОЗУ» и что-то про неэффективность другого подхода и ускорение, но я так нигде и не увидел цифр, которые бы наглядно показали читателю каких результатов удалось добиться.

oldzoomer 1 янв в 13:56

У меня раньше, когда я использовал findAll() типа List<T>, NodehistJ мог сожрать огромное количество ОЗУ (требовался сервер с 8+ Гб ОЗУ). Потом перешёл на пагинацию - но это приводило к замедлению уже на стороне СУБД (из за LIMIT+OFFSET), и нодлисты могли грузиться по несколько часов (на слабых серверах) из за полного перебора по всему БД. Сейчас же индексация проходит намного шустрее, и не требует значительного объема ОЗУ (NodehistJ требует теперь 3-4 гига ОЗУ, из за своей микросервисной сущности).

FisHlaBsoMAN 2 янв в 06:18

Сервер для фидо, жрущий 8гб.. Вот они современные технологии!

oldzoomer 2 янв в 10:39

Ну, сейчас оно где-то 2 гига жрёт в чистую. И то это связано с микросервисной архитектурой, где нужно несколько раз пихать практически один и тот же спринговый контекст в ОЗУ.

Индексация же сейчас проходит намного быстрее - в среднем, индексация диффов на Cloud.ru Free Tier, без managed DBMS, занимает 5 минут максимум.

oldzoomer 2 янв в 21:58

Сейчас проект перевожу на GraalVM, и очень надеюсь, что это снизит расход ОЗУ на порядок. Уже сейчас GraalVM позволило уменьшить размер Docker-образа за счёт использования native build вместо JRE, а если будет ещё и значительное уменьшение траты ОЗУ, будет вообще класс.

oldzoomer 3 янв в 08:41

Короче, гралька мне чёт не зашла. Эффективность не такая высокая - зато куча гемора с теми либами, которые юзают рефлексию.

А так, NodehistJ спокойно работает на Free Tier от Cloud.ru

Зарегистрируйтесь на Хабре, чтобы оставить комментарий