На одном из митингов Android-отдела я подслушал, как один из наших разработчиков сделал небольшую либу, которая помогает сделать «бесконечный» список при использовании Realm, сохранив «ленивую загрузку» и нотификации.

Сделал и написал черновик статьи, которой почти в неизменном виде, делюсь с вами. Он со своей стороны пообещал, что разгребётся с задачами и придёт в комментарии, если возникнут вопросы.

Бесконечный список и готовые решения

Одна из задач, с которой мы сталкиваемся — отобразить информацию списком, при прокручивании которого, данные подгружаются и вставляются незаметно для пользователя. Для пользователя это выглядит так, что он скроллит бесконечный список.

Алгоритм получается примерно следующий:

получаем данные из кэша для первой страницы;
если кэш пуст — получаем данные сервера, отображаем их в списке и пишем в БД;
если кэш есть — загружаем его в список;
если доходим до конца БД, то запрашиваем данные с сервера, отображаем их в списке и пишем в БД.

Упрощённо: для отображения списка в первую очередь опрашивается кэш, а сигналом загрузки новых данных является конец кэша.

Для реализация бесконечной прокрутки (endless scrolling) можно использовать готовые решения:

реализацию RecyclerView.OnScrollListener, или найти на Github что-нибудь готовое, вроде EndlessRecyclerViewScrollListener;
реактивный подход, используя RxJava для контроля подгрузки данных;
готовую реализацию списка;
Paging library из Jetpack.

Мы в качестве мобильной базы данных используем Realm, и, попробовав все перечисленные подходы, остановились на использовании Paging library.

На первый взгляд Android Paging Library — отличное решение для загрузки данных и при использовании sqlite совместно с Room отлично подходит в качестве БД. Однако, при использовании Realm в качестве БД мы лишаемся всего, к чему так привыкли — ленивой загрузки (lazy loading) и data change notifications. Нам же не хотелось отказываться от всех этих вещей, но в то же время использовать Paging library.

Может быть, мы не первые, кому это нужно

Быстрый поиск сразу выдал решение — библиотеку Realm monarchy. После беглого изучения выяснилось, что это решение нас не устраивает — библиотека не поддерживает ни ленивую загрузку, ни notifications. Пришлось создавать своё.

Итак, требования:

Продолжить использовать Realm;
Сохранить lazy loading для Realm;
Сохранить notifications;
Использовать Paging library для загрузки данных из БД и постраничной загрузки данных с сервера, так же, как это предлагает Paging library.

С начала попробуем разобраться, как работает Paging library, и что сделать, чтобы нам было хорошо.

Кратко — библиотека состоит из следующих компонентов:

DataSource — базовый класс для загрузки данных постранично.
Имеет реализации: PageKeyedDataSource, PositionalDataSource и ItemKeyedDataSource, но их предназначение сейчас нам не важно.

PagedList — список, который подгружает данные порциями из источника DataSource. Но так как мы используем Realm — загрузка данных порциями для нас не актуальна.
PagedListAdapter — класс, ответственный за отображение данных, загруженных PagedList.

В исходниках эталонной реализации мы увидим, как работает схема.

1. PagedListAdapter в методе getItem(int index) вызывает для PagedList метод loadAround(int index):

/**
* Get the item from the current PagedList at the specified index.
* <p>
* Note that this operates on both loaded items and null padding within the PagedList.
*
* @param index Index of item to get, must be >= 0, and < {@link #getItemCount()}.
* @return The item, or null, if a null placeholder is at the specified position.
*/
@SuppressWarnings("WeakerAccess")
@Nullable
public T getItem(int index) {
   if (mPagedList == null) {
       if (mSnapshot == null) {
           throw new IndexOutOfBoundsException(
                   "Item count is zero, getItem() call is invalid");
       } else {
           return mSnapshot.get(index);
       }
   }

   mPagedList.loadAround(index);
   return mPagedList.get(index);
}

2. PagedList выполняет проверки и вызывает метод void tryDispatchBoundaryCallbacks(boolean post):

/**
* Load adjacent items to passed index.
*
* @param index Index at which to load.
*/
public void loadAround(int index) {
   if (index < 0 || index >= size()) {
       throw new IndexOutOfBoundsException("Index: " + index + ", Size: " + size());
   }

   mLastLoad = index + getPositionOffset();
   loadAroundInternal(index);

   mLowestIndexAccessed = Math.min(mLowestIndexAccessed, index);
   mHighestIndexAccessed = Math.max(mHighestIndexAccessed, index);

   /*
    * mLowestIndexAccessed / mHighestIndexAccessed have been updated, so check if we need to
    * dispatch boundary callbacks. Boundary callbacks are deferred until last items are loaded,
    * and accesses happen near the boundaries.
    *
    * Note: we post here, since RecyclerView may want to add items in response, and this
    * call occurs in PagedListAdapter bind.
    */
   tryDispatchBoundaryCallbacks(true);
}

3. В этом методе проверяется необходимость загрузки следующей порции данных и происходит запрос на загрузку:

/**
* Call this when mLowest/HighestIndexAccessed are changed, or
* mBoundaryCallbackBegin/EndDeferred is set.
*/
@SuppressWarnings("WeakerAccess") /* synthetic access */
void tryDispatchBoundaryCallbacks(boolean post) {
   final boolean dispatchBegin = mBoundaryCallbackBeginDeferred
           && mLowestIndexAccessed <= mConfig.prefetchDistance;
   final boolean dispatchEnd = mBoundaryCallbackEndDeferred
           && mHighestIndexAccessed >= size() - 1 - mConfig.prefetchDistance;

   if (!dispatchBegin && !dispatchEnd) {
       return;
   }

   if (dispatchBegin) {
       mBoundaryCallbackBeginDeferred = false;
   }
   if (dispatchEnd) {
       mBoundaryCallbackEndDeferred = false;
   }
   if (post) {
       mMainThreadExecutor.execute(new Runnable() {
           @Override
           public void run() {
               dispatchBoundaryCallbacks(dispatchBegin, dispatchEnd);
           }
       });
   } else {
       dispatchBoundaryCallbacks(dispatchBegin, dispatchEnd);
   }
}

4. В итоге все вызовы попадают в DataSource, где и происходит загрузка данных из БД или из других источников:

@SuppressWarnings("WeakerAccess") /* synthetic access */
void dispatchBoundaryCallbacks(boolean begin, boolean end) {
   // safe to deref mBoundaryCallback here, since we only defer if mBoundaryCallback present
   if (begin) {
       //noinspection ConstantConditions
       mBoundaryCallback.onItemAtFrontLoaded(mStorage.getFirstLoadedItem());
   }
   if (end) {
       //noinspection ConstantConditions
       mBoundaryCallback.onItemAtEndLoaded(mStorage.getLastLoadedItem());
   }
}

Пока все выглядит просто — достаточно взять и сделать. Всего-то делов:

Создать свою реализацию PagedList (RealmPagedList) которая будет работать с RealmModel;
Создать свою реализацию PagedStorage (RealmPagedStorage), которая будет работать с OrderedRealmCollection;
Создать свою реализацию DataSource (RealmDataSource) которая будет работать с RealmModel;
Создать свой адаптер для работы с RealmList;
Убрать ненужное, добавить нужное;
Готово.

Опустим незначительные технические детали, и вот результат — библиотека RealmPagination. Попробуем создать приложение, которое отображает список пользователей.

0. Добавляем библиотеку в проект:

allprojects {
    repositories {
        maven { url "https://jitpack.io" }
    }
}
implementation 'com.github.magora-android:realmpagination:1.0.0'

1. Создаём класс User:

@Serializable
@RealmClass
open class User : RealmModel {
   @PrimaryKey
   @SerialName("id") var id: Int = 0
   @SerialName("login") var login: String? = null
   @SerialName("avatar_url") var avatarUrl: String? = null
   @SerialName("url") var url: String? = null
   @SerialName("html_url") var htmlUrl: String? = null
   @SerialName("repos_url") var reposUrl: String? = null
}

2. Создаём DataSource:

class UsersListDataSourceFactory(
   private val getUsersUseCase: GetUserListUseCase,
   private val localStorage: UserDataStorage
) : RealmDataSource.Factory<Int, User>() {

   override fun create(): RealmDataSource<Int, User> {
       val result = object : RealmPageKeyedDataSource<Int, User>() {

           override fun loadInitial(params: LoadInitialParams<Int>, callback: LoadInitialCallback<Int, User>) {...}

           override fun loadBefore(params: LoadParams<Int>, callback: LoadCallback<Int, User>) {
	...
           }

           override fun loadAfter(params: LoadParams<Int>, callback: LoadCallback<Int, User>) {
	...
           }
       }
       return result
   }

   override fun destroy() {

   }
}

3. Создаем адаптер:

class AdapterUserList(
   data: RealmPagedList<*, User>,
   private val onClick: (Int, Int) -> Unit
) : BaseRealmListenableAdapter<User, RecyclerView.ViewHolder>(data) {

   override fun onCreateViewHolder(parent: ViewGroup, viewType: Int): RecyclerView.ViewHolder {
       val view = LayoutInflater.from(parent.context).inflate(R.layout.item_user, parent, false)
       return UserViewHolder(view)
   }

   override fun onBindViewHolder(holder: RecyclerView.ViewHolder, position: Int) {
      ...
   }
}

4. Создаём ViewModel:

private const val INITIAL_PAGE_SIZE = 50
private const val PAGE_SIZE = 30
private const val PREFETCH_DISTANCE = 10

class VmUsersList(
   app: Application,
   private val dsFactory: UsersListDataSourceFactory,
) : AndroidViewModel(app), KoinComponent {

   val contentData: RealmPagedList<Int, User>
       get() {
           val config = RealmPagedList.Config.Builder()
               .setInitialLoadSizeHint(INITIAL_PAGE_SIZE)
               .setPageSize(PAGE_SIZE)
               .setPrefetchDistance(PREFETCH_DISTANCE)
               .build()

           return RealmPagedListBuilder(dsFactory, config)
               .setInitialLoadKey(0)
               .setRealmData(localStorage.getUsers().users)
               .build()
       }
  
   fun refreshData() { ... }

   fun retryAfterPaginationError() { ...  }

   override fun onCleared() {
       super.onCleared()
       dsFactory.destroy()
   }
}

5. Инициализируем список:


recyclerView.layoutManager = LinearLayoutManager(context)
recyclerView.adapter = AdapterUserList(viewModel.contentData) { user, position ->
//...
}

6. Создаём фрагмент со списком:

class FragmentUserList : BaseFragment() {

override fun onViewCreated(view: View, savedInstanceState: Bundle?) {
 super.onViewCreated(view, savedInstanceState)
recyclerView.layoutManager = LinearLayoutManager(context)
recyclerView.adapter = AdapterUserList(viewModel.contentData) { user, position ->  ...   }
}

7. Готово.

Получилось, что использовать Realm также просто, как и Room. Сергей выложил исходный код библиотеки и пример использования. Не придётся пилить ещё один велосипед, если столкнётесь с похожей ситуацией.

Использование Paging library совместно с Realm