Mongoose + Redis. Автоматизация кэширования за 5 минут

1. Mongoose представляет специальную ODM-библиотеку (Object Data Modelling) для работы с MongoDB, которая позволяет сопоставлять объекты классов и документы коллекций из базы данных. 

2. Redis (Remote Dictionary Server)- это быстрое хранилище данных типа «ключ‑значение» в памяти, активно используемое в разработке с целью повышения производительности сервисов

3. В рамках данного гайда мы рассмотрим связку Mongoose + Redis и посмотрим, как обеспечить максимально удобное взаимодействие между ними

Шаг 1. Установка пакетов

yarn add redis mongoose

Шаг 2. Конфигурация Redis.

const redisUrl = process.env.REDIS_CACHE_URL
const client = redis.createClient(redisUrl)
client.get = util.promisify(client.get)

Шаг 3. Формирование ключа

Одна из важных задач кэширования - составление ключа, под которым кэшировать данные. В контексте mongoose мы можем очень эффективно использовать свойства и методы прототипа Query, которые позволяют получить основную структуру запроса:

1. mongooseCollection.name  - наименование коллекции

2. getQuery - возвращает список фильтров запроса ( например, where)

3. op - наименование операции (например, find)

4. options - опции запроса ( например, limit ) 

const key = JSON.stringify(
  {
    ...this.getQuery(),
    collection: this.mongooseCollection.name,
    op: this.op,
    options: this.options
  }
)

Шаг 4. Основная логика

Теперь, определив паттерн формирования ключей и установив соединение с Redis, можно перейти к имплементации основной логики кэширования:

1. Пытаемся получить данные по ключу

2. Если удалось, то возвращаем десериализованные данные

3. Если же данные еще не были закэшированы, то выполняем запрос в базу данных

4. Кэшируем полученные данные 

5. Возвращаем результат

const cacheValue = await client.get(key)
if ( cacheValue ) return JSON.parse(cacheValue)

const result = await exec.apply(this, arguments)
if ( result ) {
  client.set(key, JSON.stringify(result))
}

return result

Шаг 5. Собираем все вместе 

Последним шагом, чтобы собрать весь функционал вместе, будет переопределение метода exec, чтобы кэширование применялось «из коробки»: 

module.exports =
  {
    applyMongooseCache() {

      const redisUrl = process.env.REDIS_CACHE_URL
      const client = redis.createClient(redisUrl)
      client.get = util.promisify(client.get)
      const exec = mongoose.Query.prototype.exec

      mongoose.Query.prototype.exec = async function () {

        const key = JSON.stringify(
          {
            ...this.getQuery(),
            collection: this.mongooseCollection.name,
            op: this.op,
            options: this.options
          }
        )

        const cacheValue = await client.get(key)
        if ( cacheValue ) return JSON.parse(cacheValue)

        const result = await exec.apply(this, arguments)

        if ( result ) {
          client.set(key, JSON.stringify(result))
        }

        return result
      }
    },
  }

Теперь остается только вызвать функцию applyMongooseCache  при старте Вашего приложения. 

Шаг 6. Docker-compose для локального запуска сервисов

Для тестирования данного функционала нам нужны два сервиса:

1. MongoDB 

2. Redis

3. Mongo Express - система администрирования MongoDB

4. Redis admin - система администрирования Redis

version: '3'
services:
  mongo:
    image: mongo
    restart: always
    environment:
      MONGO_INITDB_ROOT_USERNAME: root
      MONGO_INITDB_ROOT_PASSWORD: root
    ports:
      - 27017:27017

  mongo-express:
    image: mongo-express:0.54
    restart: always
    ports:
      - 8081:8081
    environment:
      ME_CONFIG_MONGODB_ADMINUSERNAME: root
      ME_CONFIG_MONGODB_ADMINPASSWORD: root
    depends_on:
      - mongo

  redis:
    image: redis
    ports:
      - 6379:6379

  redis-admin:
    image: erikdubbelboer/phpredisadmin
    ports:
      - 8085:80
    depends_on:
      - redis
    environment:
      REDIS_1_HOST: redis
      REDIS_1_NAME: redis
      REDIS_1_PORT: 6379

Используя данную базовую конфигурацию, Вы сможете получить к сервисам локальный доступ на 27017(mongo) и  6379 (Redis) портах.

Соответственно, системы администрирования будут доступны на 8081 ( mongo-express) и 8085 (Redis admin) портах. 

Ссылка на репозиторий: https://github.com/IAlexanderI1994/mongoose-redis

Благодарю Вас за прочтение. Буду рад Вашим вопросам и комментариям.