Moto. Мокаем AWS / Хабр

Тестирование — это неотъемлемая часть процесса разработки. И иногда разработчикам требуется запустить тесты локально, до того момента коммита изменений.
Если приложение использует Amazon Web Services, python библиотека moto идеально для этого подходит.

Полный список покрытия ресурсов можно посмотреть тут.
На Github есть репа Hugo Picado — moto-server. Готовый образ, запускай и используй. Нюанс только в том, что после запуска, никаких AWS ресурсов там еще не создано.

Что ж, это достаточно легко исправить.

Поскольку при запуске необходимо указать тип сервиса (env переменной MOTO_SERVICE), нам остается описать создание ресурса.

Немного изменим start.sh:

Вместо

moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT

Вставляем:

if [ -f /opt/init/bootstrap.py ]; then
  moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT & (sleep 5 && echo "Executing bootstrap script." && python /opt/init/bootstrap.py)
else
  moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
fi
wait

Итоговый файл получается:

start.sh

#!/bin/sh

# validate required input
if [ -z "$MOTO_SERVICE" ]; then
  echo "Please define AWS service to run with Moto Server (e.g. s3, ec2, etc)"
  exit 1
fi

# setting defaults for optional input
if [ -z "$MOTO_HOST" ]; then
  MOTO_HOST="0.0.0.0"
fi

if [ -z "$MOTO_PORT" ]; then
  MOTO_PORT="5000"
fi

echo "Starting service $MOTO_SERVICE at $MOTO_HOST:$MOTO_PORT"

if [ -f /opt/init/bootstrap.py ]; then
  moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT & (sleep 5 && echo "Executing bootstrap script." && python /opt/init/bootstrap.py)
else
  moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
fi
# Prevent container from exiting when bootstrap.py finishing
wait

Билдим новый образ и пушим в свой registry.

Далее, напишем скрипт инициализации ресурса, например SWF domain, используя библиотеку для работы с AWS — boto3:

bootstrap_swf.py

import boto3
from botocore.exceptions import ClientError
import os

os.environ["AWS_ACCESS_KEY_ID"] = "fake"
os.environ["AWS_SECRET_ACCESS_KEY"] = "fake"

client = boto3.client('swf', region_name='us-west-2', endpoint_url='http://localhost:5000')

try:
    client.register_domain(
        name='test-swf-mock-domain',
        description="Test SWF domain",
        workflowExecutionRetentionPeriodInDays="10"
    )
except ClientError as e:
    print "Domain already exists: ", e.response.get("Error", {}).get("Code")

response = client.list_domains(
    registrationStatus='REGISTERED',
    maximumPageSize=123,
    reverseOrder=True|False
)

print 'Ready'

Логика такая:

Монтируем при запуске наш скрипт в /opt/init/bootstrap.py.
Если файл примонтирован — он будет выполнен.
Если файла нет — просто запустится голый moto-server.

И, можно мокать целый ресурс запуском одного контейнера:

docker run --name swf -d \
    -e MOTO_SERVICE=swf \
    -e MOTO_HOST=0.0.0.0 \
    -e MOTO_PORT=5000 \
    -p 5001:5000 \
    -v /tmp/bootstrap_swf.py:/opt/init/bootstrap.py \
    -i awesome-repo.com/moto-server:latest

Пробуем в интерактивном режиме:

Работает!

Таким образом, мы можем сделать docker-compose.yml, который поможет сэкономить время на тестирование изменений:

docker-compose.yml

version: '3'
services:
  s3:
    image: picadoh/motocker
    environment:
      - MOTO_SERVICE=s3
      - MOTO_HOST=10.0.1.2
    ports:
      - "5002:5000"
    networks:
      motonet:
        ipv4_address: 10.0.1.2
    volumes:
      - /tmp/bootstrap_s3.py:/opt/init/bootstrap.py
  swf:
    image: picadoh/motocker
    environment:
      - MOTO_SERVICE=swf
      - MOTO_HOST=10.0.1.3
    ports:
      - "5001:5000"
    networks:
      motonet:
        ipv4_address: 10.0.1.3
    volumes:
      - /tmp/bootstrap_swf.py:/opt/init/bootstrap.py
  ec2:
    image: picadoh/motocker
    environment:
      - MOTO_SERVICE=ec2
      - MOTO_HOST=10.0.1.4
    ports:
      - "5003:5000"
    networks:
      motonet:
        ipv4_address: 10.0.1.4
    volumes:
      - /tmp/bootstrap_ec2.py:/opt/init/bootstrap.py
networks:                             
  motonet:                          
    driver: bridge                
    ipam:                         
      config:                       
        - subnet: 10.0.0.0/16

Собственно, не только лишь на ноутбуке разработчика можно использовать такой подход. Предварительные тесты с моками после сборки, помогут избавиться от возможных проблем при запуске на dev* окружениях.

Ссылки:

Motocker repo — github.com/picadoh/motocker
Moto repo — github.com/spulec/moto
Boto3 Docs — boto3.amazonaws.com/v1/documentation/api/latest/index.html