Moto. Мокаем AWS

    Тестирование — это неотъемлемая часть процесса разработки. И иногда разработчикам требуется запустить тесты локально, до того момента коммита изменений.
    Если приложение использует Amazon Web Services, python библиотека moto идеально для этого подходит.


    Полный список покрытия ресурсов можно посмотреть тут.
    На Github есть репа Hugo Picadomoto-server. Готовый образ, запускай и используй. Нюанс только в том, что после запуска, никаких AWS ресурсов там еще не создано.

    Что ж, это достаточно легко исправить.

    Поскольку при запуске необходимо указать тип сервиса (env переменной MOTO_SERVICE), нам остается описать создание ресурса.

    Немного изменим start.sh:

    Вместо

    moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
    

    Вставляем:

    if [ -f /opt/init/bootstrap.py ]; then
      moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT & (sleep 5 && echo "Executing bootstrap script." && python /opt/init/bootstrap.py)
    else
      moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
    fi
    wait
    

    Итоговый файл получается:

    start.sh
    #!/bin/sh
    
    # validate required input
    if [ -z "$MOTO_SERVICE" ]; then
      echo "Please define AWS service to run with Moto Server (e.g. s3, ec2, etc)"
      exit 1
    fi
    
    # setting defaults for optional input
    if [ -z "$MOTO_HOST" ]; then
      MOTO_HOST="0.0.0.0"
    fi
    
    if [ -z "$MOTO_PORT" ]; then
      MOTO_PORT="5000"
    fi
    
    echo "Starting service $MOTO_SERVICE at $MOTO_HOST:$MOTO_PORT"
    
    if [ -f /opt/init/bootstrap.py ]; then
      moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT & (sleep 5 && echo "Executing bootstrap script." && python /opt/init/bootstrap.py)
    else
      moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
    fi
    # Prevent container from exiting when bootstrap.py finishing
    wait


    Билдим новый образ и пушим в свой registry.

    Далее, напишем скрипт инициализации ресурса, например SWF domain, используя библиотеку для работы с AWS — boto3:

    bootstrap_swf.py
    import boto3
    from botocore.exceptions import ClientError
    import os
    
    os.environ["AWS_ACCESS_KEY_ID"] = "fake"
    os.environ["AWS_SECRET_ACCESS_KEY"] = "fake"
    
    client = boto3.client('swf', region_name='us-west-2', endpoint_url='http://localhost:5000')
    
    try:
        client.register_domain(
            name='test-swf-mock-domain',
            description="Test SWF domain",
            workflowExecutionRetentionPeriodInDays="10"
        )
    except ClientError as e:
        print "Domain already exists: ", e.response.get("Error", {}).get("Code")
    
    response = client.list_domains(
        registrationStatus='REGISTERED',
        maximumPageSize=123,
        reverseOrder=True|False
    )
    
    print 'Ready'
    


    Логика такая:

    • Монтируем при запуске наш скрипт в /opt/init/bootstrap.py.
    • Если файл примонтирован — он будет выполнен.
    • Если файла нет — просто запустится голый moto-server.

    И, можно мокать целый ресурс запуском одного контейнера:

    docker run --name swf -d \
        -e MOTO_SERVICE=swf \
        -e MOTO_HOST=0.0.0.0 \
        -e MOTO_PORT=5000 \
        -p 5001:5000 \
        -v /tmp/bootstrap_swf.py:/opt/init/bootstrap.py \
        -i awesome-repo.com/moto-server:latest
    

    Пробуем в интерактивном режиме:



    Работает!

    Таким образом, мы можем сделать docker-compose.yml, который поможет сэкономить время на тестирование изменений:

    docker-compose.yml
    version: '3'
    services:
      s3:
        image: picadoh/motocker
        environment:
          - MOTO_SERVICE=s3
          - MOTO_HOST=10.0.1.2
        ports:
          - "5002:5000"
        networks:
          motonet:
            ipv4_address: 10.0.1.2
        volumes:
          - /tmp/bootstrap_s3.py:/opt/init/bootstrap.py
      swf:
        image: picadoh/motocker
        environment:
          - MOTO_SERVICE=swf
          - MOTO_HOST=10.0.1.3
        ports:
          - "5001:5000"
        networks:
          motonet:
            ipv4_address: 10.0.1.3
        volumes:
          - /tmp/bootstrap_swf.py:/opt/init/bootstrap.py
      ec2:
        image: picadoh/motocker
        environment:
          - MOTO_SERVICE=ec2
          - MOTO_HOST=10.0.1.4
        ports:
          - "5003:5000"
        networks:
          motonet:
            ipv4_address: 10.0.1.4
        volumes:
          - /tmp/bootstrap_ec2.py:/opt/init/bootstrap.py
    networks:                             
      motonet:                          
        driver: bridge                
        ipam:                         
          config:                       
            - subnet: 10.0.0.0/16
    


    Собственно, не только лишь на ноутбуке разработчика можно использовать такой подход. Предварительные тесты с моками после сборки, помогут избавиться от возможных проблем при запуске на dev* окружениях.

    Ссылки:

    Motocker repo — github.com/picadoh/motocker
    Moto repo — github.com/spulec/moto
    Boto3 Docs — boto3.amazonaws.com/v1/documentation/api/latest/index.html
    Поделиться публикацией

    Комментарии 2

      0

      Посмотрел на поддержку S3 в Moto.
      Очень сыро.

        0
        Moto подходит только для базовых сценариев. Т.к. версию api амазона поддерживает от «балды», не все поля есть в шаблонах, нет управления никакого.

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое