Работа с файлами через Yandex Object Storage в Spring Boot

Yandex Cloud Object Storage - это совместимое с AWS S3 облачное хранилище. В этой статье мы интегрируем его в Spring Boot приложение, используя SDK Амазона.

Создание бакета в Yandex Cloud

Для начала создадим папку, в которой позже будет создано объектное хранилище

Здесь в сервисах находим и создаем s3

Указываем необходимые параметры

И переходим в наше ведерко

Создание аккаунта для доступа к бакету

Как указано в документации, для использования s3 необходимо создать сервисный аккаунт.
Для этого возвращаемся в созданную папку, переходим в Service accounts и создаем новый аккаунт:

Далее возвращаемся в наш бакет и переходим на вкладку security, чтобы добавить роль именно для бакета

Нажимаем на вкладку Assign bindings и добавляем роль editor для нашего аккаунта

Переходим обратно в аккаунт и создаем static access key, сохраняем key id и secret key

Выбираем зависимость для работы с S3

Yandex Object Storage совместим с AWS S3, поэтому именно их sdk мы будем использовать, но есть несколько разных зависимостей, использующих эту sdk.

1. com.amazonaws:aws-java-sdk:1.x.x - устаревший sdk, который перестанет поддерживаться в этом году

2. software.amazon.awssdk:s3:2.x.x - актуальный sdk

3. io.awspring.cloud:spring-cloud-aws-starter-s3 - надстройка над sdk, поддерживаемая комьюинити и улучшающая интеграцию со спрингом

4. org.springframework.cloud.stream.app:aws-s3-app-starters-common - стартер из проекта spring cloud stream, использующийся для интеграции этого проекта с S3

В этой статье используем актуальную версию sdk (вариант 2), так как нам нужна только базовая функциональность, без лишних абстракций.

Создаем контроллер

Создайте новый spring boot проект и добавьте в следующие зависимости:

implementation("software.amazon.awssdk:aws-sdk-java:2.29.33")
implementation("software.amazon.awssdk:apache-client:2.29.33")

implementation("org.springdoc:springdoc-openapi-starter-webmvc-ui:2.7.0")
implementation("org.springframework.boot:spring-boot-starter-web")

Обратите внимание, что вместе с sdk нам так же необходимо добавить http-клиент амазона. Также, мы добавили springdoc-openapi для генерации Swagger UI, через который мы будем тестировать приложение.

Создадим контроллер с клиентом s3Client для работы с S3. В настоящем приложении клиента стоит создать отдельным бином и вынести все константы в application.properties, но для простоты я оставлю все в контроллере.

@RestController
@RequestMapping("/photos")
@Tag(name = "Photos")
@ApiResponses(@ApiResponse(responseCode = "200", useReturnTypeSchema = true))
public class PhotoController {

    private static final String KEY_ID = "YOUR_KEY_ID";
    private static final String SECRET_KEY = "YOUR_SECRET_KEY";
    private static final String REGION = "ru-central1";
    private static final String S3_ENDPOINT = "https://storage.yandexcloud.net";

    private static final String BUCKET = "spring-boot-s3-exmaple";

    private final S3Client s3Client;

    public PhotoController() {
        AwsCredentials credentials = AwsBasicCredentials.create(KEY_ID, SECRET_KEY);

        s3Client = S3Client.builder()
                .httpClient(ApacheHttpClient.create())
                .region(Region.of(REGION))
                .endpointOverride(URI.create(S3_ENDPOINT))
                .credentialsProvider(StaticCredentialsProvider.create(credentials))
                .build();
    }
}

Добавим метод для загрузки фотографий в бакет:

@PutMapping(consumes = MULTIPART_FORM_DATA_VALUE)
public String uploadFile(@RequestParam MultipartFile photo) throws IOException {

    String key = "photos/" + photo.getOriginalFilename();
    PutObjectRequest putObjectRequest = PutObjectRequest.builder()
            .bucket(BUCKET)
            .key(key)
            .contentType(photo.getContentType())
            .build();

    s3Client.putObject(putObjectRequest, RequestBody.fromBytes(photo.getBytes()));

    return key;
}

И для получения их из него:

@GetMapping
public ResponseEntity<byte[]> downloadFile(@RequestParam String key) throws IOException {

    GetObjectRequest objectRequest = GetObjectRequest.builder()
            .bucket(BUCKET)
            .key(key)
            .build();

    var inputStream = s3Client.getObject(objectRequest);
    byte[] data = inputStream.readAllBytes();

    var headers = new HttpHeaders();
    headers.add(HttpHeaders.CONTENT_DISPOSITION, "inline");
    headers.add(HttpHeaders.CONTENT_TYPE, inputStream.response().contentType());

    return ResponseEntity.ok()
            .headers(headers)
            .body(data);
}

Вот как будет выглядеть контроллер полностью:

import io.swagger.v3.oas.annotations.responses.ApiResponse;
import io.swagger.v3.oas.annotations.responses.ApiResponses;
import io.swagger.v3.oas.annotations.tags.Tag;
import org.springframework.http.HttpHeaders;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;
import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.AwsCredentials;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.core.sync.RequestBody;
import software.amazon.awssdk.http.apache.ApacheHttpClient;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;

import java.io.IOException;
import java.net.URI;

import static org.springframework.http.MediaType.MULTIPART_FORM_DATA_VALUE;

@RestController
@RequestMapping("/photos")
@Tag(name = "Photos")
@ApiResponses(@ApiResponse(responseCode = "200", useReturnTypeSchema = true))
public class PhotoController {

    private static final String KEY_ID = "YOR_KEY_ID";
    private static final String SECRET_KEY = "YOUR_SECRET_KEY";
    private static final String REGION = "ru-central1";
    private static final String S3_ENDPOINT = "https://storage.yandexcloud.net";

    private static final String BUCKET = "spring-boot-s3-exmaple";

    private final S3Client s3Client;

    public PhotoController() {
        AwsCredentials credentials = AwsBasicCredentials.create(KEY_ID, SECRET_KEY);

        s3Client = S3Client.builder()
                .httpClient(ApacheHttpClient.create())
                .region(Region.of(REGION))
                .endpointOverride(URI.create(S3_ENDPOINT))
                .credentialsProvider(StaticCredentialsProvider.create(credentials))
                .build();
    }


    @PutMapping(consumes = MULTIPART_FORM_DATA_VALUE)
    public String uploadFile(@RequestParam MultipartFile photo) throws IOException {

        String key = "photos/" + photo.getOriginalFilename();
        PutObjectRequest putObjectRequest = PutObjectRequest.builder()
                .bucket(BUCKET)
                .key(key)
                .contentType(photo.getContentType())
                .build();

        s3Client.putObject(putObjectRequest, RequestBody.fromBytes(photo.getBytes()));

        return key;
    }

    @GetMapping
    public ResponseEntity<byte[]> downloadFile(@RequestParam String key) throws IOException {

        GetObjectRequest objectRequest = GetObjectRequest.builder()
                .bucket(BUCKET)
                .key(key)
                .build();

        var inputStream = s3Client.getObject(objectRequest);
        byte[] data = inputStream.readAllBytes();

        var headers = new HttpHeaders();
        headers.add(HttpHeaders.CONTENT_DISPOSITION, "inline");
        headers.add(HttpHeaders.CONTENT_TYPE, inputStream.response().contentType());

        return ResponseEntity.ok()
                .headers(headers)
                .body(data);
    }
}

Тестируем приложение

Переходим на http://localhost:8080/swagger-ui/index.html и загружаем фото

Далее проверяем, что оно появилось в бакете. Как видите, S3 понимает, что если путь содержит / то нужно создать папку, поэтому наше фото добавилось в папку photos

Пробуем получить фото через наш эндпоинт:

Варианты локального S3 для тестовой среды

Возможно, вам нужен S3 только на проде, а при разработке вы хотели бы использовать локальный сервис. Два таких сервиса - MinIO и LocalStack. Я не буду разворачивать их в этой статье, но коротко сравню:

• LocalStack — это инструмент для локальной разработки, который эмулирует облачные сервисы AWS. Используется только для разработки и тестирования. Если вы используете не только S3, то LocalStack вам подойдет.

• MinIO — это объектное хранилище с открытым исходным кодом, совместимое с API Amazon S3. Можно использовать в продакшене.

👨‍💻 Джуниор