Привет, Хабр! Следующий этап изучения нового языка это старый добрый todo list c картинками. Чтобы научится работе с базой данных и файловой системой. Работе со стримами. За подробностями добро пожаловать под кат.
Содержание
- Изучаю Scala: Часть 1 — Игра змейка
- Изучаю Scala: Часть 2 — Todo лист с возможностью загрузки картинок
Ссылки
Исходники
Образы docker image
API
Описание апи в swagger и эндпойнты я сделал с помощью Tapir. Он позволяет своим DSL описать API которое мы хотим реализовать.
//Пытаемся выполнить IO и если случается ошибка то бросаем http код 500
def withStatus[A](f: IO[A]): IO[Either[(StatusCode, String), A]] =
f.attempt.map(x => x match {
case Right(value) => Right(value)
case Left(value) => Left(StatusCode.InternalServerError, value.getMessage)
})
//Описываем что все наши эндпоинты буду начинаться с api/v1 и возвращать в случае ошибки http код и текст ошибки
val baseEndpoint = endpoint
.in("api" / "v1")
.errorOut(statusCode.and(stringBody))
//Описываем что все эндпоинты для изображений будут по адресу api/v1/images
//и иметь тег Imgage.
//По тегам идет группировка в Swagger. Например на КДПВ эндпойнты собраны в две группы
//Images и Todos
private val baseImageEndpoint = baseEndpoint
.in("images")
.tag("Images")
private val download = baseImageEndpoint
.summary("Скачать картинку")
.description("Скачивает картинку по ее идентификатору")
//Эндпоинт будет реагировать на GET запрос
.get
// Эндпоинт будет брать переменную id из пути т.е для lacalhost:8080/api/v1/images/2 он передаст в id = 2
.in(path[Long]("id"))
//Запрос будет возвращать в ответе хедер ContentLengsh
.out(header[Long](HeaderNames.ContentLength))
//Запрос будет возвращать в ответ бинарный файл
.out(streamBody[Stream[IO, Byte]](schemaFor[File], CodecFormat.OctetStream()))
//Логика обработки запроса. Тут мы просто вызываем метод нашего сервиса
.serverLogic(x => withStatus(imagesService.download(x)))
на основе коллекции таких эндпойнтов создаются роуты, а на основе них документация Swagger
endpoints = todosController.endpoints ::: imagesController.endpoints
routes = endpoints.toRoutes;
docs = endpoints.toOpenAPI("The Scala Todo List", "0.0.1")
yml: String = docs.toYaml
appRoutes = routes <+> new SwaggerHttp4s(yml, "swagger").routes[IO]
Server
В качестве сервера Tapir поддерживает несколько бекендов. Я использовал http4s
httpApp = Router(
"/" -> appRoutes
).orNotFound
blazeServer <- BlazeServerBuilder[IO](serverEc)
.bindHttp(settings.host.port, settings.host.host)
.withHttpApp(httpApp)
.resource
Работа с файлами и стримы
Для работы с файлами я использовал стримы из fs2
import fs2.{Stream, io}
def get(path: Path): Stream[IO, Byte] =
io.file.readAll[IO](path, blocker, 4096)
Работа с базой данных
Для работы с БД я использовал doobie и он мне чертовски понравился потому что напомнил старый добрый Dapper ORM. Позволяет маппить DTO и выполнять SQL запросы.
def add(image: Image): IO[Long] = sql"""
INSERT INTO images (hash, file_path)
VALUES (${image.hash}, ${image.filePath})""".update
//Запрос будет возвращать созданный id новой записи в БД
.withUniqueGeneratedKeys[Long]("id")
.transact(xa)
Для миграций подключил Flyway
val flyway = Flyway
.configure()
.dataSource(settings.db.url, settings.db.user, settings.db.password)
.load()
flyway.migrate()
CREATE TABLE IF NOT EXISTS IMAGES (
id SERIAL PRIMARY KEY,
hash VARCHAR NOT NULL UNIQUE,
file_path VARCHAR NOT NULL UNIQUE
);
CREATE TABLE IF NOT EXISTS TODOS (
id SERIAL PRIMARY KEY,
name VARCHAR NOT NULL UNIQUE,
image_id BIGINT REFERENCES images,
created TIMESTAMP
);
Сборка и упаковка в образ Docker
Я захотел собрать все в один единственный файл как например делает это Go или .NET Core с нужными настройками поэтому использовал sbt-native-packager и плагин к нему sbt-assembly. Собранный файл можно запустить с помощью команды
java -jar <имя файла>
Потом сделал DockerFile для запуска этого образа в контейнере
FROM hseeberger/scala-sbt:11.0.2-oraclelinux7_1.3.12_2.13.3 AS base
COPY . /root
WORKDIR /root
RUN sbt universal:packageZipTarball
RUN sbt test
FROM openjdk:15-alpine as final
COPY --from=base /root/target/scala-2.13/scala-todo-api.jar /root
WORKDIR /root
EXPOSE 8080
ENTRYPOINT ["java","-jar","scala-todo-api.jar"]
Собранный образ автоматом отправляется в Registry гитлаба через его встроенный CI/CD
Настройки
Настройки сервера загружаю с помощью библиотеки PureConfig и потом так как я использую Docker дополняю их из переменных окружения. Файл application.conf:
db {
//Два раза повторяем переменную потому что если в переменной окружения TODO_API_DB_URL будет пусто то будет использован первый вариант иначе его перезапишет переменная окружения.
url = "jdbc:postgresql://localhost:5432/todos_db"
url = ${?TODO_API_DB_URL}
user = "postgres"
user = ${?TODO_API_DB_USER}
password = "postgres"
password = ${?TODO_API_DB_PASSWORD}
}
host {
port = 8080
port = ${?TODO_API_HOSTING_PORT}
host = "0.0.0.0"
host = ${?TODO_API_HOSTING_HOST}
}
val config = ConfigSource.default.load[AppSettings]
Запуск
Запустить это все можно вот таким docker-compose файлом
version: '3.4'
services:
scala.todo.api:
image: registry.gitlab.com/victorwinbringer/scalatodoapi:latest
ports:
- "8001:8080"
environment:
- TODO_API_DB_URL=jdbc:postgresql://pgdb:5432/postgres
pgdb:
image: postgres
environment:
POSTGRES_PASSWORD: postgres
POSTGRES_USER: postgres
ports:
- "8002:5432"
volumes:
- todo-pgdb:/var/lib/postgresql/data
volumes:
todo-pgdb:
external: false