История про хранилище изображений. Или как велосипед спас от костыля

[dsp25no]

На какой в итоге библиотеке для обработки изображений остановились? Планируете написать сравнительный обзор?

[shnellpavel]

Остановились на OpenCV. Пробовали imaging и ImageMagick. Следует отметить, что FileKeeper реализован на Go и язык оказал значительное влияние на выбор.

Про сравнительный анализ ещё пока не думали, но подумаем.

[ZaMaZaN4iK]

Пробовали ли Вы Pillow? Говорят, на изменении размера изображений он очень хорош.

Если OpenCV, то думаю имеет смысл поиграться с компиляций под Ваше железо. Также можно попробовать скомпилировать с примитивами от Intel — может дать прирост.

[shnellpavel]

Pillow не пробовали.
Про поиграться с OpenCV: спасибо за совет.

[Sannis]

А поделитесь, если не секрет, сколько вы уже данных храните в Ceph и насколько им довольны?

[shnellpavel]

Данных, относящихся к фоткам несколько терабайт.
С точки зрения использования Ceph недовольств нет, с точки зрения администрирования ответить не могу, т.к. некомпетентен в данном вопросе.

[Hixon10]

Привет. Спасибо за рассказ.

Парачка вопросов, если вы не против:
1) Как вы сделали PG HA? Интересно послушать про шардирование, реплецирование, failover.

2) Почему для Мета-информации о файлах вы выбрали реляционную базу данных?

[shnellpavel]

Привет.

1) Рассказать про PG HA в комментариях довольно сложно — это тема отдельной статьи. Думаю, как-нибудь расскажем о нём.

2) В статье я указывал, что большая часть требований и решений основана полученном опыте эксплаутации сервиса Photo. В Photo мета-информация также хранится в PosgreSQL и проблем с этим пока не было. На этапе проектирования мы рассматривали Cassandra вместо связки Ceph+PosgreSQL, но в итоге остановились на том, что лучше пойти проверенным путём и оставить себе возможность выбора хранилища для каждого отдельного спейса.

[SergXP]

А Вы случайно не рассматривали вариант с библиотекой libvips? go-libvips

[shnellpavel]

libvips изначально рассматривался, но попытки его завести на локальном ПК закончились потерей пары вечеров, в отличии от других библиотек. Возможно, дело было в моих руках, но из дальнейших испытаний он был исключён.