Погружаемся в S3 на Ceph. Как мы удаляли 460 млн мелких объектов

[AirLight]

Это видимо поэтому постоянные жалобы, что вконтакт и телеграм сообщения на самом деле ре удаляет - Дуров любит использовать Ceph?

[Chupaka]

Чем вообще обусловлено то, что удаление на порядки медленнее создания? Как-то это контринтуитивно...

[swoopspb]

Вот да, тоже интересно в чём причина?

Я уже скоро месяц как забираю по S3 несколько десятков миллионов маленьких файлов из облака и львиную долю времени занимает именно удаление...

[vp7]

А сколько шардов у вас было в бакет-индексе?

Если динамик решардинг не включен и вы руками бакет не решарднули (а аларм на large omap наводит на эту мысль), то вам ещё повезло, кластер вообще мог почти колом встать ;))