Pull to refresh
55
Karma
0
Rating
Сумин Андрей @AndrewSumin

Пользователь

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Емайлить файлы мы не будем. Это пользовательские данные и они принадлежат пользователям ))

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Пол статьи про то как мы защищаемся от программного и аппаратного сбоя.
Все мои личные и рабочие письма и файлы находятся на наших серверах.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

А еще это экономия на росте. Скорость роста тоже уменьшилась на 35%.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Дописал в конец статьи отдельный блок про sha1 раз тема такая популярная.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

В целом можно в статье добавить абзац и выйти за рамки системы хранения. Немного раскрыть тему проверки консистентности файла и письма в индексах самих писем.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Это было сделано ранее, до внедрения этой схемы.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Диски в разных подсетях. В рейде не заркалируются.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Если я верно понял там оперируют бессмысленным набором бит?
В пару сотен тысяч долларов входит нахождение коллизий реальных файлов, фотографий или документов?

:)

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

А примеры файлов дайте :)

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Помимо того что публичного интерфейса нет, надо еще и авторизацию получить чтобы читать файлы другого ящика.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Для заливки файлов во время написания у нас используется похожий механизм. Отдельный инстанс облака заточенный именно под написание письма, а не хранения.

Сам loader, как написано в статье потоковый. http сервер который принимает файлы от пользователя (nginx) не потоковый, но там мы не упираемся в ресурсы поэтому эту проблему не решали.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Насколько мне известно с осмысленными файлами таких коллизий до сих пор не обнаружено, у вас есть пример?

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

Приведите пример таких файлов.

Эффективное хранение: как мы из 50 Пб сделали 32 Пб

1. А как конкретно оркестратор решит поставленную проблему и сколько для этого понадобится железа?

2. Это не принципиально поле все равно переполняется

3. Считали, огромное количество нулей после запятой

Mail.Ru объявляет о начале закрытого бета-тестирования двухфакторной аутентификации

Добрый день, судя по статусу тикета ящик вам вернули.
Спасибо за репорт думаем как улучшить логику работы с одноразовыми кодами.

НЕ безлимитный почтовый ящик, или Сказ про секретное ограничение Mail.ru

Именно, начали с улучшения обработки этого случая на линии поддержки.

НЕ безлимитный почтовый ящик, или Сказ про секретное ограничение Mail.ru

Мы действительно работаем над увеличением технических лимитов, это правда. В качестве «безлимита» нами было взято количество писем, на порядок превышающее количество писем обычного пользователя, поэтому пользователи в него не упираются.

В качестве эксперимента мы пошли вам навстречу и сильно увеличили лимит для вашего аккаунта. Пожалуйста, сообщайте нам обо всех найденных ошибках.

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Works in
Date of birth
Registered
Activity