Комментарии 21
Высокодоступный тогда уж.
правильно ли я понимаю, что s3fs заливает файлы на s3 асинхронно, в фоне, грубо говоря?
выходит, что вполне вероятен кейс, в котором файл (бакап, например), был залит через ftp на ФС сервера, и pureftp отчитался, что все окай, а в это время происходит отправка этого самого файла с сервера в s3, которая не контролируется, не мониторится и в случае ошибки не создаются инциденты и не отправляется нотификация.
получается не очень-то и «высокодоступно»…
выходит, что вполне вероятен кейс, в котором файл (бакап, например), был залит через ftp на ФС сервера, и pureftp отчитался, что все окай, а в это время происходит отправка этого самого файла с сервера в s3, которая не контролируется, не мониторится и в случае ошибки не создаются инциденты и не отправляется нотификация.
получается не очень-то и «высокодоступно»…
нет, асинхронной заливки нет, файлы заливаются прямо на S3 и pure-ftpd отчитается что всё ок, только когда файл уже на полностью загрузится на S3.
в таком случае, все еще возможен вариант с потерей соединения с s3.
по идее, также возможен и вариант с ошибками во время put'a на s3, которые пока не проверяются code.google.com/p/s3fs/issues/detail?id=37
по идее, также возможен и вариант с ошибками во время put'a на s3, которые пока не проверяются code.google.com/p/s3fs/issues/detail?id=37
НЛО прилетело и опубликовало эту надпись здесь
Интересно сделано.
Каждый раз, глядя на фтп с ужасом вспоминаю сколько гемора доставляет этот архаичный протокол сейчас. Не поделитесь, что за задача заставила изобретать такие хитровыверты?
Каждый раз, глядя на фтп с ужасом вспоминаю сколько гемора доставляет этот архаичный протокол сейчас. Не поделитесь, что за задача заставила изобретать такие хитровыверты?
Как насчет скорости получилось? Помню s3fs весьма неспешно работает, особенно если много мелких файлов закачивать.
Привет!
Являюсь разработчиком Open Source проекта RioFS: https://github.com/skoobe/riofs. Проект предоставляет доступ к S3 через локаольную файловую систему. В нашей компании мы использовали примерно такую же схему, как и автор поста: высоконагруженный proftpd + s3fs, но при использовании возникло огромное количество проблем и исправить их, не меная саму архитектуру проекта, не предоставлялось возможным.
Наш проект — прямой аналог s3fs, но мы учли многие недочеты и ошибки в архитектуре s3fs. Наша главная цель: стабильности и скорость. В настоящий момент наш проект находиться в ранней бете, но уже какое-то время работает в режиме «только чтение» на одном из наших высокозагружженых серверов. Результатами мы довольны.
Мы планируем активно развивать проект. Хотел бы, как разработчик проекта, попрасить Вас попробовать установить RioFS и потестировать его в действии. Если возникнуть проблемы или же Вы желаете чтобы была реализована какая-либо дополнительная функция: пожалуйста не поленитесь и составьте «bug report» или отошлите мне тут сообщение.
Спасибо!
Являюсь разработчиком Open Source проекта RioFS: https://github.com/skoobe/riofs. Проект предоставляет доступ к S3 через локаольную файловую систему. В нашей компании мы использовали примерно такую же схему, как и автор поста: высоконагруженный proftpd + s3fs, но при использовании возникло огромное количество проблем и исправить их, не меная саму архитектуру проекта, не предоставлялось возможным.
Наш проект — прямой аналог s3fs, но мы учли многие недочеты и ошибки в архитектуре s3fs. Наша главная цель: стабильности и скорость. В настоящий момент наш проект находиться в ранней бете, но уже какое-то время работает в режиме «только чтение» на одном из наших высокозагружженых серверов. Результатами мы довольны.
Мы планируем активно развивать проект. Хотел бы, как разработчик проекта, попрасить Вас попробовать установить RioFS и потестировать его в действии. Если возникнуть проблемы или же Вы желаете чтобы была реализована какая-либо дополнительная функция: пожалуйста не поленитесь и составьте «bug report» или отошлите мне тут сообщение.
Спасибо!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Высокодоступный FTP-сервер с хранением данных в AWS S3