Comments 25
При чем здесь Dropbox? Одна их самых важных особенностей Dropbox — это эффективная синхронизация, а загрузку файлов в какое угодно хранилище сделать можно.
Ну и blobstore не особо недавняя фича, и до сих пор экспериментальная. Вполне возможно, что её вообще уберут или радикально поменяют, ибо она как-то заброшенно выглядит по сравнению с другими компонентами.
Не уберут, не заброшена, развивается.
Ну если у вас достоверная информация непосредственно от гугла, тогда конечно. Но вот поддержки blobstore в bulkloader что-то не видно, и когда будет, непонятно. В апи тоже нету, так что особо не порулишь хранилищем извне.
не представляю как можно нормально реагировать на идиотские сообщения «сейчас плохо, а скоро еще хуже будет». Пока в рашке все бухали по datastore было объявлено два больших анонса: разделение на быстрое и обычное и предложение от Гвидо нового асинхронного API ndb. Blobstore недавно подняли лимиты, еще раньше добавили хостинг картинок. Сделать свой bulkloader для больших файлов в целом тривиальная задача. Для «руления» хранилищами извне есть уже давно API, и кстати недавно добавили API для работы с мета информацией.
Вы же пишете какую-то махровую хрень. Вот несколько риторических вопросов: С какой стати Blobstore уберут? Какие говносайты вы читаете вместо того чтобы создавать свое собственное мнение? Какая экономическая целесообразность убирать сервис который витально важен для целостности платформы?
Вы же пишете какую-то махровую хрень. Вот несколько риторических вопросов: С какой стати Blobstore уберут? Какие говносайты вы читаете вместо того чтобы создавать свое собственное мнение? Какая экономическая целесообразность убирать сервис который витально важен для целостности платформы?
> Сделать свой bulkloader для больших файлов в целом тривиальная задача.
нуну, как это можно сделать, если до blobstore нет доступа через bulkloader? Вручную загонять файлы «традиционным» способом, а потом их «раскидывать» по нужным референсам? Смешно, зачем тогда bulkolader вообще.
> Вы же пишете какую-то махровую хрень. Вот несколько риторических вопросов: С какой стати Blobstore уберут? Какие говносайты вы читаете вместо того чтобы создавать свое собственное мнение? Какая экономическая целесообразность убирать сервис который витально важен для целостности платформы?
Я пишу, как вы выражаетесь «махровую хрень» по мотивам опыта использования blobstore/bulkloader. И постоянно натыкаюсь на откровенные баги и недоработки. И не надо за меня слова выдумывать, я чётко написал «уберут или радикально поменяют». Для меня ключевые требования к системе — это бэкап и восстановление, сейчас для этого приходится использовать bulkloader, который мало того что малодокументирован, так ещё и с багами, которые приходится самостоятельно исправлять в воркараундах (баги в трекер загонаю, да, но особо быстрой реакции не вижу, из чего делаю вывод о неприоритетности этого).
нуну, как это можно сделать, если до blobstore нет доступа через bulkloader? Вручную загонять файлы «традиционным» способом, а потом их «раскидывать» по нужным референсам? Смешно, зачем тогда bulkolader вообще.
> Вы же пишете какую-то махровую хрень. Вот несколько риторических вопросов: С какой стати Blobstore уберут? Какие говносайты вы читаете вместо того чтобы создавать свое собственное мнение? Какая экономическая целесообразность убирать сервис который витально важен для целостности платформы?
Я пишу, как вы выражаетесь «махровую хрень» по мотивам опыта использования blobstore/bulkloader. И постоянно натыкаюсь на откровенные баги и недоработки. И не надо за меня слова выдумывать, я чётко написал «уберут или радикально поменяют». Для меня ключевые требования к системе — это бэкап и восстановление, сейчас для этого приходится использовать bulkloader, который мало того что малодокументирован, так ещё и с багами, которые приходится самостоятельно исправлять в воркараундах (баги в трекер загонаю, да, но особо быстрой реакции не вижу, из чего делаю вывод о неприоритетности этого).
в bulkloader нет поддержки blobstore из-за того, что нельзя на сегодняшний день писать в blobstore непосредственно из приложения. bulkloader работает через Remote API, и следовательно еще не поддерживает blobstore.
По словам fredca в 1.4.2 с большой вероятностью появится возможность писать в blobstore из приложения.
По словам fredca в 1.4.2 с большой вероятностью появится возможность писать в blobstore из приложения.
Напишите свой bulkloader без «багов». Похоже у вас свой узкий класс задач, потому что «бэкап и восстановление» не являются в общем виде ключевыми.
У меня так и сделано, я бэкаплю всё с использованием simplexml, по пути решаю находимые баги и загоняю их в трекер.
Огорчает, что судя по гуглю, никто кроме меня simplexml не использует в качестве хранилища. Да и вообще мало кто bulkloader использует.
Огорчает, что судя по гуглю, никто кроме меня simplexml не использует в качестве хранилища. Да и вообще мало кто bulkloader использует.
В первый раз вижу simplexml, Google выводит ссылки на PHP быдло-код, а PyPI проявляет картину только на то, что это какой-то специфический проект до которого другим нет дела. Не удивительно, что никто в нем ничего не хранит.
> Для меня бэкап — это на самом деле подзадача миграции. Чтобы можно было легко «заскочить» и «соскочить» в случае чего.
Это не бизнес-подход, прыгайте сколько угодно конечно, но ориентироваться на вас ни один бизнес не будет. GAE не закрытая платформа, «vendor-lock» есть только в том, что в других местах невозможно найти некоторых ключевых особенностей. Но создавать утилиты для тех кто хочет вернутся на свой любимый MySQLчик никто не будет, можно ожидать только того, что разработчик будет сосредотачиваться на улучшении своей платформы.
Если вы считаете, что ниша импорта/экспорта пуста, то создайте успешный бизнес и зарабатывайте свой миллион. У меня, к сожалению, от большого количества таких высказываний складывается впечатление, что подобные разговоры — это соплежуйство хабр-горе-разрабочиков которые думают, что их кто-то собирается кинуть. Хостерам в рашке и украшке может это и приносит деньги, а Google нет, им деньги приносит доверие к их платформе других разработчиков. Какой смысл «спрыгивать»? Даже если что-то произойдет, то чтобы не потерять репутацию Google даст время и на переезд. Просто не размещайте то, что запрещено правилами.
> Для меня бэкап — это на самом деле подзадача миграции. Чтобы можно было легко «заскочить» и «соскочить» в случае чего.
Это не бизнес-подход, прыгайте сколько угодно конечно, но ориентироваться на вас ни один бизнес не будет. GAE не закрытая платформа, «vendor-lock» есть только в том, что в других местах невозможно найти некоторых ключевых особенностей. Но создавать утилиты для тех кто хочет вернутся на свой любимый MySQLчик никто не будет, можно ожидать только того, что разработчик будет сосредотачиваться на улучшении своей платформы.
Если вы считаете, что ниша импорта/экспорта пуста, то создайте успешный бизнес и зарабатывайте свой миллион. У меня, к сожалению, от большого количества таких высказываний складывается впечатление, что подобные разговоры — это соплежуйство хабр-горе-разрабочиков которые думают, что их кто-то собирается кинуть. Хостерам в рашке и украшке может это и приносит деньги, а Google нет, им деньги приносит доверие к их платформе других разработчиков. Какой смысл «спрыгивать»? Даже если что-то произойдет, то чтобы не потерять репутацию Google даст время и на переезд. Просто не размещайте то, что запрещено правилами.
Для меня бэкап — это на самом деле подзадача миграции. Чтобы можно было легко «заскочить» и «соскочить» в случае чего.
А есть вообще готовые решения, аналогичные dropbox, но со своим сервером? Меня dropbox устраивает конечно, да и места хватает, но почему то хочется чтоб это все крутилось на своем, уютненьком сервере :)
UFO just landed and posted this here
crashplan pro
Полностью аналогичные — нет, конечно.
Частные приближения — есть. Но там либо не будет веб-интерфейса, либо мобильного клиента, либо истории изменений, либо будет история, но не будет синхронизации и так далее.
Частные приближения — есть. Но там либо не будет веб-интерфейса, либо мобильного клиента, либо истории изменений, либо будет история, но не будет синхронизации и так далее.
Ну хотя бы базовый функционал (остальным как то не пользуюсь). Для истории изменений есть система контроля версий, web интерфейс могу сам поднять. Просто тупо расшареная папка…
Если тупо расшаренную папку, то выше уже написали вариант inotify-tools + rsync.
Можно менять компоненты (скажем, вместо rsync, использовать unison получая two-way sync), вариантов много и они все описаны в гугле.
Лично мне dropbox нравится тем, что он уже есть и даже работает, не надо ничего ставить и настраивать. И 14$ в месяц за удобства не такая уж и большая цена.
Можно менять компоненты (скажем, вместо rsync, использовать unison получая two-way sync), вариантов много и они все описаны в гугле.
Лично мне dropbox нравится тем, что он уже есть и даже работает, не надо ничего ставить и настраивать. И 14$ в месяц за удобства не такая уж и большая цена.
> Мы не можем использовать login_required декоратор здесь, потому что мы должны удалить файл если попытка загрузки не была авторизована.
Кажется мне что вход на страницу загрузки должен быть обязательно по авторизации чтобы не исчерпать квоты ботов.
Кажется мне что вход на страницу загрузки должен быть обязательно по авторизации чтобы не исчерпать квоты ботов.
Дропбокс хорош тем, что отсылает только модифицированную часть файла. Он работает на S3, а у амазона в апи есть возможность слать диапазон байт. В GAE-блобах такой возможности нет, каждый раз придется заливать файл целиком. Так что Ник (автор оригинала) малость погорячился, что решил написать «свой дропдокс». В лучшем случае это будет хостинг картинок.
Чтобы это стало хоть немного похожим на Dropbox а не страничку с загрузкой файлов на серве можно еще вкрутить это в систему с помощью FUSE.
А как удалять файлы не используя админ панель, а скажем так — кнопочка «del» возле каждого фала.
Only those users with full accounts are able to leave comments. Log in, please.
Реализация «dropbox» сервиса при помощи Blobstore API (Часть 1)