Comments 104
При достижении определенного размера системы, ресурсы которые придется затратить на удаление файлов будут превышать ресурсы на их хранение
Не верите?
Создайте у себя в директории пару десятков тысяч файлов с небольшим размером в FAT32
А потом удалите и послушайте как будет трещать винт
Дешевле их просто хранить
Не верите?
Создайте у себя в директории пару десятков тысяч файлов с небольшим размером в FAT32
А потом удалите и послушайте как будет трещать винт
Дешевле их просто хранить
+32
Не думал о таком, спасибо.
+2
Речь не идёт об удалении всех файлов. Если пользователь написал с службу поддержки с просьбой удаления файлов, то почему бы и не удалить несколько файлов.
-1
Вероятнее всего в лицензионном соглашении (которое никем никогда не читается) фотохостинг оставил за собой право хранить фотографии столько, сколько ему вздумается, при этом убрав их из публичного доступа.
У техподдержки может не быть прямого доступа к ФС серверов, удалять они могут только с помощью панели управления, которая написана так, что файлы не удаляет, а скрывает их с глаз долой.
У техподдержки может не быть прямого доступа к ФС серверов, удалять они могут только с помощью панели управления, которая написана так, что файлы не удаляет, а скрывает их с глаз долой.
+4
Странная панель управления получится — усложнение функционала на ровном месте.
-2
Это почему? поставить флаг в БД это одно, а лезть на какой-то ФС (надо еще определить какой), там что-то удалять, а может и на нескольких нагруженных серверах это совсем разного класса операции. Много где происходит просто пометка на удаление, а не само удаление…
+2
Вообще можно было использовать этакие краулеры, которые неспешно лопатят БД и лениво удаляют файло с пометкой «К удалению».
А ещё можно было сделать так, что файло с пометкой «К удалению» не отдавалась бы по прямым ссылкам никому.
Так что есть недоработки в движке.
А ещё можно было сделать так, что файло с пометкой «К удалению» не отдавалась бы по прямым ссылкам никому.
Так что есть недоработки в движке.
+3
Например так.
Иначе получается, что один раз сэкономили несколько миллисекунд, а потом поимели проблемы с приватностью, недовольство пользователей (см. пост, собственно) и так далее. А все потому, что проектировщик прокололся или программерам было лениво сразу нормально сделать.
Иначе получается, что один раз сэкономили несколько миллисекунд, а потом поимели проблемы с приватностью, недовольство пользователей (см. пост, собственно) и так далее. А все потому, что проектировщик прокололся или программерам было лениво сразу нормально сделать.
-2
Для отдачи фоток используется самое простое и быстрое решение. Легкий веб-сервер с минимальными проверками при отдаче фоток. Любая проверка это замедление работы, а на таких нагрузках как у Яндекса это может быть чревато тормозами.
А не удаляют наверное чтобы каждой фотке соответствовал файл. Вдруг кто-то в блог запостит какую-то фотку по прямой ссылке, а потом она умрет и будет битая картинка. Хотя вот это как раз довольно натянуто. Скорее, сделали чтобы случайно что-то важное не грохнуть. Когда не удаляешь, оно как-то безопаснее;)
А не удаляют наверное чтобы каждой фотке соответствовал файл. Вдруг кто-то в блог запостит какую-то фотку по прямой ссылке, а потом она умрет и будет битая картинка. Хотя вот это как раз довольно натянуто. Скорее, сделали чтобы случайно что-то важное не грохнуть. Когда не удаляешь, оно как-то безопаснее;)
+1
Вы как-то недооцениваете сложность проблемы.
Я не изучал как ведут сеяб Яндекс.Фотки, но рискну предположить.
Что для отдачи самих фоток используется какой-то супер легкий сервер. И его задача была поставленна — наиболее быстро отдавать весь контент. Также рискну предположить, что такой сервер не один, и контент продублирован не на одной файловой системе.
Так что, когда пользователь пытается просмотреть свою фотографию «по-нормальному» веб-приложение вполне в состоянии проверить различные флаги этой фотографии и показать вам соотвествующий результат. Но!
Когда вы пытаетесь доступиться к фотографии по прямому ее урлу на сервере, тут уж проверки делать очень и очень дорого (вы помните мы предположили, что они используют очень высокопроизводительный сервер для отдачи бинарного контента).
Кроме того, если бы я работал в Яндексе, то я бы отдавал фотографии не просто высокопроизводительным сервером, а еще как-нибудь «извратился» с кешированием: или мощным кешированием внутри самих веб-серверов, либо реверс-прокси (типа кальмар) с кешированием всего, что только возможно, в гигантскую оперативную память (благо 64 бита позволяют), ни или просто в рейд быстрых винтов.
А теперь представьте, вы хотите, чтобы ваша фотография была физически удалена. Для этого нужно всего ничего — сделать purge — всех кешей.
PS. Я понимаю, где слабое место в моем рассуждении — обновления-то подхватываются. Возможно для кеширующего слоя нет команды — удалить из кеша, а по запросу он проверяет оригинал — для обновления, но оригинал-то в случае удаления не меняется. Возможно, перед удалением нужно замещать фотографию — репродукцией Малевича, так как они явно умеют их обновлять.
Я не изучал как ведут сеяб Яндекс.Фотки, но рискну предположить.
Что для отдачи самих фоток используется какой-то супер легкий сервер. И его задача была поставленна — наиболее быстро отдавать весь контент. Также рискну предположить, что такой сервер не один, и контент продублирован не на одной файловой системе.
Так что, когда пользователь пытается просмотреть свою фотографию «по-нормальному» веб-приложение вполне в состоянии проверить различные флаги этой фотографии и показать вам соотвествующий результат. Но!
Когда вы пытаетесь доступиться к фотографии по прямому ее урлу на сервере, тут уж проверки делать очень и очень дорого (вы помните мы предположили, что они используют очень высокопроизводительный сервер для отдачи бинарного контента).
Кроме того, если бы я работал в Яндексе, то я бы отдавал фотографии не просто высокопроизводительным сервером, а еще как-нибудь «извратился» с кешированием: или мощным кешированием внутри самих веб-серверов, либо реверс-прокси (типа кальмар) с кешированием всего, что только возможно, в гигантскую оперативную память (благо 64 бита позволяют), ни или просто в рейд быстрых винтов.
А теперь представьте, вы хотите, чтобы ваша фотография была физически удалена. Для этого нужно всего ничего — сделать purge — всех кешей.
PS. Я понимаю, где слабое место в моем рассуждении — обновления-то подхватываются. Возможно для кеширующего слоя нет команды — удалить из кеша, а по запросу он проверяет оригинал — для обновления, но оригинал-то в случае удаления не меняется. Возможно, перед удалением нужно замещать фотографию — репродукцией Малевича, так как они явно умеют их обновлять.
+2
Да, «мягкое удаление» в данном случае один из вариантов решения проблемы.
0
Нет, в пользовательском соглашении этого нет.
А то, что ПС никем никогда не читается вы сами и подвердили — дав какое-то предположение поленившись сходить и поверить — так ли это, или нет
А то, что ПС никем никогда не читается вы сами и подвердили — дав какое-то предположение поленившись сходить и поверить — так ли это, или нет
0
О! Накажите меня! Да, вот так! Ещё, ещё, ещё!
-2
Ваши программисты допустили ошибку (а программисты-ли, а ошибку-ли?), но вы при этом изволите немного дуться на меня?
И, несомненно, в этой ошибке виноваты клиенты сервиса. Они не прочитали ПС!
Ну прочитал я его прямо сейчас, теперь я могу файлы удалить, а не скрыть?
И, несомненно, в этой ошибке виноваты клиенты сервиса. Они не прочитали ПС!
Ну прочитал я его прямо сейчас, теперь я могу файлы удалить, а не скрыть?
-3
я просто констатирую факт того, что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.
0
Да, я заметил. Вы этим тоже грешите.
Итак правильно и по делу.
Действительно в ПС нет пункта о «вечном» хранении любого пользовательского контента на Яндекс Фотках. Но там есть пункт «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта».
Так почему Фотографии с вашего сервиса не удалялись? Потому что я ПС не прочитал?
Итак правильно и по делу.
Действительно в ПС нет пункта о «вечном» хранении любого пользовательского контента на Яндекс Фотках. Но там есть пункт «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта».
Так почему Фотографии с вашего сервиса не удалялись? Потому что я ПС не прочитал?
0
Да слава не знаю кому, что представитель Яндекса заметил размещённую на Хабре заметку и ЛИЧНО удалил злосчастные фотки.
Ничего, что автор заметки писал в вашу ТП письма с просьбой разобраться в вопросе?
===
Хабр начинает напоминать личный блог Президента: пока в блоге о проблеме не напишешь — никто не шевелится.
Ничего, что автор заметки писал в вашу ТП письма с просьбой разобраться в вопросе?
===
Хабр начинает напоминать личный блог Президента: пока в блоге о проблеме не напишешь — никто не шевелится.
0
вам поговорить не о чем?
0
Разговор о пустом начали вы.
Вы почему-то решили меня уесть тем, что я не прочитал ПС, но при этом сделал предположение о наличии в нём некоторого пункта. Оказалось пункта нет. Но раз его нет, то вся ситуация выглядит ещё более неприглядно — пункта нет, а факт «вечного» хранения есть.
И ваше «что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.» выглядит странно.
Вы сами-то для чего написали про то, что я ПС не читал? Просто так, вам поговорить не с кем было?
Вы почему-то решили меня уесть тем, что я не прочитал ПС, но при этом сделал предположение о наличии в нём некоторого пункта. Оказалось пункта нет. Но раз его нет, то вся ситуация выглядит ещё более неприглядно — пункта нет, а факт «вечного» хранения есть.
И ваше «что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.» выглядит странно.
Вы сами-то для чего написали про то, что я ПС не читал? Просто так, вам поговорить не с кем было?
0
Я не думаю, что яндекс использует в своих хранилищах FAT32 :-)
Однако, вы скорее всего абсолютно правы, просто винты у них буду крехтеть в поисках дохлых пользователей.
Однако, вы скорее всего абсолютно правы, просто винты у них буду крехтеть в поисках дохлых пользователей.
+7
Это — проблема файловой системы FAT32. В других файловых системах (ReiferFS, например), эта проблема не стоит так остро.
+2
в ext3 это проблема есть, а reiser вряд ли где-то в продакшн используется.
0
может в яндексе давно своя фаловая система аля GFS (Google File System)
-2
Если брать не reiser, а JFS, XFS, то это вполне продакшновые файловые системы (кстати, не уверен, что reiser не используется в продакшне).
0
В ext3 есть dir_index, правда не уверен, что он не хуже, чем на ФС с нормальными деревьями.
0
reiser? Вполне себе используется… почему бы нет…
0
По-моему форматирование решает проблему за пару минут, никакого треска не слышно
-3
Для удаления сотни фотографий с раздела в терабайт вы будете его форматировать?
+1
Удаление сотни фотографий не заставляет бешено жужжать винчестер и занимает 1 секунду, в отличие от десяти тысяч фотографий. Речь о том, что заранее правильная организация системы хранения файлов должна предусматривать легкую работу с файлами.
В конце концов, если так дешева память как говорят в обсуждении, пусть заводят по разделу на каждого пользователя и при удалении аккаунта удаляют раздел.
В конце концов, если так дешева память как говорят в обсуждении, пусть заводят по разделу на каждого пользователя и при удалении аккаунта удаляют раздел.
0
У вас когда винт забивается, вы новый покупаете?
-1
в яндексе работают не идиоты. уж по папкам раскидать додумались, вернее, пришлось, потому что не только скорость удаления падает, но и скорость чтения.
скорее всего не удаляют, потому что не хотят по разным причинам, в том числе чтобы старые ссылки не вели на 404-ю. если бы хотели удалять, то удаляли бы и плевать на количество файлов и репликацию.
скорее всего не удаляют, потому что не хотят по разным причинам, в том числе чтобы старые ссылки не вели на 404-ю. если бы хотели удалять, то удаляли бы и плевать на количество файлов и репликацию.
+2
«винт будет трещать» из-за хреновых алгоритмов (читай: отсутствия кэширования). вместо того чтобы один раз модифицировать FAT и директории, головка будет прыгать туда-сюда.
0
Давно заметил ту же проблему на примере вконтакте: там тоже и удаленные и скрытые и всякие-превсякие фотографии доступны по прямым ссылкам. Но!))) Если по внутренней почте вконтакте отправить прямую ссылку на картинку, то ссылка исказиться и получатель ничего не увидит :) Напоминает давнюю историю со словом javascript :)
Вопрос: а нет ли специальных файловых систем, у которых «ресурсы которые придется затратить на удаление файлов» НЕ «будут превышать ресурсы на их хранение»?
Вопрос: а нет ли специальных файловых систем, у которых «ресурсы которые придется затратить на удаление файлов» НЕ «будут превышать ресурсы на их хранение»?
0
Она исказится совершенно не потому что они пытаются скрыть ссылку, а потому что в этой ссылке присутствует конкретный сервер, а для того чтобы давать пользователям нормальные ссылки, абстрагированные от сервера, сервер у ссылок просто обрезается.
+1
UFO just landed and posted this here
А что мешает поставить в Базе данных маркер на конкретные фотографии УДАЛЕН = ДА. И после этого при поиске или любой другой попытке просмотра игнорировать фотографии, у которых этот маркер равен ДА ???
0
Что то часто последнее время, яндекс расстраивает своих пользователей.
-3
Насколько я помню, они не удаляют физически файлы. Т.е. если аккаунт удален, фотки все равно лежат. Если честно, не помню как ситуация обстоит если ты удаляешь файл самостоятельно
0
И в догонку — добавил у себя фотку и удалил ее. Физически ссылка работает. Не помню как яндекс-фотки аргументировал это, но факт остается фактом
+1
это если где нить засветилась моя фотка а мне это не нравится я ничего не могу сделать?
жестко
жестко
0
В общем да. Так как Гугль индексирует Яндекс. :) А Гуглю индексирует ещё кто-то. А ещё кого-то индексирует вооон тот сервис.
И их всех, иногда, индексируют власть имущие, причём не всегда мягонько и с вазелином.
И их всех, иногда, индексируют власть имущие, причём не всегда мягонько и с вазелином.
0
неприятный какой-то факт :-(
выходит, если хочешь избавиться от фотки, но уже где-то засветил прямую ссылку — шансов практически нет?
выходит, если хочешь избавиться от фотки, но уже где-то засветил прямую ссылку — шансов практически нет?
0
Отсюда вспоминаем простое правило: «Все что в тырнеты попало – не вырубишь и топором.»
+11
Если не секрет, чем вызвана такая паника и за присутствия фотографий в Яндексе?
(правда если это не супер компрометирующие материалы)
(правда если это не супер компрометирующие материалы)
0
Бывает что информация по прошествии времени не должна быть доступна. Кстати очень важный момент, что и запароленные фотки также доступны по прямому адресу без пароля и после удаления.
+1
как раз хотел предложить это сделать
но это действительно нонсенс, думаю стоит продолжить писать в супорт ''Я''
(возможно задержка с выполнением вашей заявки вызвана летним периодом отпусков и незначительного послабления булок конкретного отдела)
но это действительно нонсенс, думаю стоит продолжить писать в супорт ''Я''
(возможно задержка с выполнением вашей заявки вызвана летним периодом отпусков и незначительного послабления булок конкретного отдела)
0
Десять лет назад я зарегистрировался на chat.ru и сделал там простую веб-страничку. Как её теперь удалить оттуда — ума не приложу. Залогиниться невозможно, писать в техподдержку — некуда
+3
Кстати да. Хрен знает сколько лет назад сделал себе страничку на «народе». До сих пор живая. Пароля не помню. На какой емыл регистрировал — тоже не помню. Если и вспомню емыл — вряд ли вспомню пароль (и это если емыл ещё живой).
И шо делать? :)
И шо делать? :)
0
на народе будет жить страничка, пока на нее ходят. у меня один экспериментальный сайт благополучно сдох, так как о нем почти никому не говорил и ссылок на нее не ставил. и мне однажды пришло письмо от тех.поддержки о том, что сайт закроется, если вы сами не зайдете на него. Я и не зашел )))
0
>на народе будет жить страничка, пока на нее ходят
Неужели кто-то ходит на мой типичный такой «хомяк» из 3.5 страниц, сляпанный после прочтения по диагонали книжки «Свой веб-сайт за 24 часа», наполненный всякими крутилками-болталками на JS и не интересный никому (даже мне :)) чуть более, чем полностью?? «Не верю!» © :)
Неужели кто-то ходит на мой типичный такой «хомяк» из 3.5 страниц, сляпанный после прочтения по диагонали книжки «Свой веб-сайт за 24 часа», наполненный всякими крутилками-болталками на JS и не интересный никому (даже мне :)) чуть более, чем полностью?? «Не верю!» © :)
0
беспредметный спор. если на страницах есть какой-нибудь счетчик, то можно было обсуждать, действительно ли никто не ходит. может вы сами периодически заходите, чтобы проверить не умер ли сайт. я точных сроков не помню — может год не надо заходить.
0
Беспредметный — это точно. Да и не спор это вовсе. Я не могу спорить, потому что не обладаю вообще никакими данными, я просто выражаю своё недоумение, что туда вообще кто-то заходит, потому что он практически пустой. Я сам не заходил на него года 4 точно.
>я точных сроков не помню — может год не надо заходить.
Вот чёрт, теперь отсчёт пошёл по новой… %)
Ладно, пусть крутится. Как памятник тому, какие мы были молодые и наивные :)
>я точных сроков не помню — может год не надо заходить.
Вот чёрт, теперь отсчёт пошёл по новой… %)
Ладно, пусть крутится. Как памятник тому, какие мы были молодые и наивные :)
0
Открою маленький секрет — на веб-страницы очень часто попадают случайно через поисковик.
0
Я понимаю. Я просто не понимаю, какой должен быть запрос, чтобы по нему выскочил этот сайт в числе хотя бы первого миллиона результатов %)
0
а это вполне может быть какой-нибудь спамовый робот. ему по барабану, какое там у вас место в рейтинге. лишь бы ссылка на сайт была.
0
первый раз в интернете, что ли?
0
Испытываю ту же проблему. Если вдруг у вас решится, не поленитесь — свистните, пожалуйста :-)
И сам я вам напишу, если мне что-то удастся сделать.
Там, кстати, есть адрес webmaster@chat.ru, но непонятно, даст ли что-нибудь письмо туда отправленное.
И сам я вам напишу, если мне что-то удастся сделать.
Там, кстати, есть адрес webmaster@chat.ru, но непонятно, даст ли что-нибудь письмо туда отправленное.
0
Давно думал над вопросом хранения информации вообще. Эту цивилизацию похоронит переизбыток информации. Она копится и копится, и не поддается какой либо сортировки. Кто-нибудь подсчитывал, сколько терабайт информации появляется на наших винчестерах ежечасно? Любое событие, будто свадьба, ЧП, футбольный матч, отпуск, съемка фильма — это груда фотографий, видео, текстов исходных и обработанных. А потребуется ли всё это в ближайшем или далеком будущем? Не кидайте в меня фантиками, это всего лишь рассуждения :)
0
Хорошо, что далеко не все догадываются найти прямую ссылку на удалённую фотку. По-моему, такая дыра — безобразие, неуважение, ведь если человек хочет удалить фотку — надо её удалить, а не просто убрать ссылочку в профиле! Или хотя бы закрыть доступ, поместив в «корзину».
-2
А может просто фотки в кэше вашего браузера )
0
Очень сложная процедура, Яндексу не под силу.
+2
Это хороший аргумент не использовать Яндекс.Фотки. Спасибо, что предупредили. Интересно, а как с этим у других фотохостингов?
+3
Да, интересно, ибо до этого момента считал что Яндекс.фотки идеальный сервис для хранения большого количества фотографий. Пикасу тоже использую, нравятся все их нововведения, но никогда не знаешь что может выкинуть google. А теперь вот и яндекс заразился болезнью знать все и всех. =)
0
проверил на своем аккаунте photobucket.com — после удаления фото по прямой ссылке выводится картинка с надписью «this image has been deleted»
пользуйтесь на здоровье :)
пользуйтесь на здоровье :)
0
Ссылайтесь на пользовательское соглашение:
«Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта.»
Если вы действительно удалили все фото когда у вас еще был аккаунт, то Яндекс нарушает условия своего ПС.
Также нарушаются условия ПС если действительно имеет место открытый доступ к закрытым пользователем изображениям.
Прочими основаниями для удаления может служить нарушение интеллектуальных прав третьих лиц, а также возражения третьих лиц, если их изображения присутствуют на размещенных вами фото.
Удачи.
«Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта.»
Если вы действительно удалили все фото когда у вас еще был аккаунт, то Яндекс нарушает условия своего ПС.
Также нарушаются условия ПС если действительно имеет место открытый доступ к закрытым пользователем изображениям.
Прочими основаниями для удаления может служить нарушение интеллектуальных прав третьих лиц, а также возражения третьих лиц, если их изображения присутствуют на размещенных вами фото.
Удачи.
+4
Один раз отданное в интернет, останется там навсегда. Нужно просто об этом помнить.
0
Скорее всего Вы не удаляли фотографии, а сразу удалили аккаунт. В данный момент тоже самое воспроизводится и сегодня — при входе в настройки и выборе пункта «Удалить аккаунт», Вам предлагается два варианта: «Удалить все фотографии», «Удалить аккаунт», при выборе первого все ваши фото будут удалены и недоступны по прямым ссылка, во втором случае аккаунт удаляется, а информация остаётся на жёстком диске Яндекса.
-2
У нас есть некоторые проблемы с тем, что не все фотографии удаляются.
Прямо сейчас мы удалили несколько ваших фоток, на которые были ссылки «снаружи» (т.е. недавно запрашивались), завтра к вечеру удалим остальные фотографии.
Извините.
Вообще мы удаляем с хранилищ удалённые фотки, делаем это через некоторое время после удаления аккаунта пользователя или удаления фотографии, но у нас были с этим некоторые проблемы. (Да, хранить удалённые изображения естественно экономически невыгодно и никому не нужно).
— Денис Танаев
менеджер сервиса Яндекс.Фотки
Прямо сейчас мы удалили несколько ваших фоток, на которые были ссылки «снаружи» (т.е. недавно запрашивались), завтра к вечеру удалим остальные фотографии.
Извините.
Вообще мы удаляем с хранилищ удалённые фотки, делаем это через некоторое время после удаления аккаунта пользователя или удаления фотографии, но у нас были с этим некоторые проблемы. (Да, хранить удалённые изображения естественно экономически невыгодно и никому не нужно).
— Денис Танаев
менеджер сервиса Яндекс.Фотки
+5
Sign up to leave a comment.
Яндекс Фотки и срок хранения файлов