Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 104
При достижении определенного размера системы, ресурсы которые придется затратить на удаление файлов будут превышать ресурсы на их хранение
Не верите?
Создайте у себя в директории пару десятков тысяч файлов с небольшим размером в FAT32
А потом удалите и послушайте как будет трещать винт
Дешевле их просто хранить
Не верите?
Создайте у себя в директории пару десятков тысяч файлов с небольшим размером в FAT32
А потом удалите и послушайте как будет трещать винт
Дешевле их просто хранить
Не думал о таком, спасибо.
Речь не идёт об удалении всех файлов. Если пользователь написал с службу поддержки с просьбой удаления файлов, то почему бы и не удалить несколько файлов.
Вероятнее всего в лицензионном соглашении (которое никем никогда не читается) фотохостинг оставил за собой право хранить фотографии столько, сколько ему вздумается, при этом убрав их из публичного доступа.
У техподдержки может не быть прямого доступа к ФС серверов, удалять они могут только с помощью панели управления, которая написана так, что файлы не удаляет, а скрывает их с глаз долой.
У техподдержки может не быть прямого доступа к ФС серверов, удалять они могут только с помощью панели управления, которая написана так, что файлы не удаляет, а скрывает их с глаз долой.
Странная панель управления получится — усложнение функционала на ровном месте.
Это почему? поставить флаг в БД это одно, а лезть на какой-то ФС (надо еще определить какой), там что-то удалять, а может и на нескольких нагруженных серверах это совсем разного класса операции. Много где происходит просто пометка на удаление, а не само удаление…
Вообще можно было использовать этакие краулеры, которые неспешно лопатят БД и лениво удаляют файло с пометкой «К удалению».
А ещё можно было сделать так, что файло с пометкой «К удалению» не отдавалась бы по прямым ссылкам никому.
Так что есть недоработки в движке.
А ещё можно было сделать так, что файло с пометкой «К удалению» не отдавалась бы по прямым ссылкам никому.
Так что есть недоработки в движке.
Например так.
Иначе получается, что один раз сэкономили несколько миллисекунд, а потом поимели проблемы с приватностью, недовольство пользователей (см. пост, собственно) и так далее. А все потому, что проектировщик прокололся или программерам было лениво сразу нормально сделать.
Иначе получается, что один раз сэкономили несколько миллисекунд, а потом поимели проблемы с приватностью, недовольство пользователей (см. пост, собственно) и так далее. А все потому, что проектировщик прокололся или программерам было лениво сразу нормально сделать.
Для отдачи фоток используется самое простое и быстрое решение. Легкий веб-сервер с минимальными проверками при отдаче фоток. Любая проверка это замедление работы, а на таких нагрузках как у Яндекса это может быть чревато тормозами.
А не удаляют наверное чтобы каждой фотке соответствовал файл. Вдруг кто-то в блог запостит какую-то фотку по прямой ссылке, а потом она умрет и будет битая картинка. Хотя вот это как раз довольно натянуто. Скорее, сделали чтобы случайно что-то важное не грохнуть. Когда не удаляешь, оно как-то безопаснее;)
А не удаляют наверное чтобы каждой фотке соответствовал файл. Вдруг кто-то в блог запостит какую-то фотку по прямой ссылке, а потом она умрет и будет битая картинка. Хотя вот это как раз довольно натянуто. Скорее, сделали чтобы случайно что-то важное не грохнуть. Когда не удаляешь, оно как-то безопаснее;)
Вы как-то недооцениваете сложность проблемы.
Я не изучал как ведут сеяб Яндекс.Фотки, но рискну предположить.
Что для отдачи самих фоток используется какой-то супер легкий сервер. И его задача была поставленна — наиболее быстро отдавать весь контент. Также рискну предположить, что такой сервер не один, и контент продублирован не на одной файловой системе.
Так что, когда пользователь пытается просмотреть свою фотографию «по-нормальному» веб-приложение вполне в состоянии проверить различные флаги этой фотографии и показать вам соотвествующий результат. Но!
Когда вы пытаетесь доступиться к фотографии по прямому ее урлу на сервере, тут уж проверки делать очень и очень дорого (вы помните мы предположили, что они используют очень высокопроизводительный сервер для отдачи бинарного контента).
Кроме того, если бы я работал в Яндексе, то я бы отдавал фотографии не просто высокопроизводительным сервером, а еще как-нибудь «извратился» с кешированием: или мощным кешированием внутри самих веб-серверов, либо реверс-прокси (типа кальмар) с кешированием всего, что только возможно, в гигантскую оперативную память (благо 64 бита позволяют), ни или просто в рейд быстрых винтов.
А теперь представьте, вы хотите, чтобы ваша фотография была физически удалена. Для этого нужно всего ничего — сделать purge — всех кешей.
PS. Я понимаю, где слабое место в моем рассуждении — обновления-то подхватываются. Возможно для кеширующего слоя нет команды — удалить из кеша, а по запросу он проверяет оригинал — для обновления, но оригинал-то в случае удаления не меняется. Возможно, перед удалением нужно замещать фотографию — репродукцией Малевича, так как они явно умеют их обновлять.
Я не изучал как ведут сеяб Яндекс.Фотки, но рискну предположить.
Что для отдачи самих фоток используется какой-то супер легкий сервер. И его задача была поставленна — наиболее быстро отдавать весь контент. Также рискну предположить, что такой сервер не один, и контент продублирован не на одной файловой системе.
Так что, когда пользователь пытается просмотреть свою фотографию «по-нормальному» веб-приложение вполне в состоянии проверить различные флаги этой фотографии и показать вам соотвествующий результат. Но!
Когда вы пытаетесь доступиться к фотографии по прямому ее урлу на сервере, тут уж проверки делать очень и очень дорого (вы помните мы предположили, что они используют очень высокопроизводительный сервер для отдачи бинарного контента).
Кроме того, если бы я работал в Яндексе, то я бы отдавал фотографии не просто высокопроизводительным сервером, а еще как-нибудь «извратился» с кешированием: или мощным кешированием внутри самих веб-серверов, либо реверс-прокси (типа кальмар) с кешированием всего, что только возможно, в гигантскую оперативную память (благо 64 бита позволяют), ни или просто в рейд быстрых винтов.
А теперь представьте, вы хотите, чтобы ваша фотография была физически удалена. Для этого нужно всего ничего — сделать purge — всех кешей.
PS. Я понимаю, где слабое место в моем рассуждении — обновления-то подхватываются. Возможно для кеширующего слоя нет команды — удалить из кеша, а по запросу он проверяет оригинал — для обновления, но оригинал-то в случае удаления не меняется. Возможно, перед удалением нужно замещать фотографию — репродукцией Малевича, так как они явно умеют их обновлять.
Да, «мягкое удаление» в данном случае один из вариантов решения проблемы.
Нет, в пользовательском соглашении этого нет.
А то, что ПС никем никогда не читается вы сами и подвердили — дав какое-то предположение поленившись сходить и поверить — так ли это, или нет
А то, что ПС никем никогда не читается вы сами и подвердили — дав какое-то предположение поленившись сходить и поверить — так ли это, или нет
О! Накажите меня! Да, вот так! Ещё, ещё, ещё!
Ваши программисты допустили ошибку (а программисты-ли, а ошибку-ли?), но вы при этом изволите немного дуться на меня?
И, несомненно, в этой ошибке виноваты клиенты сервиса. Они не прочитали ПС!
Ну прочитал я его прямо сейчас, теперь я могу файлы удалить, а не скрыть?
И, несомненно, в этой ошибке виноваты клиенты сервиса. Они не прочитали ПС!
Ну прочитал я его прямо сейчас, теперь я могу файлы удалить, а не скрыть?
я просто констатирую факт того, что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.
Да, я заметил. Вы этим тоже грешите.
Итак правильно и по делу.
Действительно в ПС нет пункта о «вечном» хранении любого пользовательского контента на Яндекс Фотках. Но там есть пункт «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта».
Так почему Фотографии с вашего сервиса не удалялись? Потому что я ПС не прочитал?
Итак правильно и по делу.
Действительно в ПС нет пункта о «вечном» хранении любого пользовательского контента на Яндекс Фотках. Но там есть пункт «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта».
Так почему Фотографии с вашего сервиса не удалялись? Потому что я ПС не прочитал?
Да слава не знаю кому, что представитель Яндекса заметил размещённую на Хабре заметку и ЛИЧНО удалил злосчастные фотки.
Ничего, что автор заметки писал в вашу ТП письма с просьбой разобраться в вопросе?
===
Хабр начинает напоминать личный блог Президента: пока в блоге о проблеме не напишешь — никто не шевелится.
Ничего, что автор заметки писал в вашу ТП письма с просьбой разобраться в вопросе?
===
Хабр начинает напоминать личный блог Президента: пока в блоге о проблеме не напишешь — никто не шевелится.
вам поговорить не о чем?
Разговор о пустом начали вы.
Вы почему-то решили меня уесть тем, что я не прочитал ПС, но при этом сделал предположение о наличии в нём некоторого пункта. Оказалось пункта нет. Но раз его нет, то вся ситуация выглядит ещё более неприглядно — пункта нет, а факт «вечного» хранения есть.
И ваше «что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.» выглядит странно.
Вы сами-то для чего написали про то, что я ПС не читал? Просто так, вам поговорить не с кем было?
Вы почему-то решили меня уесть тем, что я не прочитал ПС, но при этом сделал предположение о наличии в нём некоторого пункта. Оказалось пункта нет. Но раз его нет, то вся ситуация выглядит ещё более неприглядно — пункта нет, а факт «вечного» хранения есть.
И ваше «что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.» выглядит странно.
Вы сами-то для чего написали про то, что я ПС не читал? Просто так, вам поговорить не с кем было?
Я не думаю, что яндекс использует в своих хранилищах FAT32 :-)
Однако, вы скорее всего абсолютно правы, просто винты у них буду крехтеть в поисках дохлых пользователей.
Однако, вы скорее всего абсолютно правы, просто винты у них буду крехтеть в поисках дохлых пользователей.
Это — проблема файловой системы FAT32. В других файловых системах (ReiferFS, например), эта проблема не стоит так остро.
в ext3 это проблема есть, а reiser вряд ли где-то в продакшн используется.
может в яндексе давно своя фаловая система аля GFS (Google File System)
Если брать не reiser, а JFS, XFS, то это вполне продакшновые файловые системы (кстати, не уверен, что reiser не используется в продакшне).
В ext3 есть dir_index, правда не уверен, что он не хуже, чем на ФС с нормальными деревьями.
reiser? Вполне себе используется… почему бы нет…
По-моему форматирование решает проблему за пару минут, никакого треска не слышно
Для удаления сотни фотографий с раздела в терабайт вы будете его форматировать?
Удаление сотни фотографий не заставляет бешено жужжать винчестер и занимает 1 секунду, в отличие от десяти тысяч фотографий. Речь о том, что заранее правильная организация системы хранения файлов должна предусматривать легкую работу с файлами.
В конце концов, если так дешева память как говорят в обсуждении, пусть заводят по разделу на каждого пользователя и при удалении аккаунта удаляют раздел.
В конце концов, если так дешева память как говорят в обсуждении, пусть заводят по разделу на каждого пользователя и при удалении аккаунта удаляют раздел.
У вас когда винт забивается, вы новый покупаете?
в яндексе работают не идиоты. уж по папкам раскидать додумались, вернее, пришлось, потому что не только скорость удаления падает, но и скорость чтения.
скорее всего не удаляют, потому что не хотят по разным причинам, в том числе чтобы старые ссылки не вели на 404-ю. если бы хотели удалять, то удаляли бы и плевать на количество файлов и репликацию.
скорее всего не удаляют, потому что не хотят по разным причинам, в том числе чтобы старые ссылки не вели на 404-ю. если бы хотели удалять, то удаляли бы и плевать на количество файлов и репликацию.
«винт будет трещать» из-за хреновых алгоритмов (читай: отсутствия кэширования). вместо того чтобы один раз модифицировать FAT и директории, головка будет прыгать туда-сюда.
Давно заметил ту же проблему на примере вконтакте: там тоже и удаленные и скрытые и всякие-превсякие фотографии доступны по прямым ссылкам. Но!))) Если по внутренней почте вконтакте отправить прямую ссылку на картинку, то ссылка исказиться и получатель ничего не увидит :) Напоминает давнюю историю со словом javascript :)
Вопрос: а нет ли специальных файловых систем, у которых «ресурсы которые придется затратить на удаление файлов» НЕ «будут превышать ресурсы на их хранение»?
Вопрос: а нет ли специальных файловых систем, у которых «ресурсы которые придется затратить на удаление файлов» НЕ «будут превышать ресурсы на их хранение»?
А что мешает поставить в Базе данных маркер на конкретные фотографии УДАЛЕН = ДА. И после этого при поиске или любой другой попытке просмотра игнорировать фотографии, у которых этот маркер равен ДА ???
Что то часто последнее время, яндекс расстраивает своих пользователей.
Насколько я помню, они не удаляют физически файлы. Т.е. если аккаунт удален, фотки все равно лежат. Если честно, не помню как ситуация обстоит если ты удаляешь файл самостоятельно
И в догонку — добавил у себя фотку и удалил ее. Физически ссылка работает. Не помню как яндекс-фотки аргументировал это, но факт остается фактом
это если где нить засветилась моя фотка а мне это не нравится я ничего не могу сделать?
жестко
жестко
неприятный какой-то факт :-(
выходит, если хочешь избавиться от фотки, но уже где-то засветил прямую ссылку — шансов практически нет?
выходит, если хочешь избавиться от фотки, но уже где-то засветил прямую ссылку — шансов практически нет?
Отсюда вспоминаем простое правило: «Все что в тырнеты попало – не вырубишь и топором.»
Если не секрет, чем вызвана такая паника и за присутствия фотографий в Яндексе?
(правда если это не супер компрометирующие материалы)
(правда если это не супер компрометирующие материалы)
Бывает что информация по прошествии времени не должна быть доступна. Кстати очень важный момент, что и запароленные фотки также доступны по прямому адресу без пароля и после удаления.
Десять лет назад я зарегистрировался на chat.ru и сделал там простую веб-страничку. Как её теперь удалить оттуда — ума не приложу. Залогиниться невозможно, писать в техподдержку — некуда
Кстати да. Хрен знает сколько лет назад сделал себе страничку на «народе». До сих пор живая. Пароля не помню. На какой емыл регистрировал — тоже не помню. Если и вспомню емыл — вряд ли вспомню пароль (и это если емыл ещё живой).
И шо делать? :)
И шо делать? :)
на народе будет жить страничка, пока на нее ходят. у меня один экспериментальный сайт благополучно сдох, так как о нем почти никому не говорил и ссылок на нее не ставил. и мне однажды пришло письмо от тех.поддержки о том, что сайт закроется, если вы сами не зайдете на него. Я и не зашел )))
>на народе будет жить страничка, пока на нее ходят
Неужели кто-то ходит на мой типичный такой «хомяк» из 3.5 страниц, сляпанный после прочтения по диагонали книжки «Свой веб-сайт за 24 часа», наполненный всякими крутилками-болталками на JS и не интересный никому (даже мне :)) чуть более, чем полностью?? «Не верю!» © :)
Неужели кто-то ходит на мой типичный такой «хомяк» из 3.5 страниц, сляпанный после прочтения по диагонали книжки «Свой веб-сайт за 24 часа», наполненный всякими крутилками-болталками на JS и не интересный никому (даже мне :)) чуть более, чем полностью?? «Не верю!» © :)
беспредметный спор. если на страницах есть какой-нибудь счетчик, то можно было обсуждать, действительно ли никто не ходит. может вы сами периодически заходите, чтобы проверить не умер ли сайт. я точных сроков не помню — может год не надо заходить.
Беспредметный — это точно. Да и не спор это вовсе. Я не могу спорить, потому что не обладаю вообще никакими данными, я просто выражаю своё недоумение, что туда вообще кто-то заходит, потому что он практически пустой. Я сам не заходил на него года 4 точно.
>я точных сроков не помню — может год не надо заходить.
Вот чёрт, теперь отсчёт пошёл по новой… %)
Ладно, пусть крутится. Как памятник тому, какие мы были молодые и наивные :)
>я точных сроков не помню — может год не надо заходить.
Вот чёрт, теперь отсчёт пошёл по новой… %)
Ладно, пусть крутится. Как памятник тому, какие мы были молодые и наивные :)
Открою маленький секрет — на веб-страницы очень часто попадают случайно через поисковик.
Я понимаю. Я просто не понимаю, какой должен быть запрос, чтобы по нему выскочил этот сайт в числе хотя бы первого миллиона результатов %)
Десять лет назад тоже сделал страничку на chat.ru. Потом, когда про неё вспомнил, благополучно удалил вот здесь. Правда, я помнил пароль :-)
Кстати, там в ПС есть замечательный пункт, мол, аккаунт является _вечным_. Тогда это выглядело вполне себе безобидно ;-)
Кстати, там в ПС есть замечательный пункт, мол, аккаунт является _вечным_. Тогда это выглядело вполне себе безобидно ;-)
Испытываю ту же проблему. Если вдруг у вас решится, не поленитесь — свистните, пожалуйста :-)
И сам я вам напишу, если мне что-то удастся сделать.
Там, кстати, есть адрес webmaster@chat.ru, но непонятно, даст ли что-нибудь письмо туда отправленное.
И сам я вам напишу, если мне что-то удастся сделать.
Там, кстати, есть адрес webmaster@chat.ru, но непонятно, даст ли что-нибудь письмо туда отправленное.
Давно думал над вопросом хранения информации вообще. Эту цивилизацию похоронит переизбыток информации. Она копится и копится, и не поддается какой либо сортировки. Кто-нибудь подсчитывал, сколько терабайт информации появляется на наших винчестерах ежечасно? Любое событие, будто свадьба, ЧП, футбольный матч, отпуск, съемка фильма — это груда фотографий, видео, текстов исходных и обработанных. А потребуется ли всё это в ближайшем или далеком будущем? Не кидайте в меня фантиками, это всего лишь рассуждения :)
Хорошо, что далеко не все догадываются найти прямую ссылку на удалённую фотку. По-моему, такая дыра — безобразие, неуважение, ведь если человек хочет удалить фотку — надо её удалить, а не просто убрать ссылочку в профиле! Или хотя бы закрыть доступ, поместив в «корзину».
А может просто фотки в кэше вашего браузера )
Недавно на АИН был пост, как раз в тему.
Очень сложная процедура, Яндексу не под силу.
Это хороший аргумент не использовать Яндекс.Фотки. Спасибо, что предупредили. Интересно, а как с этим у других фотохостингов?
Да, интересно, ибо до этого момента считал что Яндекс.фотки идеальный сервис для хранения большого количества фотографий. Пикасу тоже использую, нравятся все их нововведения, но никогда не знаешь что может выкинуть google. А теперь вот и яндекс заразился болезнью знать все и всех. =)
проверил на своем аккаунте photobucket.com — после удаления фото по прямой ссылке выводится картинка с надписью «this image has been deleted»
пользуйтесь на здоровье :)
пользуйтесь на здоровье :)
Ссылайтесь на пользовательское соглашение:
«Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта.»
Если вы действительно удалили все фото когда у вас еще был аккаунт, то Яндекс нарушает условия своего ПС.
Также нарушаются условия ПС если действительно имеет место открытый доступ к закрытым пользователем изображениям.
Прочими основаниями для удаления может служить нарушение интеллектуальных прав третьих лиц, а также возражения третьих лиц, если их изображения присутствуют на размещенных вами фото.
Удачи.
«Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта.»
Если вы действительно удалили все фото когда у вас еще был аккаунт, то Яндекс нарушает условия своего ПС.
Также нарушаются условия ПС если действительно имеет место открытый доступ к закрытым пользователем изображениям.
Прочими основаниями для удаления может служить нарушение интеллектуальных прав третьих лиц, а также возражения третьих лиц, если их изображения присутствуют на размещенных вами фото.
Удачи.
Один раз отданное в интернет, останется там навсегда. Нужно просто об этом помнить.
Скорее всего Вы не удаляли фотографии, а сразу удалили аккаунт. В данный момент тоже самое воспроизводится и сегодня — при входе в настройки и выборе пункта «Удалить аккаунт», Вам предлагается два варианта: «Удалить все фотографии», «Удалить аккаунт», при выборе первого все ваши фото будут удалены и недоступны по прямым ссылка, во втором случае аккаунт удаляется, а информация остаётся на жёстком диске Яндекса.
У нас есть некоторые проблемы с тем, что не все фотографии удаляются.
Прямо сейчас мы удалили несколько ваших фоток, на которые были ссылки «снаружи» (т.е. недавно запрашивались), завтра к вечеру удалим остальные фотографии.
Извините.
Вообще мы удаляем с хранилищ удалённые фотки, делаем это через некоторое время после удаления аккаунта пользователя или удаления фотографии, но у нас были с этим некоторые проблемы. (Да, хранить удалённые изображения естественно экономически невыгодно и никому не нужно).
— Денис Танаев
менеджер сервиса Яндекс.Фотки
Прямо сейчас мы удалили несколько ваших фоток, на которые были ссылки «снаружи» (т.е. недавно запрашивались), завтра к вечеру удалим остальные фотографии.
Извините.
Вообще мы удаляем с хранилищ удалённые фотки, делаем это через некоторое время после удаления аккаунта пользователя или удаления фотографии, но у нас были с этим некоторые проблемы. (Да, хранить удалённые изображения естественно экономически невыгодно и никому не нужно).
— Денис Танаев
менеджер сервиса Яндекс.Фотки
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Яндекс Фотки и срок хранения файлов