Pull to refresh
197
0

Big Data Solutions

Send message

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Reading time3 min
Views100K
Недавно я нашел странную особенность в Google Drive. Определенная последовательность действий в Google Drive веб интерфейсе приводит к тому, что каждый может загрузить файлы любого объема в свою учетную запись и при этом не потратить ни одного байта на их хранение.

Конечно, я сразу решил сообщить об этом в Google через программу BugHunter. Но, к моему сожалению, потратив неделю на общение со специалистами Google мне так и не удалось убедить их, что это баг. Сотрудник не смог воспроизвести этот баг и я получил ответ, что «это не баг, а фича» и меня отправили в RTFM. В конце концов Google просто закрыл тикет и перестал отвечать на мои письма.

Так как переписка с Google зашла в тупик, я решил публично рассказать о этой «фиче» и, возможно, наконец привлечь внимание сотрудников Google к этой проблеме или хотя-бы понять, что я делаю не так. Ниже под катом история переписки с Google и proof of concept.
Читать дальше →
Total votes 142: ↑142 and ↓0+142
Comments125

Лучшие практики Netflix при переходе с Oracle DB на Amazon SimpleDB

Reading time5 min
Views3.9K
Это частичный перевод статьи Netflix, касается только проблемных мест перехода c Oracle DB на Amazon SimpleDB и способов их решения компанией.

Где-то в конце 2008 года, у Netflix был всего один датацентр. И этот ДЦ поставил перед нами несколько вопросов. Как единственная точка отказа, к примеру, из-за проблем с электричеством, он мог привести к недовольству наших пользователей сервисом. К тому же, с одновременным ростом трафика потокового вещания и подписок на услуги, Netflix скоро бы переросла этот дата центр — мы видели неизбежную потребность в электроэнергии, лучшем охлаждении, нам требовалось больше места и больше оборудования.

Как вариант, можно было построить новые дата центры. Однако, кроме высоких затрат, это усилие привело бы к тому, что наши технические кадры не смогли бы заниматься новыми продуктами, так были бы заняты расширением ДЦ. К тому же, мы понимали, что управление несколькими дата центрами сложная задача. Строительство и поддержка нескольких дата центров казались нам опасным отвлечением от нашего основного бизнеса.

Вместо того, чтобы встать на этот путь, мы выбрали более радикальный. Мы перешли на решение IAAS (инфраструктура как сервис), предлагаемое в то время веб-сервисом Amazon. Со множеством уже работающих центров обработки данных, многократным уровнем избыточности различных сервисов (таких как, S3 и SimpleDB), AWS обещал лучшую доступность и маштабируемость за относительно короткое время.

Отдавая различные сетевые и фоновые задачи в аутсорсинг, Netflix сосредоточилась на своем основном бизнесе, поставке фильмов и сериалов.

В процессе перехода на инфраструктуру AWS мы сформулировали набор лучших практик, необходимых для работы с AP системами, такими как SimpleDB.
Читать дальше →
Total votes 8: ↑6 and ↓2+4
Comments4

Система хранения файлов с дедупликацией между пользователями

Reading time3 min
Views6.6K
Начало этому проекту положила очень простая идея, о которой, я год назад писал на страницах хабрахабра. Именно тогда, я задумался, почему все сервисы хранения файлов такие жадные? Почему они зарабатывают на том, что несколько различных пользователей, хранят один и тот же файл? Почему мы должны платить дважды, трижды, а иногда и в сотни раз больше, чем реально это стоит? По-моему это несправедливо.

Вторая проблема всех платных сервисов хранения файлов – абонентская плата. Нас заставляют постоянно платить за хранение наших файлов. Если не заплатить, файлы удалят. Больше похоже на вымогательство, чем на удобный сервис, особенно в свете вот этого исследования на тему стоимости хранения данных. Поэтому я решил, что настала пора создать проект, который лишен этих недостатков.

Так появилась идея, а что из этого получилось можно прочитать под хабракатом.
Читать дальше →
Total votes 25: ↑21 and ↓4+17
Comments111

Разбираем HTTP Range по стандарту

Reading time3 min
Views32K
В одном из проектов мне понадобилось разобрать HTTP Range запрос, чтобы добавить поддержку загрузки файлов по частям. В сети полно различных примеров, но я так и не нашел ни одной полной реализации RFC 2616. Один код не учитывал, что диапазонов может быть несколько, другой, что стандарт допускает запросы больше размера документа, третий не различает синтаксически правильный и недостижимый запрос, как рекомендует стандарт. Поэтому я решил написать свою реализацию и поделиться со всеми. Подробности и пример реализации на PHP под катом.
Читать дальше →
Total votes 30: ↑26 and ↓4+22
Comments9

Считаем хэши файлов любого размера прямо в браузере

Reading time1 min
Views6.1K
В сети очень много сайтов для подсчета хэшей (MD5, SHA1, SHA2) файлов, однако, все сервисы, что я смог найти, имеют один и тот же недостаток: размер файла ограничен. Также необходимо сначала загрузить файл на сервер, чтобы получить результат вычислений. Это очень неудобно.

Поэтому я решил создать небольшой сервис MD5 File, расчет в котором будет происходить непосредственно в браузере пользователя. Нет необходимости загружать файлы на сервер (экономим трафик и время) и появляется возможность работать с файлами любого размера.

Картинка и немного информации под катом
Читать дальше →
Total votes 51: ↑48 and ↓3+45
Comments30

Что не скрывает LastPass?

Reading time4 min
Views34K
Думаю, все знают, что такое Lastpass. Многие доверили ему хранение всех своих логинов и паролей. И как не доверить, ведь, разработчики декларируют, что вся информация защищена и шифруется на стороне клиентов. Помятуя о недавней истории я решил разобрать плагин LastPass на кусочки и понять, что действительно защищено, а что нет и продолжить свой цикл статей про маленькие проблемы в крупных проектах.
Читать дальше →
Total votes 102: ↑99 and ↓3+96
Comments82

Уязвимость в reCaptcha позволяет активировать до 30 действий по одному и тому же токену

Reading time2 min
Views7.6K
Долго думал, стоит ли рассказывать, но вчера вечером у меня появилось немного свободного времени, и я все-таки решил продолжить свой цикл статей о маленьких проблемах в крупных проектах. Да и, возможно, об этом уже и так все знают, а я зря волнуюсь.

Все мы знаем сервис reCaptcha, который пару лет назад приобрела компания Google. Мы видим его во многих крупных проектах, например, при регистрации в LiveJournal. Надо сказать, что я люблю качать файлы списком прямо со своего сервера, и когда на одном из сайтов, с которого я периодически что-нибудь выкачиваю, появилась такая штука, меня стало это немного раздражать. Когда мне что-то не нравится, я не опускаю руки, а стараюсь придумать способ как этого избежать.

Так я решил побороть reCaptcha и думаю, что у меня это получилось…
Читать дальше →
Total votes 230: ↑218 and ↓12+206
Comments35

Защищаем DropBox (и другие сетевые папки) от посторонних глаз

Reading time2 min
Views2.3K
В последнее время появляется много статей на тему того, что кто-то может смотреть данные пользователей на сетевых дисках. TrueCrypt хорошое решение этой проблемы в Windows, но он, к сожалению, хранит все файлы в контейнере, а это означает, что невозможно скачать только один файл через веб-интерфейс DropBox.

Мне это не очень нравится, и поэтому я решил сделать программу, которая следит за изменениями локальных файлов в папке (также как DropBox), но вдобавок умеет сжимать файлы в архивы автоматически. Таким образом, мы убиваем сразу трех зайцев: уменьшаем размеры файлов на сетевом диске, шифруем их паролем и получаем возможность безопасно скачивать в веб-интерфейсе по одному в виде шифрованного архива. Подробнее о программе под катом (+1 картинка 28KiB).
Читать дальше →
Total votes 10: ↑8 and ↓2+6
Comments4

Виртуальный диск Google Picasa

Reading time3 min
Views1.4K
Проект виртуального диска продолжает развиваться. Как я и обещал, по результатам опроса, появилась возможность подключать виртуальный диск альбомов Google Picasa (Flickr запланирован на более поздний срок). Кроме того, теперь вы можете подключить диск к своим закрытым альбомам сервиса Яндекс.Фотки. Описание новых возможностей и изменений в проекте под катом.
Читать дальше →
Total votes 59: ↑57 and ↓2+55
Comments82

Виртуальный диск Яндекс.Фотки

Reading time2 min
Views1.9K
Иногда бывает нужно быстро скопировать несколько фотографий из своего альбома на сервисе Яндекс.Фоток, конечно, есть специальная программа, но на чужом компьютере ее не всегда возможно установить. Я разработал небольшой сервис, который может значительно упростить этот процесс. Набрав в windows команду net use y: http://<адрес>/<логин>/, где <адрес> равен «wd.sharecoder.com/yf/», а <логин> — ваш логин на яндекс.фотках (пароль не нужен), вы подключите сетевой диск, папки на котором — альбомы (только те, что доступны для всех), а файлы — фотографии на сервисе Яндекс.Фотки. Теперь вы сможете скопировать их, как обычные файлы вашим любимым файловым менеджером. Подробности (и картинки) под катом.
Читать дальше →
Total votes 112: ↑109 and ↓3+106
Comments87

Интегрируем GnuCash с интернет банками с помощью эмулятора OFX

Reading time2 min
Views2.3K
Я люблю GnuCash, это единственная бесплатная программа финансового учета, которая подошла мне на все 100%. GnuCash может интегрироваться со множеством банковских приложений посредством нескольких интерфейсов. Однако, к сожалению, наши банки похоже не собираются реализовывать хотя-бы один из них.

Мой проект предназначен для тех, кому надоело каждый раз лазить в ИБ, чтобы проверить баланс и согласовать транзакции GnuCash. Представляю вашему вниманию первую версию бесплатного эмулятора протокола Open Financial Exchange.

Внимание, внутри статьи много изображений.
Читать дальше →
Total votes 8: ↑7 and ↓1+6
Comments10

Расшифровываем Javascript на примере файлового хостинга mediafire.com

Reading time8 min
Views5.7K
В настоящее время набирает популярность способ шифрования javascript на сайтах с помощью вложенных команд eval. Недавно я столкнулся с таким шифрованием на файловом хостинге mediafire.com. Шифрование было необычное, меня это заинтересовало и я решил понять, насколько хорошо данный метод работает.

Сайт mediafire.com позволяет скачивать файлы без каптчи и при этом, с недавнего времени, стал достаточно успешно защищаться от всевозможных автоматических роботов. Делает он это с помощью встроенного генератора кода javascript. Причем, код каждый раз создается новый, что затрудняет его эмуляцию автоматическими средствами.

В этой статье я расскажу о том, как можно очень легко обойти такую защиту без глубокого анализа шифрованного кода и создать автоматический скрипт загрузки файлов с mediafire.com.
Читать дальше →
Total votes 39: ↑35 and ↓4+31
Comments18

Автоматизируем работу с сайтом за 5 минут на примере Yandex.Почты с помощью NetExport

Reading time7 min
Views9.9K
Иногда, бывает нужно автоматизировать некоторые процессы на чужом сайте. Залогиниться на сайт, скачать какой нибудь файл, открыть страничку. Часто приходится разбираться в коде сайта, чтобы найти, как правильно написать запрос curl.

Предлагаю Вашему вниманию способ, которым я сам пользуюсь, чтобы значительно облегчить себе жизнь и автоматизировать все и вся, от проверки почты, до загрузки данных в телебанке. Я постараюсь, на примере Yandex.почты показать, как можно очень быстро и почти без программирования сгенерить curl php скрипт для захода на любой сайт и загрузки контента в автоматическом режиме.
Читать дальше →
Total votes 42: ↑40 and ↓2+38
Comments21

Получаем информацию по продуктам от Амазона через API

Reading time2 min
Views14K
Amazon.com это не только огромный магазин, но еще и бесплатный легальный доступ к огромному количеству информации по продуктам. Некотрое время назад, Амазон перестал принимать запросы без подписи, скрипт, который я написал, подписывает запрос в соответствии с текущими требованиями API. В качестве примера, я хочу показать, как получать информацию по книгам через API Амазона зная только ISBN номер.
Читать дальше →
Total votes 2: ↑2 and ↓0+2
Comments9

Как сделать из Яндекс.Диск'а безлимитную систему хранения файлов

Reading time4 min
Views11K
Эта статья является заключительной в серии моих постов про Яндекс.Диск и загрузку файлов: обход каптчи, даунлоад части файла с RANGE запросом из удаленного источника и автоматический аплоад на Яндекс.Диск. Все эти посты объединяет одно желание, разобраться, как именно работает система защиты Яндекс.Диск'а и какие у нее недостатки. Я ни в коем случае не хочу сказать, что в Яндексе работают непрофессионалы, наоборот, изучая код, я пришел к обратному выводу. Единственная цель этой статьи, на примере Яндекс.Диск'a показать, как можно из бесплатного файлового хостинга сделать бесплатное хранилище под Ваш проект, просто идея. Ну и конечно, дать некоторую пищу для размышления разработчикам подобных сервисов.

Итак, представляю вашему вниманию пример использования файлового хостинга Яндекс.Диск несовсем по назначению.
Читать дальше →
Total votes 27: ↑20 and ↓7+13
Comments19

Автоматическая загрузка файлов на Яндекс.Диск

Reading time4 min
Views26K
Предлагаю вашему вниманию PHP скрипт автоматической загрузки файлов на сервис Яндекс.Диск. Скрипт прост до безобразия, достаточно передать ему в качестве параметров логин, пароль и путь к файлу и в результате он загрузит ваш файл на сервис и выдаст вам ссылку на него. Не знаю, сколько еще меня вместе с моими постами будет терпеть Яндекс, но все-таки приведу исходный код скрипта :)
Читать дальше →
Total votes 100: ↑94 and ↓6+88
Comments125

Множественная загрузка файлов из архива с поддержкой RANGE запросов

Reading time2 min
Views1.7K
Иногда бывает полезным не сохранять кучу файлов на каком-либо хостинге, а использовать только один архивный файл. Но возникает проблема доступа к конкретному файлу в архиве. Предлагаю вашему вниманию PHP скрипт, который позволяет загружать часть архивного файла как целый файл. Поддерживается дозагрузка через запросы RANGE. Архив, в данном случае, просто склейка из множества файлов. В настоящий момент скрипт протестирован с менеджером загрузок Flashget.
Читать дальше →
Total votes 6: ↑4 and ↓2+2
Comments4

Распределенная сеть файлового хранилища на Gmail.com

Reading time4 min
Views754
Все давно уже знают о великолепной почте gmail.com и возможности хранить там более 7 гигабайт почты. Думаю, что также все знают о таких плагинах, как GMail Drive, который позволяет хранить в своем аккаунте файлы. Но, сейчас разговор не об этом, я хочу рассказать Вам о реально работающей системе, которая позволяет хранить неограниченное количество файлов на Gmail.com распределенно и с резервированием. Итак, задача, которую мне необходимо было решить еще три года назад, где хранить все увеличивающийся архив файлов, многие из которых я не буду использовать еще долгое время, так как к платным сервисам я отношусь скептически, то решено было сделать бесплатный. Выбор пал на gmail.com, который уже тогда предоставлял достаточно места для хранения почты.

Но, предстояло решить следующие задачи
  1. размер письма gmail.com три года назад составлял 10 мегабайт
  2. если загрузить на почту более 600 мегабайт за короткий период, почта блокируется
  3. если выгрузить из почты более 600 мегабайт за короткий период, почта тоже блокируется
Читать дальше →
Total votes 42: ↑36 and ↓6+30
Comments52

Как обойти каптчу в Яндекс.Диск

Reading time2 min
Views2.5K
Итак, все мы знаем, что на яндексе можно хранить файлы до 5 гигабайт, но при загрузке он требует ввести каптчу или установить Яндекс.Бар. Так как Яндекс.Бар я не использую, то решил проверить, а собственно каким таким гениальным способом проверяет Яндекс этот самый пресловутый плагин?

Для этого эксперимента все-таки пришлось его установить на Firefox и используя плагин FireBug начать тестирование…
Читать дальше →
Total votes 48: ↑34 and ↓14+20
Comments23

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Registered
Activity