Публикую краткий пересказ статьи. Советую прочитать ее полный текст на языке оригинала.
Panos Ipeirotis получил недавно счет от амазона на сумму более $1170, в то время как обычно сумма в его счетах значилась около $100.
Как оказалось, был превышен лимит исходящего трафика, и составил он (внимание) 8.8 терабайт.
После проверки логов, Panos выяснил, что виновником был бот:
По его расчетам, трафик составлял 250 гигабайт в час.
Но как оказалось это был не обычный бот-crawler.
Feedfetcher служит для предварительной загрузки контента, который пользователь добляет в свой Google Reader или на свою главную страницу Google. Соответственно — загружается контент от имени пользователя, и поэтому даже игнорируется robots.txt
Panos вспомнил, что вставлял jpg файлы в Google Spreadsheet командой =image(url), а так как эти данные приватные, google не сохраняет их у себя на серверах, даже не кеширует — уважая приватность пользователя. Обновляя каждые уменьшенные изображения в таблице каждый (!) час, т.е. выкачивая все изображения каждый час.
Если бы это был какой-то обычный домен, google ограничивал бы количество запросов, но так как это был s3.amazonaws.com с терабайтами (петабайтами?) веб-контента, у поискового гиганта не было причин ограничивать себя. Получилось примерно как: «Если утюг поставить в холодильник, кто из них победит?»
Panos делает логичный вывод: данная техника может применятся для Denial of Bank Account attack на сайты размещенные на amazon. Для этого надо:
История окончилась успешно — еще до ее публикации, амазон списал начисления за превышенный трафик, расценив его как случайный и не преднамеренный.
Вывод из этой истории: будьте бдительны с подобными ресурсами.
Panos Ipeirotis получил недавно счет от амазона на сумму более $1170, в то время как обычно сумма в его счетах значилась около $100.
Как оказалось, был превышен лимит исходящего трафика, и составил он (внимание) 8.8 терабайт.
После проверки логов, Panos выяснил, что виновником был бот:
74.125.156.82 Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
74.125.64.83 Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
По его расчетам, трафик составлял 250 гигабайт в час.
Но как оказалось это был не обычный бот-crawler.
Feedfetcher служит для предварительной загрузки контента, который пользователь добляет в свой Google Reader или на свою главную страницу Google. Соответственно — загружается контент от имени пользователя, и поэтому даже игнорируется robots.txt
Panos вспомнил, что вставлял jpg файлы в Google Spreadsheet командой =image(url), а так как эти данные приватные, google не сохраняет их у себя на серверах, даже не кеширует — уважая приватность пользователя. Обновляя каждые уменьшенные изображения в таблице каждый (!) час, т.е. выкачивая все изображения каждый час.
Если бы это был какой-то обычный домен, google ограничивал бы количество запросов, но так как это был s3.amazonaws.com с терабайтами (петабайтами?) веб-контента, у поискового гиганта не было причин ограничивать себя. Получилось примерно как: «Если утюг поставить в холодильник, кто из них победит?»
Panos делает логичный вывод: данная техника может применятся для Denial of Bank Account attack на сайты размещенные на amazon. Для этого надо:
- С сайта жертвы собрать как можно больше ссылок на медиа-файлы (jpg, pdf, etc)
- Разместить ссылки в rss фиде или в google spreadsheet
- Добавить фид в Reader или использовать команду =image()
- Откинуться в кресле, наблюдая за хабраэффектом
История окончилась успешно — еще до ее публикации, амазон списал начисления за превышенный трафик, расценив его как случайный и не преднамеренный.
Вывод из этой истории: будьте бдительны с подобными ресурсами.
