Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 75
Не могу к сожалению найти ссылку, но уже был подобный случай, вроде как долг списывали. Машины тогда заводили для майнинга.
Я ни оставил ни одной, чтобы выяснить для чего их заводили, но думаю именно для биткоинов :)
Saturday January 03, 2015 @12:09AM
«When I woke up the next morning, I had four emails from Amazon AWS and a missed phone call from Amazon AWS. Something about 140 servers running on my AWS account. What? How? I only had S3 keys on my GitHub and they where gone within 5 minutes! Turns out through the S3 API you can actually spin up EC2 instances, and my key had been spotted by a bot that continually searches GitHub for API keys. Amazon AWS customer support informed me this happens a lot recently; hackers have created an algorithm that searches GitHub 24 hours per day for API keys. Once it finds one it spins up max instances of EC2 servers to farm itself bitcoins.»
Ссылка на источник: http://it.slashdot.org/story/15/01/02/2342228/bots-scanning-github-to-steal-amazon-ec2-keys
Ключевые слова: «Something about 140 servers», «API keys», «max instances of EC2», «to farm itself bitcoins». Как мне кажется поработал тот же бот. Только чем закончилась та история я не знаю.
Напишите по итогам, что получилось.
А что это за серваки такие волшебные, что стоят 12000/140=85$ в сутки? За 85$ можно в Европе мощный сервер на месяц взять и настрогать там виртуалок.
А что это за серваки такие волшебные, что стоят 12000/140=85$ в сутки? За 85$ можно в Европе мощный сервер на месяц взять и настрогать там виртуалок.
Я честно говоря сам не понял как так дорого получилось, там был запущен какой то SPOT аукцион, и я выкупал процессорное время или как-то так. Ни когда этим для своих задач не пользовался, брал обычный почасовой тариф.
Споты как раз дешевле, чем on-demand (обычное создание инстанса по запросу).
Когда Амазон запускает все обычные инстансы, которые у него запросили, у него остаётся лишнее процессорное время.
И это лишнее время продаётся на spot-аукционе (кто предложит цену за час не ниже текущей — у того инстанс работает и тратит эти часы).
Если ресурсы потребуются для каких-то новых on-demand, то часть спот-инстансов (имеющие наименьшую цену) автоматически прибивается.
Когда Амазон запускает все обычные инстансы, которые у него запросили, у него остаётся лишнее процессорное время.
И это лишнее время продаётся на spot-аукционе (кто предложит цену за час не ниже текущей — у того инстанс работает и тратит эти часы).
Если ресурсы потребуются для каких-то новых on-demand, то часть спот-инстансов (имеющие наименьшую цену) автоматически прибивается.
aws.amazon.com/de/ec2/instance-types/
c3.8xlarge
Intel Xeon E5-2680 v2
32 vCPU
60 GB RAM
2 x 320 SSD
c3.8xlarge
Intel Xeon E5-2680 v2
32 vCPU
60 GB RAM
2 x 320 SSD
Нет, не выкладывал. Задал вопрос саппорту, как сломали меня.
Не очень мне стало понятно что он имел ввиду под атакой на другой аккаунт, на какой другой?..
Их ответ
…
I also reviewed the emails that was sent by our security team and they seem to think that the issue was around the password being exposed on another account. We would not have absolute confirmation on this, but we have rectified the issue in addressing your security.
…
I also reviewed the emails that was sent by our security team and they seem to think that the issue was around the password being exposed on another account. We would not have absolute confirmation on this, but we have rectified the issue in addressing your security.
…
Не очень мне стало понятно что он имел ввиду под атакой на другой аккаунт, на какой другой?..
Будет что рассказать детям, а теперь можно и сесть за изучение международного языка.
Я не владею разговорным, техническим чтением владею :)
Техническое чтение это с переводчиком разбирать simplified english? :)
Английский надо учить.
Английский надо учить.
OFF: Не спорю, конечно надо. В школе учил французский, а в институте т.к. я «француз», на английском с меня многого не требовали :). В итоге? у меня большой словарный запас, в консоли AWS я ориентируюсь вполне свободно, но на слух английских слов со своим внутренним их произношением сопоставить не смогу, да и сказать тоже. Когда 8 лет назад создавал компанию, в мечтах было 3 вещи.
1. Работать на себя
2. Заниматься спортом
3. Выучить разговорный английский
Пока только первые две смог осилить :)
1. Работать на себя
2. Заниматься спортом
3. Выучить разговорный английский
Пока только первые две смог осилить :)
Все-таки текущая ситуация с знанием\незнанием языка мало связана. Больше с недооцененностью вероятных последствий некоторой моей беспечности, но я пока не понял в каком именно месте…
Буквально месяц назад надо было решить одну ресурсоемкую задачу, которая легко распараллеливается. Хотели сделать быстро и прикинули, что штук 50 c4.8xlarge нам как раз все сделают за несколько часов. Начали было заказывать инстансы и наши планы разбились о суровую реальность — лимиты на аккаунте. Упомянутых мощных инстансов можно было взять 5 штук в зоне или 10 штук более слабых. Увеличить лимиты можно через саппорт, который отвечает примерно два рабочих дня. Но сначала они нам увеличили какие-то другие лимиты, так что запроса пришлось делать два и заняло это ровно рабочую неделю. Аккаунт у них создан еще до появления ec2 и как минимум последние 3 года находится в вялоактивном состоянии.
Научите делать такие прокаченные аккаунты, очень пригодилось бы.
Научите делать такие прокаченные аккаунты, очень пригодилось бы.
У меня в лимитах стоит везде практически 20, хорошо что не больше. И я ни разу их не просил увеличивать, я максимум запускал там 2-3 самых дешевых машины.
Вот список дефолтных лимитов на ес2.
Почему-то прописаны лимиты на серию с4, а мощные c3 похоже ограничить забыли и они идут как other — 20 штук на регион. Полезная инфа, спасибо.
Почему-то прописаны лимиты на серию с4, а мощные c3 похоже ограничить забыли и они идут как other — 20 штук на регион. Полезная инфа, спасибо.
Неплохо! Надо бы проверить настройки безопасности своего аккаунта, которым я не пользуюсь, но он есть.
Спасибо за напоминание! Сходил и отключил AWS аккаунт.
Похожая история, которая закончилась аннулированием счётов geektimes.ru/post/243811/
Думаю, что связь по времени двух событий — ваш логин в aws спустя продолжительное время неактивности и активация бота — взаимосвязаны. Я подозреваю, что кража ключей произошла как раз в момент вашей работы с админкой AWS. Попробуйте поискать дыру в безопасности именно в этом временном фрейме.
И удачи с разрешением вопроса о компенсации.
И удачи с разрешением вопроса о компенсации.
Не знаю как и искать. Поставил впервые на свой мак антивирус касперского, все просканировал, начего подозрительного. Теперь он сам как вирус мешает мне работать, та еще гадость ;( постоянно приходится выключать его.
Но вообще эта ситуация послужила мне уроком, всю неделю занимался сменой паролей, включением двухфакторной везде, исправлением предупреждений проактивной защиты Bitrix, на своих сайтах. Кстати, я как раз в битриксе для бекапов использовал api ключ от s3 хранилища, возможно через битрикс и вытянули, но не уверен что через ключ от s3 можно управлять ec2 инстансами…
Но вообще эта ситуация послужила мне уроком, всю неделю занимался сменой паролей, включением двухфакторной везде, исправлением предупреждений проактивной защиты Bitrix, на своих сайтах. Кстати, я как раз в битриксе для бекапов использовал api ключ от s3 хранилища, возможно через битрикс и вытянули, но не уверен что через ключ от s3 можно управлять ec2 инстансами…
> не уверен что через ключ от s3 можно управлять ec2 инстансами
В AWS нет каких-то специфических ключей для S3 емнип. И все зависит от настроек полиси конкретного пользователя.
В AWS нет каких-то специфических ключей для S3 емнип. И все зависит от настроек полиси конкретного пользователя.
А какие права у ключа были?
Пользователь отдельный, через AIM созданный?
Пользователь отдельный, через AIM созданный?
но не уверен что через ключ от s3 можно управлять ec2 инстансами…
Можно…
С AWS влетали в копеечку из за глюка в программе: прога начала выполнять Assign IP Address каждую минуту, а после 100 запросов они берут плату.
По теме. Думаю, вам спишут долг. Т.к. если начнут давить вас судами — многие пользователи, с перепугу, позакрывают свои аккаунты и убытки будут значительно больше 12 k$.
Для таких случаев у меня стоит уведомление о превышении пороговой суммы расходов. Так например можно поставить несколько уведомлений, чтобы они срабатывали допустим в первой половине месяца и во второй, чтобы понимать, что расход идет в нормальном режиме.
Ну у меня все произошло за 1 день. Такое уведомление тоже можно поставить?
Там ставится уведомление на сумму, т.е. например можно поставить уведомление о том, что баланс за месяц превысил 5$, как только эта сумма будет достигнута Вам придет уведомление с суммой текущего баланса.
В предыдущем комментарии я имел ввиду, что если у вас среднемесячный расход 100$ то можно поставить уведомления на 30$ и 60$, они будут приходить приблизительно в первой половине месяца, и во второй. Если эти уведомления сработают раньше, то это значит, что в этом месяце средства расходуются быстрее чем обычно и надо проверить на что.
В предыдущем комментарии я имел ввиду, что если у вас среднемесячный расход 100$ то можно поставить уведомления на 30$ и 60$, они будут приходить приблизительно в первой половине месяца, и во второй. Если эти уведомления сработают раньше, то это значит, что в этом месяце средства расходуются быстрее чем обычно и надо проверить на что.
Не подскажите в какую сторону копать? Тоже хочу поставить, но пока как-то не нашел где. Да еще эта запутанная история с емеил уведомлениями.
У AWS есть специальный сервис для уведомлений по всем их сервисам — CloudWatch. В нем нужно выбрать регион N.Virginia и тогда вам будут доступна установка уведомлений в биллинге по суммарному счету или по определенному сервису (EC2, S3 и т.п.).
У вас для S3 был указан ключ с полными правами от учетной записи?
А в 2011 году можно было правами рулить?
Выглядит в настройках это так
Выглядит в настройках это так
Да, IAM (Identity and Access Management) появился в конце 2010 года.
P.S. Я сам работаю в Битриксе. Нужна какая-то помощь в анализе инцидента?
Если была указана учетная запись с полными правами, то при доступе к административному разделу сайта (подбор пароля от сайта, эксплуатация какой-то уязвимости в каком-либо собственном скрипте, что-то еще) злоумышленник, конечно, мог получить эти данные.
Какие предупреждения слал модуль проактивной защиты? Посмотрите по логам, когда и кто получал доступ к /bitrix/admin/?
Если хотите, можем продолжить лично: в личке, в почте, в скайпе — как удобнее.
P.S. Я сам работаю в Битриксе. Нужна какая-то помощь в анализе инцидента?
Если была указана учетная запись с полными правами, то при доступе к административному разделу сайта (подбор пароля от сайта, эксплуатация какой-то уязвимости в каком-либо собственном скрипте, что-то еще) злоумышленник, конечно, мог получить эти данные.
Какие предупреждения слал модуль проактивной защиты? Посмотрите по логам, когда и кто получал доступ к /bitrix/admin/?
Если хотите, можем продолжить лично: в личке, в почте, в скайпе — как удобнее.
Напишу в Facebook. Спасибо.
Та же песня — только отчистился. Старый ключ про который все забыли, утек в репу к мудаку какому-то на гитхаб в открытый доступ, те же спот аукционы, по всем континентам по 70 машин поднято максимальной конфигруации. Вопрос решен — деньги даже не начисляли а сами мне прислали ссылку на гитхаб где мой ключ оказался указан.
То же самое произошло со мной сегодня, сумма чуть меньше. Я принял звонок и по рекомендации уничтожил все работающие единицы и отменил spot requests.
Цитата из ответа поддержки:
Своих заказов у меня было наработано меньше чем на доллар, т.к. недавно начал пользоваться и ещё не закончил тестирование.
Цитата из ответа поддержки:
Please do not worry about the charges at this point.
Before we can submit the refund request you will need to terminate all the instances in the various regions and then cancel the spot requests
…
I will continue to monitor your account to insure the instances have been terminated the spot requests cancelled.
Once the instances and the spot requests are deleted we will need to wait 24 hours for the billing to stabilise before we submit the refund request.
Своих заказов у меня было наработано меньше чем на доллар, т.к. недавно начал пользоваться и ещё не закончил тестирование.
У меня было нечто подобное, но масштаб ущерба значительно меньше.
Скрипт запускал дроплеты на DigitalOcean, делал все что надо и аккуратно выключал. В один прекрасный день всплыл баг при выключении дроплетов… включил компов перед новым годом и не выключил. Все новогодние праздники они работали, заметил только в конце января, когда счет пришел)
Скрипт запускал дроплеты на DigitalOcean, делал все что надо и аккуратно выключал. В один прекрасный день всплыл баг при выключении дроплетов… включил компов перед новым годом и не выключил. Все новогодние праздники они работали, заметил только в конце января, когда счет пришел)
Спасибо за пост, передумал переезжать на облако.
был аналогичный случай пару лет назад: запустили машины на 1 тыс дол в сутки. После обращения в поддержкуих удалили и анулировали счет.
В нашем случае ключ утек либо через rails 3 приложение в development mode (публично доступное) либо через cloud сервис на котором хостилось (они отрицали что такое возможно).
Кроме отдельного API ключа, еще нужно настроить нотификации о превышении текущих затрат
В нашем случае ключ утек либо через rails 3 приложение в development mode (публично доступное) либо через cloud сервис на котором хостилось (они отрицали что такое возможно).
Кроме отдельного API ключа, еще нужно настроить нотификации о превышении текущих затрат
Я как то для опенсорса свой Vagrant box захостил, а он стал настолько популярным, что несколько тыс. долларов за две недели натекло :). Все простили и списали
Спасибо, я наконец-то понял, откуда у них по умолчанию квота на 20 машин в одном ДЦ. Но лучше бы была квота по расходам :(
Послушал про себя в подкасте devzen.ru/episode-0034/ на 1 час 5 минут, интересно :) Спасибо за пожелания удачи…
Коллеги, кто то может объяснить ценообразование? Я никак не пойму почему так много получилось за 1 сутки…
Калькулятор вам поможет :)
И вот это еще — aws.amazon.com/ec2/pricing/
c3.8xlarge — достаточно дорогая игрушка.
И вот это еще — aws.amazon.com/ec2/pricing/
c3.8xlarge — достаточно дорогая игрушка.
Был такой же случай у меня лично, случайно с моего гитхаба попали в сеть мои секретные ключи, и успели на создавать около десятка мега больших инстов.
Мне сразу с вашингтона позвонили служба безопасности amazon, (как определил мой телефон :) и почти на русском сказали что подозрительная активность на аккаунте.
И действительно все эту красоту увидел, закрыл все доступы и написал в суппорт, в 3-4 дней мне списали долг около 3000$.
В эти 3 дня я практически не спал, ведь доллар как раз скаканул до не приличных курсов!
Зато я узнал о существование этих инстов :) и сейчас использую их с удовольствием!
Мне сразу с вашингтона позвонили служба безопасности amazon, (как определил мой телефон :) и почти на русском сказали что подозрительная активность на аккаунте.
И действительно все эту красоту увидел, закрыл все доступы и написал в суппорт, в 3-4 дней мне списали долг около 3000$.
В эти 3 дня я практически не спал, ведь доллар как раз скаканул до не приличных курсов!
Зато я узнал о существование этих инстов :) и сейчас использую их с удовольствием!
Меня удивила реакция Amazon на возможное проникновение. Google в таком случае не позволяет злоумышленнику зайти и информирует владельца аккаунта. Что-то подобное можно было бы сделать и в AWS при желании.
А я разворачивал бесплатную авс пробную, но в конце пробного периода, когда я уже забил на неё и даже не возвращался к ней возник перерасход (всего на 3 доллара, но всё же перерасход) и они мне стали регулярно слать письмо о том что не могут списать деньги с моей карточки. Оно и понятно — как только зарплата падает на карточку — я всё вывожу с неё на другую карту. Почти год пытались списать, слали письма (я их уже в спам добавил, потому что для отписки от рассылки просил логин и пароль, которые я не помнил), а совсем недавно всё-таки совпал день начисления зарплаты и попытка списания средств. И 3 доллара они себе забрали всё-таки.
Кстати, коллеги, я правильно понимаю, что тот же Амазон за долги может подать в суд. А затем международный розыск и арест?
Было то же самое, попали на $5к, сервера успели проработать часа 3… Я это сам заметил, но и Фмазон мне написал пиьсмо практически одновременно. Долг через три дня разборок списали, но предупредили, что это на первый раз.
Как-то утянули ключи… Пока расследуем, где именно.
Полезные выводы:
1) Настройте billing alert, чтобы вам приходило письмо, если ваш счет вдруг резко превысил среднее значение.
2) Удалите root access keys. Если нужен API — создайте юзера с определнными правами (типа, «бекапить EBS-диск на S3») и используйте ключи этого юзера
3) Включите двухфакторную авторизацию Амазон умеет работать с приложением Google Authenticator, очень удобно
4) Чтобы ускорить разбор своего кейса можно попробовать позвонить ИМ, не дожидаясь. Телефон службы поддержки вы нигде не найдете, но можно позвонить в обычный Амазон (который интернет-магазин), и попросить переключить на отдел AWS. У вас уточнят ваше имя, billing-адрес и переключат.
Как-то утянули ключи… Пока расследуем, где именно.
Полезные выводы:
1) Настройте billing alert, чтобы вам приходило письмо, если ваш счет вдруг резко превысил среднее значение.
2) Удалите root access keys. Если нужен API — создайте юзера с определнными правами (типа, «бекапить EBS-диск на S3») и используйте ключи этого юзера
3) Включите двухфакторную авторизацию Амазон умеет работать с приложением Google Authenticator, очень удобно
4) Чтобы ускорить разбор своего кейса можно попробовать позвонить ИМ, не дожидаясь. Телефон службы поддержки вы нигде не найдете, но можно позвонить в обычный Амазон (который интернет-магазин), и попросить переключить на отдел AWS. У вас уточнят ваше имя, billing-адрес и переключат.
Недавно попал так же. Аккаунт был неактивный, в почту заходил не часто. В итоге счет на 11к сейчас висит. Аккаунт был заморожен автоматически, я это сообщение увидел но не придал значения сначала. А тут счет пришел… Была привязана нерабочая карта нашего банка, с которой амазона пытался списать 11к, но не удалось слава богу. Иначе бы пришлось квартиру продавать…
Что будет дальше не знаю, жду ответа от саппорта. Пока никто не звонил на телефон, но сейчас уже всю инфу на сайте почистил на фейковую.
Что будет дальше не знаю, жду ответа от саппорта. Пока никто не звонил на телефон, но сейчас уже всю инфу на сайте почистил на фейковую.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как я умудрился за 1 день задолжать Amazon 12000$