Комментарии 37
Долгожданная опция
Скорость порадовала. При такой скорости снапшоты в лругих регионах можно не хранить.
Круто! Вы, прям, настоящие популяризаторы AWS, больше вас о них, наверное, никто не пишет) Скажите, Amazon вам доплачивает?)) Спасибо! Продолжайте в том же духе!
Мы партнёры с AWS. А я — архитектор. Сам много интересуюсь и вот популяризирую.
тогда вопрос такой — почему Вы написали что скорость хорошая и выделили это?
8GB * 1024 = 8192MB * 8 = 65536Mb / 3 (min) = 21845 (Mbpm) / 60 (sec) = 364Mbps — Я бы не сказал что это волшебно…
Для сравнения Я использовал хороший ДЦ в EU — скорость копирования между ДЦ была где-то 2100Mbps, причем трафик без тарификации через их точку обмена трафиком.
P.S. от Amazon ожидал больше — хотя например IOPS дисковой подсистемы уже давно разочаровал, и кстати в Ирландию лучше не копировать — там ДЦ стоит в «молниеопасном» и «волшебном для жестких дисков» месте :)
8GB * 1024 = 8192MB * 8 = 65536Mb / 3 (min) = 21845 (Mbpm) / 60 (sec) = 364Mbps — Я бы не сказал что это волшебно…
Для сравнения Я использовал хороший ДЦ в EU — скорость копирования между ДЦ была где-то 2100Mbps, причем трафик без тарификации через их точку обмена трафиком.
P.S. от Amazon ожидал больше — хотя например IOPS дисковой подсистемы уже давно разочаровал, и кстати в Ирландию лучше не копировать — там ДЦ стоит в «молниеопасном» и «волшебном для жестких дисков» месте :)
НЛО прилетело и опубликовало эту надпись здесь
Так и автор пишет о «US-EAST-1 в EU-WEST-1»
Я копировал между ДЦ — Чехия Нидерланды и Румыния Нидерланды, технически можно скопировать и в США (у хостера и там есть сервера), но из-за «драконовского» законодательства там не держу сервера.
(возможно Я не совсем полно пояснил — но 2100Mbps это НЕ у Amazon а у другого хостера)
(возможно Я не совсем полно пояснил — но 2100Mbps это НЕ у Amazon а у другого хостера)
А чем законодательство отпугивает, если не секрет?
Плата за перерасход электроэнергии?
Плата за перерасход электроэнергии?
1) DMCA — очень сильно будет напрягать, в EU все намного проще, там только 3 организации которые реально могут достать и как правило получить от них абузу крайне сложно (трансляция платного цифрового вещания спортивных событий, концертов и т.д.)
2) Если сайт является финансовой организацией — то есть вероятность получить перманентный бан за финансовую деятельность без лицензии… (да — комиссия по ценным бумагам хуже копирастов)
3) Есть требования об обязательной идентификации конечного заказчика услуги (хотя не все его соблюдают) — т.е. хостер будет требовать выслать сканы и требовать верификации (кстати Amazon это и так делает)
4) За «Ответный удар» по атакующим (если DDoS или SPAM центр) могут выключить сервер
… остальное в личку если интересует…
и естественно стоимость трафика в USA выше чем в EU примерно в 2-2.5 раза
2) Если сайт является финансовой организацией — то есть вероятность получить перманентный бан за финансовую деятельность без лицензии… (да — комиссия по ценным бумагам хуже копирастов)
3) Есть требования об обязательной идентификации конечного заказчика услуги (хотя не все его соблюдают) — т.е. хостер будет требовать выслать сканы и требовать верификации (кстати Amazon это и так делает)
4) За «Ответный удар» по атакующим (если DDoS или SPAM центр) могут выключить сервер
… остальное в личку если интересует…
и естественно стоимость трафика в USA выше чем в EU примерно в 2-2.5 раза
НЛО прилетело и опубликовало эту надпись здесь
если korjik не против — то может-быть проведет тест на копирование US East US West для примера…
$ ec2-copy-snapshot -s snap-c5db6db1 -r us-east-1 --region us-west-2
SNAPSHOT snap-a5e7c983
$ ec2-describe-snapshots --region us-west-2 snap-a5e7c983
SNAPSHOT snap-a5e7c983 vol-f84c4a80 completed 2012-12-18T20:01:50+0000 100% 273530516661 100 [Copied snap-c5db6db1 from us-east-1]
Итак, как видим, снапшот размером 100ГБ был скопирован из Вирджинии в Орегон.
На копирование было потрачено 7 минут 30 секунд = 450 секунд.
1024*100*8/450 = 1820.4 Mbps. Вполне замечательная скорость, не находите? Ранее этой опиции не было совсем. Сейчас с хорошей скоростью можно вылить ваши данные в другой регион.
С архитектурной точки зрения DR планы поменяются кардинально в лучшую и более лёгкую сторону. А предстоящая фича с копированием AMI вообще порвёт всех.
Ура товарищи!
НЛО прилетело и опубликовало эту надпись здесь
Они бы ещё научились эти снапшоты делать без убийства write performance.
Покупаем дорогой piops диск на 1000 «гарантированных» iops, останавливаем базу, делаем снапшот, запускаем базу, получаем 20 wiops и соответственно падение высоконагруженного бэкэнда.
«Also, a volume's I/O performance may become degraded temporarily due to an action you have taken (e.g., creating a snapshot of a volume during peak usage, running the volume on a non-EBS-optimized instance, accessing data on the volume for the first time).»
docs.amazonwebservices.com/AmazonCloudWatch/latest/DeveloperGuide/CW_Support_For_AWS.html#ebs-metricscollected
«May become degraded temporarily» как-то не вяжется c " Provisioned IOPS volumes are designed to deliver within 10% of the provisioned IOPS performance 99.9% of the time".
В общем aws — нехорошие люди.
Покупаем дорогой piops диск на 1000 «гарантированных» iops, останавливаем базу, делаем снапшот, запускаем базу, получаем 20 wiops и соответственно падение высоконагруженного бэкэнда.
«Also, a volume's I/O performance may become degraded temporarily due to an action you have taken (e.g., creating a snapshot of a volume during peak usage, running the volume on a non-EBS-optimized instance, accessing data on the volume for the first time).»
docs.amazonwebservices.com/AmazonCloudWatch/latest/DeveloperGuide/CW_Support_For_AWS.html#ebs-metricscollected
«May become degraded temporarily» как-то не вяжется c " Provisioned IOPS volumes are designed to deliver within 10% of the provisioned IOPS performance 99.9% of the time".
В общем aws — нехорошие люди.
Эту проблему Я в свое время решал — в конце концов было сделано решение на базе Xen PVM + виртуальная файловая система (NFS-like) в качестве рут раздела (загрузка по PXE) — хотя решение вышло и костыльное, но зато проблем при записи нету — т.к. идет переключение контекста виртуальной ФС и новое состояние пишется отдельным разделом, после снапшота идет коммит изменений и возврат.
Сегодня получил от Амазона эту новость, порадовался) Упростит поднятие приложений в случае проблем в AZ. Кстати для России, вторая зона с наименьшим пингом это US-EAST. Проверить можно тут www.cloudping.info/
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Отлично, правда?
НЛО прилетело и опубликовало эту надпись здесь
Да, забыл упомянуть о том, что трафик считается как обычно. Только исходящий из региона по обычной цене. Входящий не стоит ничего.
По TCP/IP можно тоже получить хорошую скорость, если использовать, например торрент. Скорее всего они именно торрент и используют.
Если Вы для копирования используете SCP то мне Вас жаль — это неэффективно.
Рекомендую Вам использовать tar + стриминг в сырой TCP — очень помогает при копировании больших данных.
(к сожалению про rsync ничего не могу сказать — лично не использовал)
Рекомендую Вам использовать tar + стриминг в сырой TCP — очень помогает при копировании больших данных.
(к сожалению про rsync ничего не могу сказать — лично не использовал)
НЛО прилетело и опубликовало эту надпись здесь
и что потом делать после сырого tcp?
сверять суммы тарболлов на много сотен гигабайт?
сверять суммы тарболлов на много сотен гигабайт?
Сырой TCP позволяет сделать прямой канал (условно pipe) между серверами без лишнего кодирования байт.
Естественно проверка будет идти в 2 этапа:
1) контрольный суммы в самом протоколе TCP/IP
2) SHA512/SHA1/MD5 для архива
Если Вы НЕ проверяете контрольные суммы бэкапов перед разворачиванием — то Вы или (1) очень смелый (и не боитесь лишних проблем из-за этого) или (2) очень глупый (если не делаете элементарные проверки)
Естественно проверка будет идти в 2 этапа:
1) контрольный суммы в самом протоколе TCP/IP
2) SHA512/SHA1/MD5 для архива
Если Вы НЕ проверяете контрольные суммы бэкапов перед разворачиванием — то Вы или (1) очень смелый (и не боитесь лишних проблем из-за этого) или (2) очень глупый (если не делаете элементарные проверки)
Эту функцию, да пару бы месяцев назад. Отличная новость!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
AWS: Копии образов EBS