Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 112
> google не сохраняет их у себя на серверах, даже не кеширует — уважая приватность пользователя
> google
> уважая приватность пользователя
> google
> приватность
Черт, я, кажется, очки не те надел.
> уважая приватность пользователя
> приватность
Черт, я, кажется, очки не те надел.
Из за этого практически не пользуюсь облачными хостингами, могло быть не 8,8 тб, а 88 тб трафика и не факт что хостер простит долг, особенно если трафик например с ботнета, а не с одного источника как здесь.
Сто процентов :)
Лег спать — проснулся нищим)
Лег спать — проснулся нищим)
Ну так можно же лимиты выставить, чтобы не проснуться нищим.
Лимит поставишь — отключат, а отключат, значит не получишь прибыль и уйдут люди
Можно не отключать, а просто контролировать. Нотификации какие-нибудь посылать, что ли.
Опять проснешься нищим
Так это известный феномен: когда приходит трафик, ты либо его оплачиваешь, либо ложишься. И облако тут совершенно не фактор, на железных серверах тоже так бывает. Если у вас полоса 100Мбит/с, а пришло 500Мбит/с, то не оплатить полосу выше есть быть практический эквивалент выключения сайта.
не подскажите где и как?
Ещё есть хостеры, дающие канал и безлимит.
Возле слова безлимит звездочку забыли.
У кого со звёздочкой, а у кого честный безлимит.
Без звездочек разве что у хостеров до момента набора базы клиентов, или просто с условием в договоре что нет гарантий что скорость будет Х и все. Либо шеред канал, либо плюшка до раскрутки, никто никому трафик безлимитный не дает за просто так (это я про провайдеров щас)
Слушайте, вы ересь какую-то несёте. У нас на кебруме в амстердаме100 мегабитный порт с безлимитом, средний трафик порядка 40-60 мегабит, никто ничего не режет и дополнительных денег не требует.
Давайте определимся о чем идет речь? Если о арендах юнита/сервера — там всегда дают шаред канал на одну единицу сетевого оборудования и конечно же никаких гигабайтов в месяц нет, трафик не лимитируется почти у всех сейчас, в статье речь шла про виртуальный сервер на амазоне, мои комментарии базировались также на хостерах предоставляющих виртуальные серверы. Количество трафика вирт инстансами на 1 еденицу физ ноды != ко-ву трафика одного физ сервера чаще всего, потому предоставлять безлим трафик у таких хостеров чаще редкость, особенно за границами, где понятия безлимитный интернет для физ лиц как такового особо и нет.
Гм. Насколько я знаю, на тарифных планах с фиксированными параметрами VPS таки бывает выделенная полоса канала за отдельные деньги. В облаках же пока что действует драконовская система с учётом трафика.
Ну тот же чокиз в румынии даёт гигабит за 400 евро. Гигабита хватит на любые пики и это дешевле чем платить штуку зелени за 8 терабайт трафика.
Те, Вы хотите сказать, что если я покупаю полосу, то она обязательно будет либо не гарантированной, либо шаред, либо лимитирована? Что-то похоже не так в королевстведоговоре тогда.
Другое дело, когда цена — рубль запучокгигабит/с(или любая другая большая величина), тогда понятно, что это не чистый канал. Но я думаю, что многие люди знают цены на транзит трафика и по этому у них скорее всего канал будет реальный и договора будут написаны правильно.
Другое дело, когда цена — рубль за
Честный безлимит при 250Gb трафика в час? Покажите мне такого хостера пожалуйста.
Я думаю что в случае хостинга у обычного хостинг провайдер в данном случае при таком размере трафика имело бы место отключение клиента до выяснения, причем с помощью BGP null route для того чтобы спасти свой канал и остальных клиентов.
Я думаю что в случае хостинга у обычного хостинг провайдер в данном случае при таком размере трафика имело бы место отключение клиента до выяснения, причем с помощью BGP null route для того чтобы спасти свой канал и остальных клиентов.
Самой частой звёздочкой является переключение со 100 мбит на 10 — это всё же лучше чем полное отключение или доплата за каждый гигабайт.
Похвально, что Amazon сам списал долг, помнится Мегафон счета за роуминг в районе ляма рублей очень яростно защищал в судах.
У нас и интернет-провайдеры «вирусный» трафик тоже совсем не горят желанием списывать, договор есть — плати.
Особенно если учесть, что Амазон тут не очень-то виноват (в отличие от Мегафона в той истории) и, в принципе, мог упереться…
История окончилась успешно — еще до ее публикации, амазон списал начисления за превышенный трафик, расценив его как случайный и не преднамеренный.
В оригинале так.
В оригинале так.
Amazon добрая компания, как с Kindle'ми ихними так и с ихними AWS
Сразу вспомнилась вот эта статья: habrahabr.ru/post/125529/
спасибо, поправил
Да, читал уже эту статью несколько дней назад.
А еще про амазон недавно смотрел интересный доклад с пензенской конференции SECON, где ребята из FlySoft рассказывали как они санчала деплоились на серверах в hetzner, потом оказалось что их серваки это обычные компы стоящие в датацентре а не серверные машины да и hetzner им каждый день обузы слал мол дофига они траффика сжирают итд. Потом они переехали на сервисы амазона, где тратить приходилось очень много, и по расчетам в месяц за 1 только траффик накапало бы $25000 и они выбрали сервера на ovh.co.uk(у меня там тоже есть сервер)
Если кому интересно — слайды можно скачать.
А еще про амазон недавно смотрел интересный доклад с пензенской конференции SECON, где ребята из FlySoft рассказывали как они санчала деплоились на серверах в hetzner, потом оказалось что их серваки это обычные компы стоящие в датацентре а не серверные машины да и hetzner им каждый день обузы слал мол дофига они траффика сжирают итд. Потом они переехали на сервисы амазона, где тратить приходилось очень много, и по расчетам в месяц за 1 только траффик накапало бы $25000 и они выбрали сервера на ovh.co.uk(у меня там тоже есть сервер)
Если кому интересно — слайды можно скачать.
Про то что в hetzner не сервера а обычные компы никто и не скрывал вроде.
А какая разница, как выглядит сервер, я всегда считал, что сервер от не-сервера отличает только набор установленного ПО.
Для кого-то может быть разница — например сменные блоки питания, диски и процы Xeon которые могут иметь кэш более 30МБ и щелкать нолики и единички как семки. Ну много еще причин можно называть. Я же не говорил что именно это и послужило причиной смены хостера или может играть важнейшую роль. Просто сервера на hetzner перестали справляться с нагрузками и сами hetzner'овцы задолбали их абузами каждый день.
Ну сменные подразумевается горячая замена. Да мой комп поддерживает горячую замену дисков но в нем нет 2-х блоков питания чтобы можно было поменять спокойно какой-то из них не выключаясь.
Кэш проверяется на сайте интела. Больше кэш, частота, количество ядер — дороже стоит проц. При чем, дороже на столько, что несколько десктопов с суммарно таким-же количество кэша, такой-же частотой и количеством ядер и таким-же количеством оперативы будут дешевле в разы для топовых конфигураций. И надежнее, если задача параллелится (поставить 2-3 десктопа в резерв все равно будет дешевле). Питания только жрать будут больше.
Разница не только в софте — софт это мелочи. Главное — установленное железо. Обычный Р4, и тем более его материнская плата и жёсткий диск, не рассчитаны на работу с БД, на работу 24х7х365. Также немного обычных ПК поддерживают память ECC, ну и т.д.
В общем, разница есть и очень большая.
В общем, разница есть и очень большая.
Думаете, сильно p4 отличается от Ксеона такого-же поколения? ark.intel.com/ сравните.
ECC — да, потому что для базы сервер все-же лучше. И для морды. Но для бэков с кодом и всяких кодировщиков видео, лучше больше десктопов, чем меньше серверов за те-же деньги. Если питание позволяет.
ECC — да, потому что для базы сервер все-же лучше. И для морды. Но для бэков с кодом и всяких кодировщиков видео, лучше больше десктопов, чем меньше серверов за те-же деньги. Если питание позволяет.
Да — раньше кешем отличались. Сейчас i7 от аналогичного ксеона уже не отличается. И 24*7*365 работает отлично.
В том то и дело что от аналогичного. А в линейке серверных процов есть такие, анологов которым нет среди десктопных процов. И в десктопы они не ставятся если не заморочиться с покупкой мамки с нужным сокетом.
Ну Ксеон с параметрами аналогичный i7 будет стоит раза в 3 дороже (если говорить о топовых конфигурациях с равным количеством ядер). Если брать ксеоны, которые имеют больше ядер и ту-же частоту, то цена взлетает еще. Выходит что, допустим, 6 ядерный процессор при производительности как 1.5*i7 стоит в 6-7 раз дороже. Итого, сервер с двумя такими процессорами будет раза в 3-4 дороже десктопов с таким-же количеством ядер.
Если цель — производительность, а не надежность (или надежность можно обеспечить дублированием железа), то десктопы будут куда выгоднее.
Если цель — производительность, а не надежность (или надежность можно обеспечить дублированием железа), то десктопы будут куда выгоднее.
Да Xeon дороже, а теперь про производительность и стоимость. Сколько будет стоит разместить дополнительные машины и подключить их к питанию, сети не дороже ли выйдет в итоге?
Везде по разному. Исходя из ответа на этот вопрос и выбиают или сервера или десктопы. Если речь об аренде сервера, то этот вопрос можно игронировать — питание и юниты входят в стоимость (обычно). И считать только фактическую цену на единицу производительности и памяти.
Xeon'ы ещё, наверняка, тестят активней перед продажей, т.е. меньше брака, у них больше наработка на отказ, строже приёмка, и всё такое.
Вообще интересная тема, не хотелось бы тут оффтопить но тему бы где-то хотелось продолжить. Интересны мнения опытных в этом людей.
У меня десятки серверов и на десктопном железе и на серверном, я подбираю тип сервера исходя из цего целей. И говорю из опыта. Под кодирование видео и под бэки нет смысла брать сервера, под базу и морду сайта — есть.
Ну кто-то бэкапы вообще хранит на всяких dropbox)
Я понимаю вашу точку зрения и согласен что под разные задачи нужно выбирать разное железо и бывают моменты где десктопное железо может быть оптимальным вариантом в плане цена/качество. Еще как вариант — сервера с AMD Opteron весьма дешевы и производительны.
Я понимаю вашу точку зрения и согласен что под разные задачи нужно выбирать разное железо и бывают моменты где десктопное железо может быть оптимальным вариантом в плане цена/качество. Еще как вариант — сервера с AMD Opteron весьма дешевы и производительны.
За одниаковые деньги производительность на intel и amd получается примерно одинаковой. Есть задачи, в которых в пересчете на бакс будет лучше амд, где-то — интел, но разница будет довольно небольшой. Потому, на это надеяться не стоит;)
Бекапы на дропбокс — хорошо, но дорого. Мы долгое время обдумываем их хранение на амазоне, но тоже дорого. Потому, приходится использовать несколько уровней серверов. Чем плохо такое хранение (учитывая, что данные можно шифровать), я не понимаю.
Бекапы на дропбокс — хорошо, но дорого. Мы долгое время обдумываем их хранение на амазоне, но тоже дорого. Потому, приходится использовать несколько уровней серверов. Чем плохо такое хранение (учитывая, что данные можно шифровать), я не понимаю.
Бывают ещё ограничения по месту в стойке и питанию. Но тогда можно думать и о блейдах.
Дорого, очень. Зато всё прекрасно с резервированием, занимаемым местом и потребляемым питанием.
Дорого, очень. Зато всё прекрасно с резервированием, занимаемым местом и потребляемым питанием.
Покажите мне, где такие сервера в аренду дают (с E7). Это очень дорогое специализированное решение для узкого круга задач (где в сервере нужно 40 ядер), в целом на ядро у E7 производительность будет ниже, чем у i7 (за счет меньшей частоты), а стоимость сервера в пересчета на ядро — существенно больше.
Мейнстрим это i7 sandy и Ксеоны E3 или E56**. E5 и i7 Ivy достаточно новые и сравнивать их мне пока не пришлось (сам по себе E5 в пересчете на ядро не лучше 56**).
Мейнстрим это i7 sandy и Ксеоны E3 или E56**. E5 и i7 Ivy достаточно новые и сравнивать их мне пока не пришлось (сам по себе E5 в пересчете на ядро не лучше 56**).
Процессору, что десктопному, что серверному даже лучше работать 24/7/365, чем в цикле включение/выключение. Большой кеш нужен отнюдь не для всех задач, и часто даёт прирост несообранзый разнице в цене, вот память с ECC, пожалуй аргумент. Ещё реальные аргументы — резервирование питания (впрочем, есть отнюдь не на всех серверах), и хотсвапные корзины.
Винты, кстати, на большинстве серверов вполне себе те же sata, и отнюдь не enterprice. SAS и enerprice grade SATA оправданы в довольно малом количестве задач.
Винты, кстати, на большинстве серверов вполне себе те же sata, и отнюдь не enterprice. SAS и enerprice grade SATA оправданы в довольно малом количестве задач.
Стоит учитывать разницу в надежности (та же память, например ECC существенно понижает вероятность инверсии бита), нормальные аппаратные raid'ы, нормальные SAS диски, нормальные процы (на разных паттернах xeon e7 и core i7 существенно различаются и под серверные задачи лучше использовать xeon), нормальные блоки питания с горячей заменой. Плюс тестирование всего этого барахла (как например отличаются электронные компоненты с военной приемкой и без)…
Е7 и i7 сравнивать не нужно, E7 это специализированные и очень дорогие процессоры (даже не сколько процессоры, сколько платформы под них). И в пересчете на ядро они не быстрее.
ЕСС память — преимуество. А raid, sas и прочее, в том числе с гарячей заменой ставится в десктоп так-же как и в сервер (через pci-ex). По-умолчанию, в сервера такие контроллеры тоже не ставят, обычно. Это раньше было актуально, когда была шина pci-x и рейды шли только под нее.
Под десктопом я понимаю платформу, а не корпус.
ЕСС память — преимуество. А raid, sas и прочее, в том числе с гарячей заменой ставится в десктоп так-же как и в сервер (через pci-ex). По-умолчанию, в сервера такие контроллеры тоже не ставят, обычно. Это раньше было актуально, когда была шина pci-x и рейды шли только под нее.
Под десктопом я понимаю платформу, а не корпус.
По поводу десктопа, очевидно, что имелось ввиду.
Но E7 можно набить по 20 физический ядер в блейд (при 130Вт на проц). В корзину — 16 блейдов. Итого 320 ядер на enclosure. Для некоторых задач, когда нужно большое количество ядер и места мало — самое то.
Конечно, для чего-нибудь вида hadoop+hbase это большого смысла не имеет. Там уж лучше больше обычных машин (в смысле commodity, а не low-end)
Но E7 можно набить по 20 физический ядер в блейд (при 130Вт на проц). В корзину — 16 блейдов. Итого 320 ядер на enclosure. Для некоторых задач, когда нужно большое количество ядер и места мало — самое то.
Конечно, для чего-нибудь вида hadoop+hbase это большого смысла не имеет. Там уж лучше больше обычных машин (в смысле commodity, а не low-end)
я и говорю — специализированное применение, в таких узких нишах иногда и видяхи рулят или терабайт оперативы. Но это не типичные задачи для сайтов, даже крупных
Если касаться AWS, то там есть и High-CPU, High-Mem, и Cluster compute instances. А раз они продают, значит спрос есть.
Да, для простых сайтов это не нужно. Но большинству достаточно если не шаред-хостинга, то vps. Меньшему количеству нужен нормальный ds. И совсем небольшому реально нужно легкое масштабирование на такой IaaS. И это ещё не столь узкая область применимости, как те же tesla.
Да, для простых сайтов это не нужно. Но большинству достаточно если не шаред-хостинга, то vps. Меньшему количеству нужен нормальный ds. И совсем небольшому реально нужно легкое масштабирование на такой IaaS. И это ещё не столь узкая область применимости, как те же tesla.
Еще часто забывают, что обычно в серверные матери можно воткнуть больше памяти. Скажем, 96 гигов на одну машину — без проблем.
Ну и рассыпуха более качественная, те же конденсаторы, например. Мелочь, кажется, а в итоге на надежности сказывается.
Ну и рассыпуха более качественная, те же конденсаторы, например. Мелочь, кажется, а в итоге на надежности сказывается.
Кстати, нашел доклад на записи.
Смотреть с 49-й минуты.
Смотреть с 49-й минуты.
Тут обрезанная версия: www.youtube.com/watch?v=0ldg5Tqy4h0
А тут мои заметки и слайды: roman.skvazh.com/2012/10/05/amazon-aws/
А тут мои заметки и слайды: roman.skvazh.com/2012/10/05/amazon-aws/
Спасибо за статью. Обдумаем стратегии защиты.
Вопрос: можно ли на AWS устанавливать лимиты/алерты на счёт/трафик? Думаю перевести туда сайт, очень не хотелось бы попасть на деньги.
да можно. billing alert у них появились недавно.
Только на East-кластере…
То есть считаются деньги, потраченные только в этом кластере? Я правильно понимаю?
И все таки билинг кажет все расходы
You can use Amazon CloudWatch to monitor estimated charges on your AWS bill. These billing metrics are currently available in the US East (N. Virginia) region, and represent charges in all regions.
You can use Amazon CloudWatch to monitor estimated charges on your AWS bill. These billing metrics are currently available in the US East (N. Virginia) region, and represent charges in all regions.
своего рода DDoS-атака получается
4 дня назад читал про это тут www.xakep.ru/post/58616/
4 дня назад читал про это тут www.xakep.ru/post/58616/
А бывает полностью наоборот. По информации nag.ru, vkontakte не только не платит за трафик, но ещё и продаёт его за 50р/mbit провайдерам.
Помню 10 лет назад и мастерхост тоже платил за трафик.
У кого есть информация, кто ещё в современном мире кроме vkontakte продаёт а не покупает трафик?
Помню 10 лет назад и мастерхост тоже платил за трафик.
У кого есть информация, кто ещё в современном мире кроме vkontakte продаёт а не покупает трафик?
Эх, а я неоднократно говорил, что облака в их текущем виде могут очень сильно подсадить пользователя… но меня всегда посылают «Это невозможно. Облака это круто.»
У амазона есть сервис cloudwatch, который позволяет мониторить инстансы и ebs, а также создавать алерты по многим параметрам. C S3 он не работает, насколько вижу.
Только сегодня позволили создавать параметры по $$$, да и то с ограничениями: habrahabr.ru/post/143635/
прочитал все коменты в надежде узнать решение проблемы. узнал всякие мелочи про железо.
Так все таки, может кто нибудь сказать, что можно сделать акромя использования signed url?
Так все таки, может кто нибудь сказать, что можно сделать акромя использования signed url?
Про то какой амазон крутой можно говорить часами!
На той неделе на бесплатном сервере случайно запустил small instance вместо micro.
Запустил и забил, тк времени не было заниматься. К концумесяца пришел счет на 50 баков.
Написал в поддержку, что случайно запустил смол и что сервером вообще не пользовался. Через сутки пришел ответ о том, что списывают с меня этот счет и чтоб впредь был внимательней.
На той неделе на бесплатном сервере случайно запустил small instance вместо micro.
Запустил и забил, тк времени не было заниматься. К концумесяца пришел счет на 50 баков.
Написал в поддержку, что случайно запустил смол и что сервером вообще не пользовался. Через сутки пришел ответ о том, что списывают с меня этот счет и чтоб впредь был внимательней.
Облака созданы для высасывания бабла. Половина счетов за воздух, например, почему я должен платить за КОЛИЧЕСТВО гет/пост запросов?
Для говносайтов с 10челами в сутки облака отлично подходят, потому что дешево, но как что-нибудь посерьезней, то всё, дешевле физический сервер.
Для говносайтов с 10челами в сутки облака отлично подходят, потому что дешево, но как что-нибудь посерьезней, то всё, дешевле физический сервер.
Ага, именно поэтому instagram, dropbox и многие другие серьезные проекты хранят свои данные на Amazon.
Они там хранят не потому что дешевле. В таких проектах дешевизна не самый главный фактор…
Так как дешевле масштабируемое решение. Своими силами создать хорошо горизонтально масштабируемую инфраструктуру довольно дорого.
Дешевле. Организация инфраструктуры с возможностью взрывного роста — очень дорогое удовольствие. Если бы тот же твиттер появился сейчас и использовал ресурсы AWS у него бы не было тех проблем, которые были в первые года его жизни.
Instagram это надутый инвесторами пузырь, там некогда делать эффективно.
Облака созданы для зарабатывания бабла, как и любые другие коммерческие предприятия.
Я думаю что вопрос ценообразования в случае AWS очень не прост, но в конечном счете все сводится к оплате за использованные ресурсы.
Обратите внимание, что имеются в виду GET/POST запросы к S3. HTTP запросы обрабатываемые запущенным инстанцем никто не считает и не тарифицирует, есть только оплата за трафик и время работы.
Я думаю что вопрос ценообразования в случае AWS очень не прост, но в конечном счете все сводится к оплате за использованные ресурсы.
Обратите внимание, что имеются в виду GET/POST запросы к S3. HTTP запросы обрабатываемые запущенным инстанцем никто не считает и не тарифицирует, есть только оплата за трафик и время работы.
Отличный способ выстрелить себе в ногу, ну или не только себе
Пороть вас за такие заголовки или в желтую газетенку.
Вам чем оригинал не угодил: «The Google attack: How I attacked myself using Google Spreadsheets and I ramped up a $1000 bandwidth bill
»?
Позиция Амазона по списанию счета радует. У меня есть картинки, которые раздаются из облака Rackspace. Обычно трафик в месяц был 200Гб. В марте неожиданно подскочил в 5 раз. Причем посещаемость сайта, где эти картинки отображались осталась прежней.
Попросил подробную статистику в саппорте, хотя бы по дням посмотреть когда пошел такой рост. Сказали что статистики у них вообще никакой не ведется. И платить пришлось по полной программе. Что еще более интересно в апреле трафик опять составил 200Гб. Волшебство…
Попросил подробную статистику в саппорте, хотя бы по дням посмотреть когда пошел такой рост. Сказали что статистики у них вообще никакой не ведется. И платить пришлось по полной программе. Что еще более интересно в апреле трафик опять составил 200Гб. Волшебство…
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Отличный способ выстрелить себе в ногу, ну или не только себе