Comments 191
, 5 человек активно играют — более чем достаточно на данный момент
Шуточек ради, вы им обязательно лычки в игре выдайте «Nova Beta Testers»)
Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что.
Сотрудник объясняет мне, что переплата за оперативную помощь.
Показалось немного странным Ваше удивление. Судя по всему имеется в виду какой-нибудь SLA от самого DELL на оборудование, которое стоит у них в ЦОДе. И в случае выхода из строя запчасти сервера (диск, кулер, рейд-контроллер и т.д.) DELL оперативно вышлет им замену. Или, что скорее всего, у них на складе уже есть запчасти к серверам DELL (но тоже не просто так, а как часть договора с DELL).
SLA от самого DELL на оборудование, которое стоит у них в ЦОДе
Я же покупаю железку у одних лиц, а размещаю железку у других лиц.
Взаимодействие за дорого DELL с лицами, у которых размещается оборудование — понимаю.
Взаимодействие за дорого DELL с лицами, у которых покупается оборудование — не понимаю.
Полагаю, что корень проблемы в том, что для моей схемы (покупка сервера + размещение в ЦОД) — поддержка DELL бессмысленна. Вот если бы я в свой офис ставил сервер — тогда такие траты выглядели бы осмысленными.
У вас сдох ssd, или планка памяти, вы просто создаёте заявку в Dell, прикладываете лог с сервера и на next business day (ну иногда конечно 2-3 дня может быть) получаете новый для замены (при чём приезжаете инженер, способный в вашем сервере эту железку заменить). Это касается любого компонента. Купив россыпь железа, вы получаете гарантию на отдельные компоненты (и то, только в случае гарантийного случая, а не просто по тому что он сломался) и сами им несёте в СЦ на диагностику эти отдельные компоненты, будь то процы, память, мать, БП и тд.
Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён.
— обоснуйте, пожалуйста, этот пункт. В чем выражается юридическая защищенность в РФ для вас?
в РФ/США/Европе/Китае — такое невозможно, и потому юридически защищены с моей точки зрения.
В США я не хотел рассматривал вариант размещения из-за пинга.
В Европе — тот же пример Пражский. Случись чего — мне получается надо ехать в Прагу, подавать иск в суд и добираться чего или оплачивать услуги адвокатов. Дорого это всё.
А если в РФ чего случится — я могу себе позволить отстаивать свои интересы в суде без проблем. Ну и я не могу себе представить, что моим сервером что-то случится в tech.ru без существенных проблем для вредителя.
Интересно, у вас уже есть положительный опыт отстаивания своих интересов в судах РФ?
Чел живет в Украине то ему РФ просто так сервер не выдаст. А пинги и физическое размещение — довольно удобны в РФ для украинца.
Понятия не имею что это.
Это TPM (Trusted Platform Module).
Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.
Если бы пользовались, тогда бы знали за что. Я один год пользовался Supermicro — больше не хочу… До этого был опыт HP, IBM, Dell, и когда-то давно самосборов.
У серверов ведущей тройки, есть внутренний мониторинг работы компонентов. А тут купили в компанию штук 30 серверов supermicro 2-3 моделей, почти каждый отметился проблемами и нестабильностью работы. Что именно сбоит, вычисляется методом перебора, в то время как на нормальном железе к логах пишется — битая память, сбой процессора и тп.
При размещении на удаленной площадке, важная фишка — удаленная консоль (IPMI, ILO, DRAC,RSA и т.п.).
Другая фишка — обновление системного ПО, прошивок, драйверов — на самосборе этого нет.
Я уже писал, что для офисов DELL — понятно за что переплата, а вот для ЦОД — нет. Чем плоха выбранная платформа Intel?
Даже если у Вас нет гарантии от местного сборщика- то AWR за неделю (а зачастую на следующий день) с помощью DHL присылает замену (или с локального склада или из Европы)
Конечно у Вас не было опыта видать с серверами большой тройки когда оборудование с уровнем сервиса " 4 часа восстановления " везли неделю. А оборудование со стандартным сервисом NBD (реакция) заменяли в течении месяца
Вы сами себе противоречите, не считаете? От интела нам месяц ехала память из европы, типа ddr 4 у них кончилась…
SuperMicro делают нормальные сервера. С ними всегда было минимум проблем. Особенно, если нужно установить что-то экзотическое. У SuperMicro проще и дешевле дизайн (механический, к примеру), но сейчас 1U сервера на много лучше, чем были 3 года назад.
У всех производителей свои проблемы, например, попробуйте поставить M.2 SSD в DELL.
С контроллерами тоже все очень забавно, есть ограничения по максимальному числу дисков, сейчас деталей не помню. (помоему RAID10 не более 8-10 дисков, на шасси где 24 диска можно установить). Каждый сервер почему-то имеет свой внешний вид IPMI и BIOS, отличный от других, пришлось писать документацию заказчику под каждую модель. RAID контроллеры тоже каждый по своему конфигурится, создать RAID10 это куча кликов по невнятным меню.
Как раз пользовались 1-2 юнитовыми серверами 50\50…
Ну и с качеством проблемы, да, виснут в процессе работы, или просто перестают отвечать на внешние раздражители (клава, монитор, мышь и сеть не работает, но система живет). Под проект купили больше сотни, я успел пощупать штук 30, очень много брака, причем много вылазит в процессе экплуатации. А так, да, дешево…
Кстати, это 1U сервер, в котором можно собрать массив из двух m.2 накопителей.
Что именно сбоит, вычисляется методом перебора
Откройте для себя mcelog
, например.
однозначно лучше pci-ssd
Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.
Итого выбор: 2шт 6Tb HGST HDD.
И неделя ребилда? И при этом бекапы будут литься ооооочень медленно.
Просто ради интереса накидал, без учёта каких-либо скидок:
Dell PowerEdge R430 rack 1U up to 4 x 3.5″ SAS/SATA HDD / 2 x Intel Xeon E5-2630v4 (2.2GHz, 10C, 25MB, 8.0GT/s QPI, 85W) / 8 x 16Gb PC4-19200(2400MHz) DDR4 ECC Registered DIMM / 2 x 200GB SSD SATA Mix Use MLC, 6Gbps HS 2.5″ in 3.5″ Carrier / 2 x 6TB 7.2k Near Line SAS 12Gbps HDD HS 3.5″ / PERC H730 RAID(0,1,5,6,10,50,60) Controller 1Gb NV Cache 12Gb/s with battery / no DVD / iDRAC 8 Enterprise 8GB SD card / Broadcom 5720 4x1Gb Integrated card / 2 x Power Supply, 550W, Hot Plug / no OS / 3Y NBD
441766 руб. (по сегодняшнему курсу — 7683$)
Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.Извините бюджет не резиновый. А задача сервера — не работать под нагрузкой 5 лет, а выдержать заявленную выносливость в течении 3-5 месяцев, когда прийдёт время.
Да, единая точка отказа. Я вроде подробно расписал, почему я осознанно пошёл на такой риск. В конце-концов сервер должен решать бизнес задачу, а не просто быть купленным для галочки.
Судя по статистике zabbix ребилд будет… 8 дней. Ну а какие есть варианты по этому вопросу?
200GB SSD SATA Mix Use MLCУбрали железку стоимостью 120к рублей и добавили 2 железки стоимостью 20к рублей.
Убрали 10 гигабитные порты за 10к рублей.
Я считаю получился прекрасный пример непонятной переплаты в 90к рублей за оборудование DELL.
Я вроде подробно расписал, почему я осознанно пошёл на такой риск.
Видимо я этого или не увидел, или не посчитал аргументом. Да, у вас будет пара простых SATA SSD в RAID1 и при этом 3 года гарантии их замены! При этом, это полноценный рэйд, и потери данных в случае выхода из строя одной железки не произойдёт. Уж я то PCI-E SSD насмотрелся. habrahabr.ru/search/?q=PCI-E+SSD#h (то, что Блог компании ADVANSERV — моё творчество). Конкретных требований по IOPS у вас в тексте я не вижу, кроме «вау, архив распокавался за секунды!» — сервер не для этого, тем более продуктивный под приклад), по этому на мой взгляд можно было ограничиться и 3x200Gb SATA SSD raid1 + spare, если уж таких требований нет и не описан характер нагрузки на сервер приложением.
Я уж молчу про аргументацию за 128Gb… на сколько микросекунд оно будет медленнее и в каких именно операциях? И какие сотые процента разницы вы получите на своём приложении?
Ну а какие есть варианты по этому вопросу?
4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилд
Убрали 10 гигабитные порты
Их просто не заметил, каюсь, уж больно много текста
пример непонятной переплаты
За эти деньги, вы получаете не кучу железа в рассыпухе, а готовое решение, а 3-х летней гарантией работоспособности всех компонентов на протяжении 3-х лет.
если уж таких требований нет и не описан характер нагрузки на сервер приложениемПо статье разбросано много требований к ssd. 1-2tb перезаписей в сутки. Про iops каюсь, надо было указать, что надо было примерно 50000iops на запись гарантированно иметь (разумеется это не линейно, что 1 игрок требует 1 iops всё время, но очень примерно). Чем быстрее перезапись — тем лучше. И т.д. Основная нагрузка — от БД. Но мне её сейчас нечем нагрузить. Только синтетические тесты. Открыт для предложений по оным.
На тему памяти — надо было купить 64 сейчас и возможно 64 потом? Сэкономить на этом 500$. Я ж описал, что недостаток памяти для этого проекта — это маленькая катастрофа. Вот, и получается — на одной чаше весов риск+500$, а на другой без риска, но без 500$. Я выбрал сразу установку 128Gb. Или речь про задержки? Ну какая мне разница? Ковыряние памяти — основная задача данного приложения, поэтому я выбрал максимально хороший вариант в рамках моего бюджета по памяти.
4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилдПонял, согласен, спасибо.
готовое решениеА у меня получилось не готовое решение?
1-2tb перезаписей в сутки
Это не просто много, это безумные объёмы, и даже PCI-E SSD на 400Gb тут жить будет очень плохо и скорее всего не долго. Вы, с точки зрения дисковой подсистемы учитываете требования к нагрузке, говорите про количество перезаписей, выбираете самую дорогую модель, но одну! Поймите — никто не даст гарантию, что он не умрёт через неделю после покупки при 100 раз меньше нагрузке. И что тогда вы будете делать? Ехать в цод, вынимать, везти продавцу, отдавать в СЦ, это минимум неделя простоя, боюсь к тому времени у вас пользователей не останется. Да, покупать 2 таких карточки хотя бы в софт-рейд — дорого, в таком случае нужно искать золотую середину между отказоустойчивостью и производительностью.
надо было купить 64 сейчас и возможно 64 потом?
А может быть было достаточно пока взять 12х8Гб? Получить память с запасом, место для дальнейшего расширения и при этом ставить более дешёвые модули, что помогло бы сэкономить бюджет?
Опять-таки, я не увидел аргументов в пользу выбора E5 процессоров, кроме экономического
слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620
вы считаете это правильным подходом? При том, что в камментах я увидел лишь рассказ о том, как приложение сжирало память, при низкой утилизации процессора, так нужно ли вам на самом деле 40 потоков? Или опять-таки — можно было сэкономить, и взять тот же второй P3700? Железо — не лучшее решение для простого вложения денег.
А у меня получилось не готовое решение?
Да, но за работы этого решения — отвечаете вы. Выходит из строя любой из компонентов, вы едете в цод, вынимаете его, сдаёте в СЦ, ждёте его решения, возможно (в случае если это признаётся гарантийным случаем) получаете новую железку (через пару недель) затем едете ставить её обратно. Гарантия вендора на сервер работает иначе. В случае выхода из строя любого компонента, вы создаёте онлайн заявку, прикладываете логи с сервера, а 3NBD говорит о том, что в течении 3-х лет вы получаете замену на следующий (ну порой 2-3) рабочий день, и вы не должны ничего объяснять, как вы ей пользовались, по какой причине она вышла из строя и тд. В этом то и разница, за это и переплата, и поверьте моему опыту — она того стоит.
Я не пытаюсь убедить вас, что вы сделали что то не так, в любом случае это ваш опыт и деньги уже заплачены, оборудование установлено и работает, я просто надеюсь, что когда ваш проект разовьётся (а я вам этого желаю без сарказма) и вы решите расширять свою систему, вы уже будете понимать, чем отличается сервер от «большой тройки», от самосбора на интеле, супермирке или асусе.
Что будет если выйдет из строя раньше времени данный NVMe? Видимо будет downtime около недели и море потерянного времени. Ну и тут появится новая статья полная боли и ненависти к Intel. Надеюсь этого не будет.
На тему подхода — я думаю вот чего. У меня будет ровно одна попытка, чтобы мою игру увидели миллионы игроков. Все площадки с играми имеют раздел с играми-новинками. Одна игра может только один раз туда попасть. Только один шанс. Взвесив все варианты развития игры я выбрал этот путь, именно поэтому все важные показали железа берутся с запасом насколько позволил бюджет. После момента старта нельзя будет выключать сервер и чего-то туда устанавливать, иначе ломается вся бизнес модель. А я хочу иметь хотя-бы шанс на успех. И после этой попытки есть ровно 2 варианта развития событий, либо игра успешная и как можно быстрее собираются деньги на кластер серверов — и строится полноценная инфраструктура для полноценного бизнеса. Или игра не успешная — и ей место в моём портфолио, и тогда надёжность и возможный downtime через 5 лет в неделю не страшен.
У меня будет ровно одна попытка, чтобы мою игру увидели миллионы игроков. <...>
Вот для подобного идеально арендовать облако с возможностью быстро расширить ресурсы. А уже через какое-то время, зная детально сколько и каких ресурсов в среднем потребляется, брать под это железо.
Решение собирали мы. Соотвественно кучи рассыпухи нет. А если вы у делл погнете сокет- заменят?:-)
Погнутый сокет — это естественно негарантийный случай. В 90 % случаев сможем выправить ноги.
А почему не облачное решение? За довольно большие деньги для стартапа, вы получили риски отказа железа, геморой с мониторингом железа,, геморрой с восстановлением железа в случае проблем, отсутствие резервной площадки в случае проблем с основной, и как все было бы просто, если б вы арендовали себе кусочек облака?
Предположим игра оказалась успешной и при запуске она примерно соответствует максимальным ожиданиям — это мне за хостинг надо будет платить 1000$ в месяц. А работающий продакшн трогать — себе опаснее и переносить на свой сервер. Тьма времени и сил и денег. Было уже так, не хочу повторения.
На тему бэкапов — соглашусь.
Сейчас он у вас не нагружен, то есть оборудование будет загружено, дай бог на 5%, в течение года. По моему просто выброшенные деньги. Да и устареет он через год.
Да и «нЬюансы» и «нвИстиции» в статье как-то напрягают.
За последних 2-3 года производительность E5-2xxx выросла на проценты, а не в разы.
Выбранная материнка поддерживает до 1.5ТБ ОЗУ.
Единственное узкое место на мой взгляд — корзина на 4 диска. Но это зависит от задач.
Обычный сервер в цод (под виртуалки).
Как я понял, если проект не взлетит — автор будет пробовать еще что то и для этого что то нужно будет железо.
И даже через 3-5 лет это сервак будет вполне актуальным для второстепенных задач.
Выбор как видно был сделан в пользу tech.ru
и тут внимательный суслик увидел, что на скринах фигурирует адрес kvm1.idc3.msm.ru
smart-атрибуты с NVMe с его «моторесурсом» снимаете? А то при ошибке какой этот шустрый диск выжрет свой ресурс за неделю — будет обидно.
Админы компаний, где серверная инфраструктура огромна и в приоритете максимальное удобство взаимодействия с железками, качественная и оперативная поддержка со стороны вендора будут советовать альфа бренды. Те же, у кого неоправданно высокая стоимость оборудования съест большую часть профита, а железо так или иначе через пару лет станет неактуальным — будут защищать золотую середину или на худой конец «самосбор».
Мы, скорее попадая во вторую группу, попробовали и альфа-бренды, и интелы и супермикро.
Да, новые HP, Dell — круто, стильно, модно. И очень дорого. Может быть для кого-то удобно и целесообразно менять платформы раз в 1-2 года. Для нашей модели работы оказалось совсем неприемлемо.
Интел — хороший средний вариант, ничего плохого не скажешь (у нас стабильно работают еще с 10 платформ на S5520), но и похвалить особо не за что. Пример — было несколько серверов SR1625URSASR — все работало отлично, ровно до того момента, когда мы захотели сменить HDD на SSD — половина работали, половина нет, саппортед лист — кот наплакал. Ну и в довершение — все завязано на весьма старый SAS-контроллер+бекплейн, 3Гбит/с. Приехали, меняйте платформу.
У супермикро, на котором мы и остановились, бекплейны 10+ летней давности без проблем работают на 6Гбит/с. Экспандируемые решения — имеют ограничения, но нет проблем заменить SCSI на SAS2 или SAS на SAS3 — все унифицировано. То же касается и замены какой-то древней платформы на Х10/Х11.
Касательно надежности — даже не припомню проблем по вине именно оборудования вышеупомянутого вендора — или партия винчестеров плохая попадалась, или модули БП от старости вылетали.
PS: Честно, поддержу мысль что ТС похоже слишком много внимания уделил серверу. Ведь это лишь инструмент. Если речь идет об игре, которая может привлечь тысячи, десятки тысяч игроков — да этот сервер отойдет на 10 план!
Деньги свои и для меня это огромная сумма. Даже больше скажу: самая дорогая покупка в моей жизни. Поэтому уж извините, в такой покупке я хочу быть уверенным, что каждая копейка вложена правильно.
На тему внимания к серверу — согласно бухгалтерии, это не самые большая часть расходов проекта (самая большая — это графика, и внезапно юридические вопросы тоже значительно денег кушают). По времени — ну если очень примерно считать в процентах из общего числа потраченных часов, наверное меньше 5% времени на проект в этом направлении ушло (на сервер).
Скажу откровенно, статья так себе, как и муки выбора оборудования, не смог дочитать до конца. Обратитесь к нормальному системному интегратору, и Вам объяснят на пальцах что лучше и почему. Кстати у процессора E5-2620v4 частота 2.1, а у процессора E5-2630v4 2.2, о каких 10% разница в частоте? Далее память LRDIMM, это не обычная регистровая память, прочитайте хоть в чем суть и плюсы данной памяти.
Сравнивать самосбор с самосбором можно, но для реально важных задач стоит, однозначно, выбирать А Бренд и ещё с дополнительным сервисом, и если сервер будет уже в продуктивнее, то время простоя может стоить Вам не только потери репутации, но и бизнеса в целом, этим и отличаются, в частности, серверы именитых производителей, firmware постоянно допиливается, баги фиксят. По поводу выбора рейда, это жесть вообще: например, raid 1, Вам и вправду нужен для БД игры, это самый быстрый рейд, а вот для бекап в используется raid 5 or raid 6, для увеличения объёма, но эти рейд группы являются достаточно медленными, то есть не для всех задач подойдут. Вообще замечаний много, а хотелка секономить, очень часто оборачивается полным провалом и огромными затратами позже. Если возникнут кнут техн чешские вопросы касательно северного оборудования и схд, обращайтесь, проконсультирую :)
Скорее наоборот, у меня остались вопросы, почему автор не попробовал распараллелить игру шардингом на нескольких серверах, и тогда открываются возможности
1) несколько самосборов на i7/ryzen
2) несколько б/у серверов без ddr4
не сильно понятно желание работать только с ddr4. Если, скажем, можно было бы раздобыть б/у систему с новыми дисками за $4000, но с ddr3, то реально ли прирост от ddr4 стоит $3680. Проводились ли тесты? Все таки, если цель делать бизнес, то надо точно понимать, за что платятся деньги.
PS не знаком с российскими ценами, но если бы бралось в Германии, и там же бы размещалось в серьезном ЦОД, было бы дешевле. $7680 за 20*2.2 ядер + 50 ГБ памяти это на первый взгляд много.
В Украине, системные интегратор, работают с теми кто спрашивает, так же предоставляют консультацию по многим вопросам и проводят полную настройку оборудования под задачи заказчика.
Но какая внезапность: место в стойке ЦОД стоит денег. И такая радость будет кушать в лучшем случае 500$ в месяц, даже в Германии. А за данный агрегат оплата чуть больше 50$ в месяц, потому что он 1U.
На тему тестов сравнения ddr3-ddr4 как мне надо было поступить? Арендовать на месяц сервер с ddr3 и арендовать на месяц сервер с ddr4, заранее подготовить тесты — запустить на сервере. Итого часов 20 возни и около 300$.
Я вроде в статье написал, что планирую пользоваться данным девайсом 15 лет — зачем вообще с такими планами делать подобный замер?
Почему для выбранной бизнес-модели неприемлемо постепенное наращивание я где-то писал в камментах. И да, если бы я выбрал постепенное наращивание — то гораздо дешевле было бы использовать облако, чем рой дешёвых серверов.
планирую пользоваться данным девайсом 15 лет
это не выгодно. 15 летнее оборудование сейчас потребляет столько энергии и места в стойках, что дешевле его выкинуть, и на освободившиеся платежи взять виртуалку с бОльшей производительностью (если, конечно, сервер не стоит в самодельной серверной, охлаждаемой сплит системой, и оснащенной домашним интернетом)
www.microway.com/knowledge-center-articles/detailed-specifications-of-the-intel-xeon-e5-2600v4-broadwell-ep-processors
www.pugetsystems.com/labs/hpc/Intel-Xeon-E5-v4-Broadwell-Buyers-Guide-Parallel-Performance-820
Ну и да, по базовой внутренней метрике (не учитывая всякие штуки типа вред от NUMA или минимальную требуемую ширину шины памяти), E5-2630v4 лучший по соотношению цены/производительности. На пятки по этому соотношению ему наступает E5-2680v4 (он существенно дороже но и существенно мощнее). Среди односокетных с полной шиной — оптимальный вариант E5-1650v4, с «обрезанной» — E3-1270v6.
Спасибо, полезный материал, особенно краткая аналитика по железу, надо тонны материала проанализировать, чтобы понять что по чем и в чем различие. Плохо что нет каких-то единых маркетинговых стандартов
Стандарты есть, возможно не все на поверхности, но есть. Например, касательно SSD, есть общих три типа RI, MU, WI — рассчитанные на чтение, смешанные нагрузку или максимальную запись. Плюс важен параметр DWPD, и на сколько он рассчитан лет, в основном это 5 лет.
Так а что за игра то?
Забавно наблюдать сначала "отчёт о том как я вставлял память в материнку" а потом — муки "какую же память выбрать".
Так же странно видеть подряд утверждения "много занятых слотов — меньше скорость, поставлю ка лучше одну планку большого объёма" а потом "поставлю планки во все слоты поровну, так лучше". Дело даже не в том, что первое утверждение неверное (этого автор мог просто не знать), а в том, что первое и второе утверждения прямо друг другу противоречат и автора это кажется не смущает.
192 тысячи в год? Вы серьёзно считаете это лучшим выбором, что тот что сделал я?? То есть на одной чаше весов 3 года пользования раза в 2 слабее сервером, а на другой чаше весов 15 лет (включая стоимость места в стойке) пользования сервером в 2 раза сильнее.
А ещё у меня есть опыт поднятия стартапа: хостинг за 5$ потом 20$, потом 100$ потом 600$. Внезапно переезды между серверами — это время, много времени. Вместо того, чтобы сделать очередную полезную фичу — время тратится на переезд. И аренда дорогая выедает часть дохода от проекта. Вы уж извините, но не всем удаётся заработать миллионы, даже 1000$ доход в месяц — это тоже результат. В данном проекте хостинг-аренда легко достигнет 1000-3000$, хорошо ещё если проект будет окупать такой хостинг. А если нет? Я не готов столько платить из личных денег. Вытереть из своей истории эту попытку поднять стартап? Я ж чётко написал — у меня есть такой опыт и это нанесло чудовищный урон моему благосостоянию вцелом, речь идёт о упущенном размере зарплаты, как специалиста — речь идёт примерно о 20000$-30000$, потому что я не мог предъявить выполненный проект в прошлом — у работодателей по факту есть непонимание: «как это, сайт с миллионной аудиторией закрылся?». И они правы в своём непонимании. Извините сразу эти суммы в статье не написал, думал «чудовищная сумма» будет достаточно.
Решение принимается с учётом всех факторов, а не с учётом одной грани. Неужели это не очевидно!?
Разумеется в сферической ситуации в вакууме для пяти активных пользователей правильнее было бы взять сервер в облаке и увеличивать по мере развития проекта. Тут нечего обсуждать.
Это как с покупкой/арендой квартиры. Математически арендовать выгоднее, но все хотят купить ибо СВОЕ.
Не совсем корректное сравнение.
Арендовать выгоднее, но квартира это актив цена которого через 10 лет владения не сильно изменится. А сервер через 10 лет превратится в кучу неликвидного железа.
У меня на работе валяется целое делловское шасси укомплектованное блейдами, которое нафиг никому не нужно сейчас даже по цене металлолома, несмотря на 20 процов/сотни гигов оперативы, прочие красивые цифры да еще и ящик зипов в придачу.
- вроде и сэкономить пытается, намеренно отказываясь от альфа-брендов с их кошерным суппортом, но при этом с ходу тратит 7.5 тонн «на вырост» проекта, который еще может и не выстрелит;
- отказывается от того же финансово более оптимального клауда, ради сомнительной доступности, в случае чего, нереализовавшегося проекта как «демо для портфолио», в то время как последнюю уж можно вообще на бесплатном сервере крутить, как говорится, on demand (иначе дороговато для портфолио получается);
- «готов рассмотреть варианты с инвестициями в саму игру, от 100000$», но при этом совершенно не исключает возможности неуспеха проекта (именно игры, а не сервера), многократно упоминая вероятность снова вернуться «работать на дядю» (ага, то самое портфолио).
Помимо же этого статья и материал в целом вышли очень интересными — упомянуто много нюансов, мне ранее попросту неизвестных. Автору всех благ и успехов с реализацией игры — очень бы хотелось увидеть как она выстрелит :)
P.S. Я так понимаю, краудфандинг именно игры не рассматривался в принципе?
краудфандинг именно игрыМожно чуть подробнее?
Плюс выглядит как не завершённый проект. Я бы себе такого завершения не хотел.
Уж лучше сделать готовый продукт и с чистой совестью забить на него, если денег не приносит. А игроки бы радовались игрушке без багов и интересным ДОДЕЛАННЫМ геймплеем, пусть даже 100 часов хорошего геймплея. Вот это минимальный результат, который я хотел бы получить.
Пожалуй я получил подтверждение, что моя выбранная бизнес-стратегия правильная.
Вспомнилась история, когда в далёком 2006 будучи студеньтиком проектировал систему авторизации для сайтика с посещаемостью ~300 человек в день. Я около недели продумывал функционал, БД, логику, защиту и прочее. Распечатал подробные макеты, схему-бд, логику взаимодействий всего, показал преподавателю — тот сильно удивился сказав «а зачем ты сделал обязательное подтверждение email?». Я ему стал объяснять — что вот мол «мне не нужны пользователи без подтверждённых email». А он ответил что-то вроде «странный ты, у тебя никто регистрироваться не будет, сделай проще». В итоге за всё время зарегалось и подтвердили свой email ~650000 человек. За всё время не было ни одно даже малой проблемы с системой авторизации — соответственно было время заняться другой полезной работой.
В вашем комментарии и вижу что-то подобное.
Полтора года разработка шла полным ходом (там дневник разработчика есть со скриншотами), но из-за сильного форс-мажора пришлось заморозить проект где-то пол года назад. Этот сильный форс-мажор закончится наверное через пол года-год где-то. Не смотря на тяжёлые обстоятельства огонёк в глазах не угас — и надеюсь, что когда придёт время — я доделаю это дело.
Сервером доволен — каждая деталь своих денег стоила. Вешал на сервер кучу второстепенных задач — со всем он справлялся. ЦОДом тоже доволен — проблем с питанием не было совсем, а большую часть времени проблем со связью не было.
Поиграться в железячки — да, круто! Челендж по типу «а смогу ли я» — тож норм тема! Всегда хотелось иметь и вот я решился — молодец, получилось, снмаем шляпу! Но, блин, «под проект» с 500 чел онлайн? Риали o_O? В бородатом 2008 делали игрульки для ВК-шечки, там VDS в 1000 раз тормознее справлялся при онлайне в 2к юзеров и был не «в полке»! Поэтому, статья, без раскрытия «проекта» всех ставит в ступор! Хотябы без линка, опишите чё ж это там такое-эдакое, что ему такая железяка потенциально может понадобиться?
А еще, в догоночку, а когда на вас первый DdOS прилетит, вы себе тоже железо купите?
Сервис игры сделан очень просто — php-master процесс, который отвечает за коммуникацию с клиентами и коммуникацию с php-worker. Эти вот php-worker могут быть легко на нескольких серверах, даже в разных ЦОД разных стран, это можно делать уже прямо сейчас. Да и по большому счёту можно допилить, чтобы мастеров было несколько.
Запас iops получился почти в 10 раз от расчётного. Если этого не хватит для старта — это жесть, прийдётся тогда как-то оптимизировать код. Благо есть куда разгуляться — реже сбрасывать на диск изменения игрового мира.
Трафик — в статье об этом не писал, но я взял сразу 2 канала, один для общего использования, а второй какраз для сервиса игры. Пришлось повозится с роутингом, но не стал об этом писать — всё легко гуглится как такое настраивать. Ну вот на время старта планирую проапгрэйдить этот канал до 10 гигабитного примерно за 20000р/месяц — на несколько месяцев, а там дальше видно будет. Если не хватит 10-гбит канала — это будет огонь. Трафик сокетов и так хорошо оптимизирован он очень маленький. Картинки и анимации — да, кушают трафика. Придётся ставить несколько CDN серверов.
500 чел онлайн — это был потолок старого сервера, далее до 1000 оно наверное будет работать, но сильно тормозить из-за использования swap. А дальше просто сервис упадёт и не захочет подыматься. А этот сервер берётся в расчёте на 50000 онлайн при 1000000 оффлайн. Такой онлайн сам по себе — очень приличный результат, как минимум рекламы даже скромной будет достаточно для окупаемости.
Раскрытие темы проекта тут-сейчас не будет, извините. Я об этом писал в статье. Я понимаю, что было бы интересно подумать «а хватит ли оперативы для такой задачи» или «iops в таких-вот случаях будет сильно большой» и т.д… Да, даже текущая версия игры очень приличная и играбельная — но игре нужно больше контента, нужно больше графики и других вещей. Я ж напоминаю — опубликовать игру в «новинках» я могу только один раз, потому очень не хочу её показывать раньше готовности. Да, платформ много можно публиковать по очереди — но взвесив все факторы, я решил не идти этим путём, а пойти путём публикации сразу в appStore (iPad, iPhone), GooglePlay (тоже телефоны и планшеты), Steam (win, mac, linux), web (native, vk, facebook, mailru, ok).
Ddos: сначала попробую самостоятельно решить. У меня был опыт отражения ddos 2 раза — насколько часов изучения трафика, потом аккуратные записи в firewall и проблема решена. Я понимаю, что могут быть и более сложные варианты — но пока такой опыт. В tech.ru есть услуга-сервис защиты от ddos. Возможно воспользуюсь ей. Если не поможет — буду думать.
Если проект провалится, то убытки на аренде минимальные.
А железо уж очень быстро устаревает, поэтому для себя был сделан выбор
в сторону soyoustart, ovh и hetzner.
Но за статью спасибо, всегда полезно знать из чего сейчас собирают сервера.
К слову, сервер уже не актуален, проект многократно окупился, но не взлетел. И до сих пор размещен там же. uptime года 3 (диск seagate в рейде менял) :) Просто стоит для карманного использования. Муки выбора 10 лет назад были намного меньше :)
Почему все так не делают?Когда у вас час простоя будет стоить 10к$+, тогда вы поймете зачем брать память с ECC, и почему HDD/SSD enterprise уровня стоят намного дороже десктопных. Конечно никто вам не даст гарантию, что ваш enterprise SSD/HDD проработает 5 лет без единой поломки, но вероятность этого намного меньше. Ну и уровень саппорта у хецнера оставляет желать лучшего. Отсюда и цены, имхо.
Кстати, когда работал пару-тройку лет назад с Хецнером, то у них были сервера с ксеонами и ЕСС, в районе 60$, типа такого — www.hetzner.com/dedicated-rootserver/matrix-px
почему HDD/SSD enterprise уровня стоят намного дороже десктопных
— что именно имеется в виду под словом
enterprise?
Серверных линеек (высокие скорость и MTTF,
большое количетво оборотов и т.д.)
или всё же бренды?
Я лично утратил веру в бренды,
несколько раз обнаружив в серверах IBM диски,
на которых под фирменными наклейками IBM
были Fujitsu и другие диски
Также готов рассмотреть варианты с инвестициями в саму игру, от 100000$ и должным образом всё оформленым и тщательным образом всё оговоренным.
Как то у Вас эта фраза не очень-то коррелирует с фразой из начала поста:
Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.
Вы «либо крестик снимите, либо трусы наденьте» (ну, или, «остера-то урежь!»). Игра, балансирующая на грани окупаемости сервиса, отнюдь не является «успешным стратапом», а, скорее, провальным хобби-проектом. При таком подходе, как я понимаю, $100K Вам надолго хватит — можно сразу будет писать еще одну статью про «успешный стартап» на хабре :)
Теперь опыта гораздо больше, данный проект побольше и ожидаемый доход больше и ожидаемые расходы больше. Чего тут удивительного?
Но, даже если и поверить Вашей верхней цифре, $2600 в месяц (т.е $2000 был чистый доход, без учёта затрат в $600), то даже в этом случае «стартапом» я бы, во-первых, такой проект не называл (максимум — успешный хобби-проект), а во-вторых, в чём выражается «успешность»? В том, что за 2 года проект скатился от приносящего худо-бедно какую-никакую прибыль до убыточного?
Учитывая изложенное выше, Ваши претензии на инвестиции «от $100K» выглядят… как бы помягче сказать… немного наивными. Впрочем, я не в курсе нынешних российских реалий — возможно, в России сейчас и есть странные идивидуумы, швыряющиеся суммами по $100K. В Штатах, к сожалению, таких людей нет; подобный капитал вкладывать в «чудесный самосборный сервер» и игру с 5 бета-тестерами, думаю, найдется немного желающих.
не доверять оценкам, расходящимся в разыЭтого не понял.
Этого не понял
Ну, $2000 ровно в два раза больше $1000 :) Думаю, что Роман Абрамович, выписывая типсы в нью-йоркском ресторанчике, может ошибиться на тысчёнку-другую, невелика потеря. Но для обыкновенного человека подобная фраза смотрится… гмм… несколько странно (даже там, где «обыкновенный человек» зарабатывает в среднем $14300/month без учёта налогов).
Поймите меня правильно, я лично против Вас ничего не имею, и, даже более, желаю Вам удачи в запуске проекта и много доходов в будущем! Вообще, разработчиков, что-то реально делающих, а не сидящих на условном «хабре» днями и ночами, не так-то и много…
Просто мой слух резанула фраза про «инвестиции от 100000»; imho, так может писать лишь человек, никогда не имевший подобных сумм в распоряжении (кроме долгов по ипотеке). Скажу сразу, что $100K — это весьма значительная сумма, если, конечно, вы ее заработали, а не украли (и не «сверхудачный сын кристалльно честного папы из КГБ/ФСБ»). Если Вы рассчитываете на какие-то инвестиции, то лучше думать не о статьях на хабре, а о реальном, хорошо просчитанном бизнес-плане, а также о работающем проекте, с постоянно растущим числом клиентов.
P.S. Пишу, как разработчик приложений, заработавший за последние 5 лет около $75K total (это, в основном, moonlighting, притом в буквальном смысле слова, так как есть еще и семья, и daily job), но никогда не рассматривавший свои fun projects как «стартап» :)
Спасибо за добрые пожелания!
P.S. Думаю, правда, что найти инвесторов на хабре у Вас не очень большой шанс…
У меня нет опыта привлечения инвестиций, написал хоть что-то для начала, никто ж не запрещал. В интернетах сайты по привлечению инвестиций это: kickstarter и ему подобные или платформы типа «поделитесь долей проекта и получи деньги».
Ну вот типа kickstarter — единицы получают существенный сбор средств. А времени потратить, чтобы оформить всё должным образом надо очень много.
Ну а отдавать 50% проекта за 5к$ — это глупость, потому что согласно бухгалтерии денежный вклад уже почти 11к$ в данный проект, и до старта скорей всего надо будет ещё ~7к$ потратить (почему я при этом написал про 100к$ — отдельная тема), а ещё около 3000-4000 часов потраченного времени.
Кто-то за просто так пожертвует 5к$? Не верю.
Почему я должен радоваться инвестициям 5к$? На каких условиях? Или чего я не понимаю?
Ну а отдавать 50% проекта за 5к$ — это глупость
А кто сказал про «отдавать 50%»?! Отдавать ведь можно гораздо меньшие доли (по сути, любые). Я бы сказал, что если есть нужда в инвестициях, важно привлечь, для начала, хоть какие-то инвестиции вообще (перефразируя другими словами, сделать так, чтобы в Вас и проект поверил хоть один человек).
Про «пожертвования» забудьте от слова «совсем». Мой очень длительный опыт говорит о том, что donateware тупо не работает. Предоставьте людям возможность не платить — и они с удовольствием этим воспользуются :) А заставьте платить мелкими порциями, но регулярно (in-app purchases), и «хомячки» с радостными криками нахлынут…
Если Вам не хватает средств на раскрутку проекта, то и $5K инвестиция (судя по цифрам Вашей бухгалтерии) будет весьма полезна (хе-хе, ведь это, как-никак, 45.5% от всех вложенных в проект денег, не считая Вашего времени). Как правильно посчитать долю, которую Вы можете предложить инвестору: посчитайте и оцените (разумно) свои временные затраты на проект, добавьте чуток «бочек печенья и банок варенья» для себя (но главное, не зарываться).
Также имеется https. Тоже добавляет очков в сторону выбора их компании.странный критерий отбора, я бы не назвал SSL от Let's Encrypt показателем надежности компании, хотя безусловно наличие такого сертификата лучше чем вообще никакого
Да, я не буду умалчивать о том, что проблемы с Intel возникли после трех лет эксплуатации, но если серверы работают да работают, то почему бы не перевести на них менее критичные задачи? Перевёл. Ну а когда начались спонтанные проблемы — пришлось убирать с них всё.
Бренды удобнее в эксплуатации и есть интересные фичи — тут спору нет, но при нормальной набивке выходит в два раза (это со скидками) дороже Intel/SMC от местных вендоров.
После того как Интел перестал пользоваться готовыми ODM решениями, а развил свое подразделение EPSD — все стало просто отлично. Это линейка E5 серверов. Ничего " в тыкву " не превращается. Да и гарантию можно официально купить на 5 лет.
Глянув хоть раз как себя ведет сервер под нагрузкой бывает легко сказать, что он не тянет, или наоборот слишком с большим запасом.
У всего (облако, аренда, колокейшен) можно найти недостатки, их много и они очень существенны. Нет (и не предвидится) «серебряной пули».
Я хотел бы обратить внимание на другое. Автор очень детально и внимательно рассматривает выбор сервера и хостера/ДЦ. Чувствуется, что ему это нравится, даже если это и не является его профилем — но что-то он однозначно понимает, не полный чукча. Что до комментариев «матёрых энтерпрайзников» — так они и между собой не могут договориться. Это не означает не то, что автор сделал все идеально и лучше было нельзя, а всего лишь то, что выбранный вариант имеет право на жизнь.
Меня же зацепил другой момент — там, где автор упоминает на сколько именно онлайна он рассчитывал сервер. То есть сейчас игра не готова и 5 человек онлайн, а должно быть 50к(!). Да, есть ремарка, что «не очень придирайтесь к цифрам», но на мой взгляд это и есть самое важное. В таких проектах важно постараться оценить риски не в тех областях, где есть компетенции (как то подбор комплектующих на сервер), а в тех, где их нет. Как именно будет происходить раскрутка игры? Сколько денег на это уйдет? За какой срок необходимо достичь показателя? Как удержать игроков, когда первичный бум проходит (график дохода, вероятно, не будет расти всё время)?
А по сравнению с этим выберете вы такой ссд или сякой — вообще не важно.
Бэкапы, да, очень важны. Если вам заплатили денег, а вы потеряли всё — путь даже это просто цифирки развития «персов» и картинки их оружия — всё равно обидятся, как за настоящее. А вот падения сервера и переезд на более новое и мощное — переживут (ну поворчат, конечно), можете поверить мне или спросить у тех, кто запускал игры у себя :)
Какраз на тему подбора комплектующих у меня не было компетенции. Если я приведу примеры глупых вопросов заданных тому же Тиском в самом начале переписки — меня тут выпорят публично.
А вот компетенция и опыт создания сайта с аудиторией в несколько миллионов пользователей — есть. Компетенция создания сервиса держащего нагрузку 50к соединений онлайн — есть.
Ещё могу добавить, что как именно будет происходить раскрутка игры — понимаю, уже есть опыт. Ну собственно что тут раскручивать — заранее подготовить много текстов, картинок и видео, оформить должным образом в соответствующих местах, вот и вся подготовка. Но так-то да, мне это обойдётся наверное в 500$ заказов художнику и часов 50 подготовки и настройки во всех платформах. На рекламу обычную не вижу смысла тратится. Или я не прав?
У моём случае к сожалению важно какой будет ssd диск. Пришлось разбираться.
За какой срок необходимо достичь показателя — компетенции нет, буду смотреть по ситуации. Ну то есть запуск игры как можно раньше по готовности. После старта — как показывает практика, не смотря на все тщательные тесты — всё равно будут пропущенные баги (порой сам себе удивляюсь «права купил, программировать не купил»), вот их править после старта и общаться с игроками насколько это будет возможно. Думаю будет ясно успешно или нет стартануло в течении 1-2 месяца после старта. Разумный подход?
Как удержать игроков на топ-контенте уже опыт есть.
На тему бэкапов — я ж тут где-то писал, что я из тех кто «уже делает бэкапы» :).
Как ни добивайтесь вы унификации, всё равно придётся приобрести опыт деплоя на сервера со слегка разными параметрами и версиями ПО. И хорошо, если вы до онлайна в 50к будете иметь представление, чем вам это грозит.
Тот же тестовый сервер и есть ваше портфолио, а боевой можно и убить, если проект провалился.
М — маркетинг. 7 раз человеку нужно показать рекламу, чтобы он таки заметил и кликнул на баннере.
А — автоматизация. Чтобы сайт приносил деньги, за ним должен стоять работающий бизнес. Сайт просто решает задачу автоматизации бизнес-процессов, которые приносят деньги, чтобы получать ещё больше денег. Это делается не из жадности, а потому что других вариантов нет. Конкуренция заставляет повышать качество услуг. Сайт повышает качество услуг.
В — вовлечение. Чтобы человек увлёкся игрой настолько, чтобы начать за это деньги платить, его нужно в игру вовлечь. Когда Вы сами последний раз платили за игру, которую увидели в рубрике Новые игры? Топ бесплатных работает гораздо лучше с точки зрения вовлечения.
М — мода. Сколько лет назад Вы сами играли в стратегию? Они были очень модным жанром во времена перед появлением первого Пентиума, на котором вышел первый Quake. Слабые компы диктовали моду на игры с условной графикой. Отсутствие Мультиплеера симулировалось управлением юнитами. Так родился жанр стратегии, который умер с появлением 3D и мультиплеера.
люблю возиться с техникой, имею для этого фин.возможности
Мне одному кажется что тут явное несоответствование планируемой нагрузки и железа?
Произведём подсчёт. 24 потока х 2.5е9 = 60е9 / 5е4 = 1.2е6 Гц. Разработчик предлагает устроить мультиплеер на симуляторах Радио86РК или БК-0010. За деньги.
Интересно, как конвертируется пара-тройка десятков тысяч просмотров этой статьи в желание проверить, что у автора получилось, когда игра будет анонсирована здесь же, на Хабре?
Кстати я так и не понял зачем наносилась паста, если что на поверхности радиатора она уже нанесена аккуратно, ее вполне хватает для того, чтобы обеспечить охлаждение, интел не зря ведь ее заморочился так красиво нанести, это тот случай когда маслом можно испортит кашу.
И еще вопрос неужели вам никто не предложил приобрести новую платформу Intel® Xeon® Scalable Processors.
неужели вам никто не предложил приобрести новую платформу Intel® Xeon® Scalable ProcessorsК этому процессору идёт только одна платформа, у которой БП 1100W, а это увеличивает стоимость хостинга в два раза!
Ну ладно, предположим, я бы вовремя узнал о другом БП. Выбор получился бы «новое поколение процессора + чуть быстрее память» за 1000$ сверху. Я бы всё-равно отказался. Была бы лишняя 1000$ я бы её потратил на +128Gb оперативы. И если бы ещё была одна лишняя 1000$ — тогда уже бы выбрал новую платформу.
И ТОГДА новых Ксеонов еще не было.
Для таких же как я, кто просто хочет посмотреть игру — vk.com/kosk_online
Покупка современного сервера Intel c NVMe P4800X