Comments 178
Вы почему-то пропустили расчет расходов на настройку и дальнейшую поддержку этого зоопарка
А почему не учтена зарплата 1 мес DevOps на перенос и запуск?
Так же весь смысл статьи поменяется с точностью до наоборот)
Потому что там указано именно формулировка про железо. А перенос и запуск написано - 1 месяц, это наш опыт
Ну так месяц работы девопс подороже железа будет.
дороже, но это месяц, а не годы пользования потом платным обалаком + цены за почту и т.д
При текущих ценах, ваши 165к на железо это 2 года подписки, плюс зряплата девопса с налогами и всем остальным - капекс вложений лет на 5 вперёд. А потом будет опекс, когда сервер придется обслуживать и обновлять софт, реагировать на инциденты (секьюрити, технические, проектные, людские, т.п.).
Вариации на тему он-прем сейчас это развлечение для богатых. Есть разные причины, почему с ним связываются. Но экономия денег здесь на последнем месте.
Сервер без рейда? С бекап диском такого же размера как целевой? И стоит он в офисе? Девопс еще и вместо сисадмина работает?
Спасибо за вопросы
1 - сервер без рейда
2 - бекапы делаем машин + бд = заливаются на отдельные диски, не связанные с сервером
3 - Да, у нас человеку это было интересно
Вы проводили оценку рисков, всяких там SLO/SLA, а так же, в случае внезапного отказа - сколько данных вы потеряете, разворачиваясь с бекапа?
Сами бекапы проверяются? А то бывает всякое)
Если честно, всегда казалось, что в облака как раз идут не только для снятия головняка по сопровождению, но и на экономии ресурса (в т.ч. финансового).
Если при обратном перекате получается проще и\или дешевле, то где-то что-то вы не так оценили и посчитали, либо вам совсем не критично, например, если ваш сервер день-два полежит в течении года)
Но вообще как будто по профилю компании - вам положено быть передовиками в этом вопросе)
Качественные вопросы, замечания, спасибо.
Как уже тут писал и это видно по статье, мы решали чисто наши офисные, проектные комуникации. Данных не слишком много, развернуть все это из бекапа - пару часов, не дольше. Все в докерах, поднимается из пайпов - подкинуть только вольуемы.
Конечно, если офис сгорит, затопит и т.д - то понесем убытки.
На самом деле при наличии ресурсов на администрирование, свои сервера могут быть сильно выгоднее облака, а разница может вполне покрывать зарплату персонала, который этим занимается.
Облака на самом-то деле очень дорогие в плане вычислительной мощности. В разы дороже обычного сервера. И даже с учётом резервирования в разы дороже. Зато облаках нет головняка с масштабированием и меньше работы по администрированию. Но чем больше инфраструктура, тем больше работы по её администрированию и дороже обходятся ошибки и простои - в какой-то момент облака начинают выигрывать и надёжности и по стоимости.
Короче, есть мнение, что есть некоторая достаточно широкая золотая середина, когда уже есть серьёзные требования по загрузке серверов и хранению данных, но ещё сложность ещё не запредельная и ещё нет требований по серьёзному масштабирования. И вот тогда несколько серверов + администратор с падаваном обойдутся сильно дешевле, что может быть чувствительно для малого бизнеса и всяких стартапов.
аминь
мое имхо, что проблема именно в качественной оценке, например зарплату админам и девопсам нужно платить и в случае с облаком.
Вы посчитайте все в комплексе, сколько стоит сферическая в вакууме железка на балансе организации с момента постановки задачи "подобрать железку" до момента ее списания в утиль и вызова специальной организации, которая ее утилизирует - очень много нового для себя откроете (человекочасы и проч)
Если железка стоит в ДЦ - докиньте еще стоимость аренды места... Если в офисе, то посчитайте во сколько вам встает кондиционирование, если под тачку заведен выделенный канал. В общем прочих, косвенных затрат может быть еще больше)
Мое мнение, что золотая середина находится где-то по линии требований. Вот кому не критично, тот может себе позволить на авито заказать 15 летние серваки, набить ими стойку и поставить под мобильный кондей на колесиках и балдеть)
а кому-то подавай кластеры с GPU или еще какие-нибудь приколы) И аренда всегда будет выгоднее, и тут на сцену уже выходят всякие условия безопасности и т.п.
Все-таки свое железо в своем контуре, даже если не удается обеспечить настолько высокую отказоустойчивость - оно остается своим. А все, что попало в облако, в любой момент может сказать "ваш SSO теперь подключен к Max, авторизуйтесь чтобы войти в корп. домен" xD
все так
Ну, в случае стартапов и прочего подбирать железку не нужно - проще арендовать. Если для случая, когда есть какая-то непрерывная заметная нагрузка на инфраструктуру посчитать, сколько стоит аренда трёх-четырёх достаточно простеньких серверов (резервирование+балансировка нагрузки) и сколько стоит облако, которое эквивалентную нагрузку тянет, то сервера в разы дешевле выйдут. Но где-то после пяти...десяти серверов уже нужно думать о переходе на облако, так как поддержание всей этой инфраструктуры станет сложным и дорогим. Для случая небольшого проекта или стартапа.
Хотя я знаю несколько случаев, когда исторически сложилось так, что у компаний несколько десятков железных серверов в аренде или даже своих и всё очень хорошо, а переход на облако увеличил бы издержки в несколько раз, а это уже прямо серьёзные суммы. Но это нужно чтобы админы хорошие были и правильно всю систему контроля и администрирования выстроили, а обычно бизнесу проще просто больше платить, чем сложные процессы внутри себя выстраивать.
Подбирать и ставить своё железно, да ещё и в свой контуре, нужно только в случае если какие-то совсем жёсткие требования по коммерческим секретам и/или безопасности.
Даже просто такой пример - даже несчастный GitHub/Lab для небольшой/средней команды может заметных денег стоить, что может быть очень заметно для стартапа. Особенно с их тарифами на CI/CD и место для хранения. В том же время его можно вполне несложно заменить на self-hosted решения. Но тогда зарплата админа появляется. Но если в проекте уже есть админ у его загрузка позволяет, то уже имеет смысл.
Вообще сейчас вся эта инфраструктура весьма дорогой стала.
А все, что попало в облако, в любой момент может сказать
Или "сервер с вашими виртуалками был изъят в ходе оперативных действий, вернут примерно никогда. извините нас, вот вам +7 дней накинули".
Вы проводили оценку рисков, всяких там SLO/SLA
Я проводил. Пообщался и с поддержкой мейлру и с янждекса.
Сказали мне ходить далеко, они ни за что не отвечают.
Такое вот СЛОСЛА....
Топику не хватает только разнесенного по расположению бекапа.
Бекап можно и у облаков арендовать, кстати. Есть прямо совсем недорогие решения. Особенно если это вторая или третья линия бэкапа. Как раз такое и нужно бы разносить.
И не только ВК\Тындекс, но и другие вполне себе не маленькие компании. Года три назад с МыГаФаном общался на предмет аренды облачной инфраструктуры. Технически меня всё устроило. Но на стадии заключения договора.... в договоре было написано что они могут отказать в предоставлении услуг в любой (!!!) момент и предупредят об этом за 10 (!!!) дней. Как ты за 10 дней скопируешь все данные (хотя бы скопируешь, про перенос на новую площадку даже речи не идет) - это их не волнует и в договоре о способах получения данных ни слова (исходя из интернет-канала в 100мбит\с скачиваться будет около месяца. Т.е. ушел я в отпуск на 2 недели, а вернулся - все удалено). Я им сказал что они продают не "надежные облачные решения" , а, скорее, место на блошином рынке: типа все схвачено, но если что - они тебе ничего не должны и у тебя 10 минут чтобы взять что сможешь унести и свалить))) Но эти технические особенности как-то можно было бы вдолбить им, но у них есть пункт в договоре по которому они могут КОГДА УГОДНО менять КАКИЕ УГОДНО условия договора, но НЕ ОБЯЗАНЫ тебе СООБЩИТЬ об этом - ты ДОЛЖЕН САМ зайти на ИХ САЙТ и сравнить НОВЫЙ ДОГОВОР со СТАРЫМ (если ты его ранее сохранил). И если ты им не сообщил что оказываешься от услуг на НОВЫХ условиях то автоматически СОГЛАСИЛСЯ. Я не знаю, кто может в здравом уме согласиться на такие условия... Причем мне регулярно звонят их менеджеры с вопросом почему мы не хотим пользоваться их новыми супер замечательными сервисами инфраструктурой, а я им задаю один и тот же вопрос: а у вас уже научились составлять договора с нормальными условиями?
Север без рейда, кстати, это очень сильно плохо. Хотя бы несчастный RAID1, но нужен.
RAID прямо очень спасает, особенно, если у вас SSD не Intel/Samsung. Если посчитать, то практически в любом бизнесе (даже самом микро), RAID дешевле выходит, чем расходы, которые случатся из-за его отсутствия.
И в любом случае, на таких колхозных конфигурациях нужно использовать только FS с контролем целостности (с контрольными суммами данных), так как хорошо если диск просто откажет, но он же может и неделю (и месяц!) сбоить и недостоверные данные писать/читать! Дешевле процессор чуть мощнее поставить и спать спокойно.
добавлю, что для SSD это особенно критично, т.к. эти ребята любят отъехать внезапно, без возможности что-либо с них восстановить) HDD хотя бы в лабу отнести можно и там их прочтут по большей части)
да, бекапы мы на хдд делаем
Здесь немного про другое речь
Для себя я определил следующий подход
1. SSD на котором лежит гипервизор - обязательно RAID
2. Данные ежедневно используемые, примонтированные как хранилки - RAID
3. Бекапы - обязательно конфиги гипервизора, корректно настроенная глубина, и конечно RAID. Обычно храню последние 2-3 актуальные копии и еще одна, четверная с защитой от удаления, где полностью чистая рабочая ВМ была на момент старта.
Дорого? Ну да, но никто не мешает при наличии RAID чуть сэкономить на SSD, которые держат гипервизор, настроить мониторинг и спать спокойно
Ну это касается мелких каких-то инфраструктур, на крупные другие решения
Просто обычно люди считают расходы/потери на восстановление после отказа для каких-то идеальных условий, которые случаются примерно никогда. Типа, мы за пол дня диск заменим и систему заново накатим из бекапа. Ага.
А на практике диск начинает глючить в самый неподходящий момент: 100500 денег на кону, сутки не получается разобраться с причиной, главный админ в отпуске без связи, его зам женится и в любом случае пьян и невменяем, текущий бекап кривой из-за отказа диска, а вокруг новогодние праздники 10 дней совершенно у всех кроме вашей конторы, плюс ещё и невиданный шторм, снегопад и наводнение.
В результате минимум три дня простоя и куча паники.
А с RAID вам только диск новый нужен и пол дня на восстановление. Ну и сами диски можно не самые топовые использовать тогда. По цене два три хороших диска, но попроще, стоят, как один хороший. Если есть опыт эксплуатации, то можно даже недорогих брендовых китайцев использовать, и всё равно надёжность получится выше, чем у одного топового Intel/Samsung.
А если прямо совсем жопа и вся контора на кону, то можно облившись святой водой и обставившись образами до конца рабочего дня доработать и восстановление ночью произвести.
Когда такие истории в лицах и красках рассказываешь, то обычно говорят, что: "ну его на фиг, вот тебе чуть-чуть денег, купи второй диск, оно того не стоит".
Когда такие истории в лицах и красках рассказываешь, то обычно говорят, что: "ну его на фиг, вот тебе чуть-чуть денег, купи второй диск, оно того не стоит"
А умирает контроллер рейда. Утянув за собой все данные, естественно.
Не оспаривая ваше мнение, хотел бы заметить, что с ребилдом рейда тоже могут быть интересные нюансы.
погоди, я думал там у вас ZFS, пожалуйста, скажите что у вас ZFS
А почему не рассмотрели создание рейд-группы при настройке сервера? На самом деле эта мелочь может сильно выстрелить в ногу в будущем. Выход из строя дисков вообще не редкое явление.
Бэкапы - это про восстановление данных, а вам тут не хватает в целом отказоустойчивости.. это ровно то, что вы не видите когда арендуете ресурсы в облаке и не задумываетесь о том что там с железом происходит.
Вы заплатили 160к за железо и минимум 300к за работу. Итого 460к или 5 лет облака.
И получили заметно худшую надежность и непонятные затраты на поддержку и обновления своего решения.
Переезд явно невыгоден оказался.
Спасибо, благодаря вашему комменту, поправил статью. Добавил CPU - 16 потоков - 32.
Теперь давайте считать облака с учетом vCPU - 100%
Берем среднюю - 43к, итого получаем за 5 лет облаков = 2 600 кк .
Спасибо, не надо) для наших задач внутренних вполне хватит текущих ресурсов
Вам задачу надо решить или железа побольше взять?
Смотрите, давайте все таки разделим понятия.
Для офисных задач, как у нас, считаю что мы выбрали лучшее решение, чем использовать облака.
Если вы имеете ввиду именно про saas сервисы и продукты, там конечно надо юзать облачные решения.
Вы сразу заплатили за 5 лет вперед. Чтобы сделать более плохое решение.
Дальше затраты на железо будут нулевыми, а вот затраты на людей будут все время расти. На горизонте 5 лет железо вообще можно не учитывать.
Выглядит вообще так себе решением. Облако и дешевле и лучше на горизонте годы. А что там будет через 5 лет никто не знает.
у вас странные расчеты, 1000 гб(хотя можно просто брать и делать архив тем более на 30 пользователей то), количество ядер больше чем нужно на решение тех задач, что описали.
я так понимаю, что вы за 160к себе обычный десктоп собрали? потому что за 150к серверная нормальная память DDR5 вам наверное 1 плашка только встанет)
все так, просто мощный комп по сути)
тогда расчет получился немного некорректный, было бы правильнее сравнить с каким-нибудь хостером, кто Ryzen 9/7 в аренду сдает, ток не знаю, есть ли среди отечественных крупняков такие (кто B2B работает) но когда я последний раз смотрел, такое десктопное железо было раза в 4 дешевле в аренду, чем серверное)
Поэтому тут сравнение получилось из серии: больше не платим за камаз, который завозит нам щебень и песок. Купили себе гранту, возим на ней сами)))
Но если не нужен реальный сервер, а нужны чисто потребительские характеристики уровня кастомерПК - то да, обычный десктоп будет дешевле)
Я себе вообще на базе intel Nuc запилил, 12 ядер, 64Гб - отличная производительность)
Я не хочу вас расстраивать, но вы выкинули эти деньги на ветер. Поймете это вы года через три, когда оно посыплется все и разом. Ибп я так полагаю, того же уровня?
Если бы у нас там высокая наргузка крутилась, саас сервисы - я бы с вами согласился. Мне кажется все будет хорошо ближайшие лет 5, если что то случится, обязаельно по честному сюда отпишу, как оно стало.
но у меня есть ПК еще с 2010 года и он работает, все хорошо)
Да отпишитесь просто через год-два-три как оно. В комментариях как будто бы многовато паникерства. Оно может быть вполне обоснованное, но я например на практике видел, как подобный on prem набор годами работает, да, не без затрат на сопровождение, но и без особых проблем. Если так спокойней и не нужно завязываться на провайдера, то почему нет, зачем начинать высчитывать какие-то условные "копейки" и зарплату DevOps, как будто бы он занимается только развертыванием всего этого и ничего другого полезного больше не делает в компании.
Нагрузка тут не при чем. Бытовое железо, которое вы поставили, сейчас живет примерно три года. У вас помрут оба диска, мать, блок питания. Если повезет, то 4 года. ИБП если вы поставили такого же уровня, это чисто косметика, он и через год нагрузку держать не станет. В общем это кроилово ведущее к попадалову. Сервера - это не "такие же десктоп, просто дороже".
Откуда у вас такая уверенность?
Я тут даже не буду приводить никаких личных примеров, а просто упомяну Hetzner, у которого бОльшая часть железа бытового уровня. И прекрасно оно у них работает годами и даже десятилетиями.
Что скажете на это?
Ну вы ж просто лжёте на ровном месте, зачем?) При нормальном ИБП и отсутствии скачков напряжения тот же проц у вас будет пахать минимум 7-10 лет, отвалов оперативки за исключением опять же проблем с электричеством я уже много лет не помню. Материнка? Ну если купили заведомую гниль - может и через месяц гавкнуть, но в обычной ситуации кондёры раньше чем через 5-6 лет дохнуть не начинают, а больше там (опять же при нормальной ситуации с электропитанием) в указанные вами сроки помирать нечему. Так что от силы можно будет ссд заменить и всё. Какую хрень вместо ИБП вы закупаете, что у вас он через год перестает держать нагрузку - не знаю, но уверяю, для обычного бытового компа, что собрал ТС, за 25 тысяч можно купить весьма надежный ИБП. Надежность и безотказность (которая, как выясняется, не всегда надежна и безотказна) серверов нужна не всегда и не везде.
Единственная причина писать ту дичь, что вы написали, как по мне имеет смысл только если вы являетесь продавцом серверного оборудования =)))
Сейчас настолько ненадежное железо?
У меня в офисе куча списанных системных блоков, на которых люди работали от 5 до 10 лет, на разных. Года 2 назад собрал себе из них тестовую лабу, до сих пор работает круглосуточно, ничего не сыплется.
Часть HDD пришлось отбраковать, но примерно половина - в хорошем состоянии.
Сейчас железо намного хуже?
Мне кажется очень большая избыточность и по CPU и по RAM. Достаточно 2 ядра / 8 гиг ( а может и меньше). Там же никто не собирается браузер запускать или desktop
Да, поздно вы пришли к совему но лучше поздно чем никогда. Я свой почтовик завел еще во времена когда яндекс захотел деньги за ПДД, и впарил веб интерфейс почты таким слоем говна рекламы, что проще было поднять свой, о чем ни капли не сожалею, 4й год полет нормальный
Спасибо большое, мы с вами в одной лодке значит. Да поздно пришли, надеялись на бесплатный сыр в мышеловке.
На чем подняли решение свое?
Mail-in-a-Box - https://mailinabox.email/
я было тоже корову хотел поднять, но промучился и плюнул, этот ставится одной командой в консоли сервака, ресурсов жрет мало, работает стабильно, что еще надо для счастья :)
Ага, тоже его смотрели) если нужны технические детали по настройке коровы, можем отдельную статью бахнуть с примерами и командами
Э, они вроде только это сделали, вот буквально вчера отрубили пдд мне ))) Как раз думаю, чо делать с этим. Поискать вменяемого хостера почты или свое поднимать, а платить яндексу дохренищу денег за два почтовых ящика как то не очень хочется.
Нет бро, уже несколько лет как...
самый дешевый наверное это регру, если просто почта
либо поднимать как мы свое на какой нибудь менее затратной тачке.
В России нет сервисов именно почты, почта лишь прикрытие. Яндекс/ВК (c недавнего времени еще и TimeWeb) держат сервисы сбора данных и профилей пользователей под ширмой почтовиков. Все они будут топить за вашу безопасность и 2FA, но без привязки мобильного номера они тебе 2FA не включат. Они и профиль твой хотят, и денег от тебя хотят (к слову TineWeb просит денег значительно меньше остальных двух). Ранее конкуренты в виде Гугла и МикроСофта сдерживали аппетиты Яндекса/ВК, а теперь руки развязаны. Я хотел перенести почту компании в облако ВК, из требований была только возможность 2FA через TOTP (не у всех сотрудников есть раьочий моб. телефон) - в ИХ облаке фиг вам даже за деньги: купи их лицензию OnPremis, поставь на СВОЙ сервер - тогда можно 2FA сТОТР. Ну так у нас и так свой почтовый сервер с 2FA ТОТР, только без лицензионгых расходов.
Мы свой почтовик завели в 2015. Через десять лет создали новый и перенесли на него почту со старого (так было быстрее и удобней чем обновлять через две версии). И продолжаеи радоваться.
сервер (CPU 16/32 64 ГБ DDR5, 2 ТБ SSD, 2 ТБ HDD под бэкапы) — ~140 000 ₽;
Это где такие цены?
На Яндексе аналогично. Для чисто семейного использования на своем домене нужно платить. И немало. За почту, диск (не нужен), конференции (не нужны) и т.д. Пришлось уйти на почту хостинга. Там свои сложности, но хотя бы за уже заплаченные деньги. Жадность не знает пределов...
Моё мнение, если вы средняя или крупная компания, то переезд оправдан.
Если вас от 10-30 человек, то лучше выбрать сервис и пользоваться, тем самым делегировав работу по обслуживанию инфраструктуры.
Свой сервер - аренда места в стойке (опционально, если нет своего офиса), бесперебойник, электричество, наличие резервного канала если интернет в офисе отлетает.
Почтовый сервер - спам фильтрация, настройка DKIM, DMARK, SPF, защита от брутфорса, обновление почтового сервера, мониторинг на неподание в черный список.
Можно продолжить далее по списку, но остановлюсь.
P.S.0.: Не говорю что вы сделали неправильно, просто делюсь тем, через что сам прошел и знаю обе стороны. Если у вас есть человек или отдел, который готов заниматься поддержанием инфраструктуры - то прекрасно. Если нет, то поддержание будет отнимать часть ресурсов у вашей команды. Иногда просто хочется чтобы работало =)
P.S.1.: Полностью согласен с тем, что наличие рекламы в почтовых сервисах это просто трешак! В Яндекс зайти нельзя уже - начинает плашки кидать "Купи-купи-купи". Полагаю в Mail.ru такая же история.
Да, спасибо за мнение. С вами согласен, но у нас есть офис, есть в нем место и все страшные вещи которые вы написали про почтовый сервер - мы настроили =)
Но если нет спецов, то это утопия - 100% надо платить за услуги
В mail.ru (в мобильном приложении) список писем начинается ниже середины экрана. В первой половине экрана - заголовок приложения, рекламный баннер, какие-то карточки “Информация о приложении” с дурацким спамом по типу “Обновите приложение в RuStore”, “Скопируйте файлы из Telegram”, кнопка “Автозагрузка фото и видео”, папка “Рассылки” с ещё бОльшим количеством ненужного спама, а уже потом на моём экране умещается аж целых ПОЛТОРА письма. Ну а если пролистать вниз, то пара рекламных баннеров через 3-4 письма.
А, ну и верх идиотизма хорошего дизайна - как только запускаешь это ужасное приложение, то в нижней половине экрана откроется попап с рекламой. Хорошо хоть они не на весь экран эту дрянь пихают.
На Huawei (EMUI 14.2) ещё столкнулся с багом - когда переходишь из папки “Входящие” в любую другую (например в Спам), то перестаёт работать прокрутка (версия 15.98.0.143859). Я, конечно, понимаю, что и в приложении яндекс почты тоже рекламы воз и маленькая тележка, но оно хотя бы работает в разы адекватнее. А ещё в веб-версии почты есть лёгкий режим, который использую на компе, ибо грузится в разы быстрее и выглядит куда проще и адекватнее. Хотя если сравнивать Яндекс и Mail.Ru, то тут ничего, кроме аксиомы Эскобара вспомнить не получается.
Удивляет, как местные комментаторы упрекают автора, что они, дескать, не выбрали облако, а сделали все на своем сервере. На фоне событий последних лет, когда российские компании отключают от всего, что только можно, вы все еще хотите доверять свои жизненно-важные бизнес процессы посторонним дядям в интернете?
Да что процессы, как там ваша музыка на Спотифай и сериалы на Нетфликс поживают?
О как же приятно, что я дождался понимающих людей) спасибо за комментарий
Ну если облако отечественное, то с ними в случае чего и посудиться можно будет. А вот если иностранное, то тогда ой.
комментаторы упрекают автора, что они, дескать, не выбрали облако
Пример такого коммента, пожалуйста)
Я не нашел
Посыл статьи, что облако это дорого, а мы сделали хенд-мейд решение. Молодцы, что сделали. Только деньги тут не при чем - потратили больше в разы и окупится это никогда. Но у него есть другие плюсы.
а что еще важно в бизнесе выбирая между селфхостед и облаком?
Юридические моменты, работа в периметрах без доступа к Интернет, аргументированная паранойя в отношении know-how и данных, нестандартное оборудование и тому подобная экзотика.
понял)
надежность конечно, забыл =)
датацентры внезапно подымают тарифы, горят, меняют владельцев, получают маски-шоу с изъятием из-за соседей по хостингу, а уж сети связи сейчас так почти безгрешны работают
ах да, еще забыл - могут удалить ваши данные при неоплате или вы просто лицом паспортом не вышли
Спасибо, хорошее замечание. Тут чтобы вывести паранойю в русло аргументов, стоит порисовать модель угроз и оценить риски - в единицах, которые понятно как перевести в деньги.
Тогда становится видна экономика: от чего есть смысл защищаться, а что придется просто принять. Например, когда угроза маловероятна, или для снижения риска до разумного предела у вас элементарно не хватит денег.
Например, чтобы не оставаться без сервиса в случае маск-шоу, можно применить резервирование в трех разных локациях. Но в деньгах это кратное увеличение как капитальных вложений, так и расходов на обслуживание.
а что придется просто принять
в случае аренды, практически всё
Маски-шоу в mail.ru я бы оценил как риск с ничтожной вероятностью и не парился.
Я про недавний случай в Нидерландах.
Но именно этот риск выше при домашнем хранении сервера.
Если смотреть последние новости лет за двадцать, то создаётся впечатление, что Нидерланды это какой-то honey pot в Европе, который притягивает всякое странное, потом они резко устраивают кипишь, а потом все повторяется. Под это заточено буквально все: и привлекательные цены, и условия, и жесткие законы с широкими правами у местных силовиков. Полагаю, что ребята, которые ставят там stateless сервера с ram дисками (при нынешних-то ценах на память), хорошо понимают, с чем имеют дело и когда это все ещё бизнес.
а чего сервер всего один? малейшая поломка и вы останетесь без базы знаний, таск трекера, корпоративной почты и кучи всего..
Малый бизнес в РФ он такой, суровый) как только так сразу, в планах есть
спасибо за замечание
просто резервирование железа (не считая зарплаты "админа" :D но он у вас и другим тоже занят, так что там вклад сложно просчитать) на самом деле самый жирный вклад в стоимость селфхостед решения выльется, по-моему. И последствия от падения единственного хоста более серьезные чем от чего-то другого: пока дождетесь замены комплектующих, пока восстановите хост и сервисы, и только потом бэкапы восстанавливать и запускаться..
Ну, не так всё плохо. Если всё правильно настроено, то переразвернуть систему на новом железе можно за несколько часов, что может быть приемлемо. Плюс в качестве временного решения при отказе своего сервера можно и просто срочно арендовать один или несколько серверов у хостеров, а в это время спокойно чинить/менять "свой".
Но по-хорошему обязательно нужен или холодный резерв, или пара серверов с загрузкой по 40%, чтобы в случае чего быстро перекинуть всю нагрузку на второй. Плюс географически разнесённый изолированный бекап второго или третьего уровня.
Но какой-то план на случай фатального отказа сервера должен быть, и нужно это план периодически проверять на практике, так как иначе это всё совершенно точно и гарантированно однажды кончится очень плохо.
переразвернуть систему на новом железе можно за несколько часов
ну вот меня как раз тригернуло предполагаемое отсутствие этого запасного железа.
если бы я занимался - я бы, наверное, на очень малосильных облачных серверах имел резерв, поднимаемый кодом: пусть тормозит на время ожидания замены железки, но зато данные доступны. Вопрос только в репутации IP адреса мейл сервера, его придется держать прогретым (не знаю, может релей в облаке держать) и доставке данных бэкапов в облако (сейчас, судя по всему, все "в офисе" - быстро, а в облако надо качать.ну или хранить там бэкапы по правилу 3-2-1)
пока дождетесь замены комплектующих
ближайший магазин, типа DNS
Потом бесплатный тариф закончился. Первый год обошелся примерно в 60 тысяч рублей. За следующий для 32 пользователей попросили уже 79 552 ₽.
Горячо поддерживаю ТС с его начинанием, но что-то мне смешно и больно смотреть на эти цифры и на свои 14$/мес за пользователя в гугле...
С self‑host почтой проблем с отправкой писем нет? А то я встречал сообщения, что «крупные» почтовики отправляют такие письма в спам.
нет, надо настроить корректные DKIM и т.д штуки почтовые, тут уже человек писал про эти страшныее вещи, и все будет в порядке.
ну конечно не слать спам) мы таким и не занимаемся, поэтому у нас корректно работает все
Настраивал недавно для друга свой сервер для расылки почты с сайта клиентам (без спама, только легальные уведомления). После настройки всей современной мишуры по безе, хитрейт 100%, что меня самого удивило.
Не крупные почтовики, а только Яндекс и Outlook.
Интересен выбор KeyCloak, в качестве центрального входного. Ожидал увидеть домен контроллер, вроде FreeIPA (надо над этим подумать). Так же есть несбыточная мечта отказаться от Jira/Confluence (сидеть на взломанной версии такое себе, по безопасности. А официальная мало того что недоступна, так ещё и стоит чрезмерно. Ну и на мой взгляд главное - абсолютно неудобная система, этот австралийский кактус. Он настолько плох. Что выбрать его добровольно может только очень богатая и безумно неэффективная организация, которой и так сойдёт. ИМХО, это просто эталон плохого софта)
Так же интересует какой у вас VPN на входе, для доступа во внутрь всей этой инфраструктуры удалённо?
А так респект. Одобряю. Максимально стандартное, ожидаемое и понятное решение.
Спасибо за за инфу
Выбрали КейКлок потому что показался самым понятным и с возможностью подключать туда свои наработки через АПИ интеграции. Про FreeIPA - я лично даже не слышал, завтра узнаю у своих ребят плюсы минусы)
По поводу Атласиана, а какой вариант в ИТ проектах? что используете? я не знаю лучше решений, разве кроме Гитлаба - некоторые проекты мы там ведем.
Бесплатный GitLab на self-hosted это так себе удовольствие. Forgejo?
да, бесплатный, селфхостед. Проблем нет, стабильно раз в месяц обновляем, все гуд.
Forgejo - не слышал, спасибо изучим. Может есть плюшки для нас, либо вы вкратце накиньте чем лучше Гитлаба?
Я так уже и не помню. Но когда смотрел год назад, то оказалось, что в Community версии GitLab урезано очень много функций, чтобы деньги платили. Прямо много и вкусных. По-моему там даже c CI/CD какие-то траблы были.
А Forgejo с первого для opensource и всё умеет. Единственная реальная Opensource альтернатива для GitHub/GitLab. Он довольно популярный, кстати. За денюжку совсем малую его можно попробовать у хостингов, которые его как сервис предоставляют.
Для всяких голодранцев это лучшее решение :)
Не для голодранцев тоже, кстати. Так как если у вас GameDev или ещё-то что с тяжёлыми репозиториями и/или тяжёлым CI/CD, то вы на том GitLab просто по миру пойдёте.
Наконец стали появляться статьи где пишут не про "надежность и маштабируемость" облаков, а с калькулятором в руках сравнивают эти облака со своей железкой...
Я конечно всё понимаю, но у меня в голове главный вопрос - зачем всё дробить на микросервисы? малый офис запускается в самом некстклауде (включая месснджер). вопрос зачем всё в докере не задаю - это причина сугубо индивидуального опыта сисадмина.
второй НЮАНС заключается в том что в белых списках свой сервер ты никогда не увидишь. и тут стоит задуматься - стоит ли пилить свои собственные ресурсы... или плакать, колоться и жрать кактус...
выше тут уже ответили частично на ваши вопросы, тем что у нас по клику можно все это поднять. Все конфиги и состояние прописано в гите, даже если сервер отъедет полностью, мы развернемся за час в облаке )
По клику заедет конфа. её можно хранить локально на флешечке (помним же происки РКН и недоступность некоторых узлов). вопрос в разнородности системы хранения данных. они ценны.
ну и да - я противник докера там, где его не должно быть. есть причины.
теперь понятно раз противник докера - расскажите причины?
Сложно firewall и всякие сложные сетевые архитектуры настраивать.
Сложно обеспечить безопасность, как ни странно.
Непонятно что за образы с непонятными конфигурациями и дырами.
Обновление сервисов может быть очень интересным и непредсказуемым процессом. Особенно в сочетании со следующим пунктам.
Запуск сервисов и восстановление после сбоя тоже может быть очень интересным процессом. Это если у вас есть хитрые завязки сервисов друг на друга. На systemd при желании можно очень крутые и железобетонные вещи делать.
Расход дискового места (наименьшая из проблем).
сервер (CPU 16/32 64 ГБ DDR5, 2 ТБ SSD, 2 ТБ HDD под бэкапы) — ~140 000 ₽;
Хахаха, вот будет весело, когда мертвый сервер положит ВСЮ вашу инфру на неопределенное время. Уж лучше облака.
да, такое возможно, но мы восстановимся за 1 час, на любом облаке. Вы просто не захотели вникать в комменты, тут уже все схемы обсудили)
Часа там не будет, гарантирую. Час это теплая копия, которую надо запустить-проверить-переключить dns. Без процедур и тренировок бекапа-восстановления в лучшем случае будет часов пять, если это в рамках рабочего дня и у всех нужных людей есть возможность вплотную этим заняться и неопределенное время если это придется на ночь/выходные/праздники/отпуск сисадмина/лпр.
Я не говорю что свой сервер на колокейшене это плохо, сам такой, но просто оптимизм хорош до определенной границы. А еще бывают сетевые отказы и отказы по питанию в дц.
Начал читать и был уверен, что автор - человек из моей бывшей команды. Видимо, просто совпало. У меня на предыдущей работе тоже были проблемы с mail.ru, но не бесплатным, а корпоративным.
1. mail.ru поступили в худших традициях Amazon - в начале года, когда все были заняты новыми правилами налогообложения, поставили перед фактом о существенном подорожании корпоративной почты.
2. Крайне плохо работающая админка и техподдержка изображает из себя слабоумных. Как бы мы не пытались сгенерировать по файлу доступы к smtp/imap для всей почты, задача падала с ошибокой. В техподдержке занимались откровенным издевательством циклично советуя изменить один формат на другой, а потом назад и так по кругу.
3. Мы плюнули на массовую генерацию и попытались прикрепить ящики сотрудников к корпоративным номерам телефонов, без этого не генерировался пароль IMAP. Как оказалось, mail.ru не разрешает подключать номера телефонов от некоторых операторов связи. В итоге мы нашли добровольцев и зарегистрировали по 10 почтовых ящиков на личный номер каждого.
4. Обратите внимание на таймер отсчета в почте mail.ru который позволяет сделать UNDO письма. Он огромный и не просто так. В сравнении с любым другим почтовиком, письма по IMAP синхронизируются ну очень долго.
5. Часть коллег у нас из Крыма и новых территорий. В админке mail.ru стоит стандартная рекапча, которая без VPN с этих ip-адресов не работает, а сама админка не работает с VPN. При обращении в техподдержку мы получили ответ "используйте средства смены ip-адреса". Пришлось на корпоративном оборудовании побыстрому делать прокси с ip из московского дата-центра.
Для звонков я тоже установил Mattermost, это был в команде запасной вид связи на случай отвала Телемоста или национального мессенджера. Юзерботов со всех мессенджеров я сам объединил в один чат вместе с историей телефонии и почтовыми ящиками. До mailcow не добрался, переехали на Яндекс 360.
Увы, мэйлу доверять нынче нельзя. Слишком частые изменения для почтовика. Ну и... "ваши данные в облаке - это не ваши данные" - Стив Возняк.
Почитал комментарии, очень удивили про "зарплату devops" и прочее. Все перечисленное в статье разворачивается максимум за сутки школьником с 4pda, может быть с mailcow придется повозиться только. Тем более компания их 30+ человек это не офис на 3 тысячи, а то некоторые уже начали тут Tier требования какие-то описывать. Смысла городить там кластер или бэкапить все в другой город или на луну там просто нет.
Отдельно выскажусь про raid. Raid - это не про спасение данных, это про их доступность.
В наше время порог входа при наличии docker и гугла (специально нейросети не упоминают, ибо считаю их злом в этом вопросе) минимальный. Мой товарищ глянув на мой самосборный переNAS загорелся идеей и не имея никакого отношения к it смог повторить практически все сам без подсказок.
По деньгам и рабочему времени обсудили. Вот некоторые мысли по архитектуре.
Возможно стоитло накатить Proxmox, это позволило бы при необходимости легче мигрировать на другое железо, помогло бы с бекапами. Ставим паралельно с основнным виртуальным серваком PBS и бекапим им, удобно бекапить всю виртуалку удобно востанавливать. Можно бекапить на usb диск например (проброс usb в виртуалку PBS).
Дисковая подсистема сервака, все же лучше что то из нескольких дисков, софтрейд, заеркало или 5 или вообще zfs. Это не бекап а просто то что даст объем и немного подстрахует в моменте.
Nextcloud хорошо для домашнего облака, seafile выглядит несколько луше в этой роли.
Mailcow неплохая телега, почему нет.
OnlyOffice норм, если функционала хватает.
Mattermost взяли лицензии? Точно взяли у вас же sso интеграции и тп., но про эти затраты ничего не написали. Если надо будет именно бесплатно, то альтернатива наверно Zulip.
Ничего нет про антивирус на почту на хранилище, что то все же желательно. Мониторинг zabbix бы ну или если у вас там devops бродит прометеус с графаной(хотя чуть замороченее) Сбор логов loki+grafana так же не помешал бы
Ну а дальше докупаем 2-й сервак на него тоже proxmox, подключаем в кластер с первым, перекидываем часть виртуалок на него и вот у вас уже серверная есть )))))
Виртуальный PBS в PVE - всегда меня удивляло.
Смысла в Proxmox в таких целях особо нет. Если у вас минимум 3 ноды Proxmox, плюс отдельно PBS, плюс отдельно железяка что вам nfs папку из дисков собирает, все это минимум через 2.5 коммутатор между собой общается - тогда да. Но это уже другие деньги и уровень.
ZFS - отдельная тема, оперативка в наше время недешева, вероятнее всего себя не окупит эта идея. ECC я вообще отношу в разряд веры. Все слышали, но реально мало кто видел пользу.
Seafile - заколебетесь вы с него файлы вытаскивать если подохнет, он их в своей бдшке хранит, а Nextcloud - в виде файлов на диске.
В качестве мессенджера я бы все же рассматривал что-то на Matrix, но если у вас Nextcloud - там вполне себе работоспособный Talk.
А вообще всю проблему тут я вижу в том, что большинство в комментариях начинает рассуждать о каких-то практически корпоративных решениях. RAID, SLA, географически разнесённые бэкапы, зарплата DevOps, серьезно? У него штат 30 человек, если оно ляжет на пару часов - у них бизнес не рухнет, они на обед пойдут пока условный админ там все из бэкапов развернет.
Виртуальный pbs вполне рабочая тема для установки которая прощает длительные остановки, а тут и именно тот случай. Херакнулось железа но есть диск на который писал pbs. Берем новый сервак поднимаем pve на нем поднимаем pbs подкидываем ему диск с бекапами, разворачиваем виртуалки из бекапов. Делал такое для домашней лабы )))). Лучше чем ничего. 2.5гб для сети между нодами, ой да ну бросте и на 1 гб будет норм работать, если целый день виртуалки с ноды на ноду не мигрировать. Да конечно 2.5 лучше, а еще лучше 10 или 25 но тут уж по желанию. Zfs тоже себе вполне он конечно охоч до памяти ну дайте ему 8гб и вот он уже работает, хотите быстрее докинте памяти добавьте в пул ssd и вот он уже ускорился. Да сифаил в своем формате ну так зато дедупликация и тп. А файлы надо из бекапа доставать. Pbs кстати так же файлы хранит. Для внутреннего кормаративногл ча та все же лучше метрамост, зулип, рокетчат и подобное. Матрикс неплох но как то посыроватее на уровне клиентов и идеологии чтоли.
Не пойму откуда берется в России такая любовь к троллейбусостроению, а особенно к Proxmox и его производным. Особенно доставляет когда начинают собирать матрешки из сервисов, которые должны по концепции работать на отдельных железках.
Виртуальный PBS, тем более если он поднят в том же PVE, который бэкапит, создает циклическую зависимость. Если упал PVE, то чтобы запустить PBS и достать бекапы, тебе сначала нужно поднять PVE. А чтобы поднять PVE - нужны бекапы. Как с яйцом и курицей. Если диск с бекапами был в ZFS и использовался виртуальным PBS - не получится просто «подкинуть» его новому PVE и пробросить внутрь новой ВМ PBS без потери данных, если не сохранил конфиг диска, особенно если монтировал by-id.
ZFS с 8 ГБ ОЗУ в продакшене - лютый тормоз. Особенно если включена дедупликация.
Инфраструктуру строят по деньгам и задачам, конечно хочется побольше. Троллейбусы строят для краилова (помню краилово ведет к попадалову). На счет PBS писал же что бекапим на внешний диск NAS по iscsi или самы простой варик на USB диск. Да не быстро и коряво, но это только первый бекап, дальше никременты и все гораздо быстрее и веселее. Про матрешку для восстановления, не так уж и страшно накатить pve в него pbs подключить диск и вуаля. Если подготовится минут 15 на шаманство ну и сколько то там на подъем из бекапов. Никого не призываю так делать, но это лучше чем ничего, на этом можно организовать инкременнтный бекап и тестовые восстановления из коробки. ZFS с 8 ГБ ОЗУ в продакшене тормоз смотря в каком. Под облако и ленивые тыканья табличек пойдет и всегда можно ускорить, докинуть озу, докинуть в пул кеширующий nvme, да просто hdd заменить на ssd.
У нас как раз Proxmox
На нем вируталки - на виртуалках агенты ГитЛаба - все катится из него пайпом, вся инфра
Mattermost - Entry Edition
Мониторинг - пока дашборд Proxmox =)
В почте корове есть встроенный вроде антивирус какой то
В Proxmox как в таковом нет ничего плохого, плохое в том, что из него начинают корячить то, для чего он не предназначен. Это в первую очередь гипервизор. Причем довольно хипстерский. В виде одной ноды он отлично подходит для Homelab и прочих опытов, но при этом используется максимум 25% от его возможностей.
Не надейтесь что ClamAV в корове вас защитит. Да и облако неплохо бы от вирусов прикрыть.
что посоветуете?
Коммерческие антивири, на это все же придется потратится. Что выберете исключительно ваши предпочтения думается и стоить они будут примерно одних денег. Kasper drweb pro32 можно и иностранное что то посмотреть если не парит необходимость преодолевать всякие запреты.
и вся затея резко перестает быть прибыльной :) теперь все поняли, за что mailru берет деньги
KSMG для 30 пользователей = 55 тр
https://store.softline.ru/kaspersky/kaspersky-security-dlya-pochtovyih-serverov/
Ну дык атож. Я же и писал, начинаешь по чуть чуть и потом сложно остановится, тут подкрутить, там добавить и вот тебе на. На счет антивиря надо брать не пользовательские, хотя и их тоже. Нужно один файловый для сервера и 1 почтовый для почтовика. Это в базе хотя бы.
KSMG как раз для почты, для файлопомойки можно пока сэкономить, но в целом тоже нужен.
и потом девопес уходит на постоянку подкручиваний-настроек-обновлений (кстате будет сюрприз что NC крайне говенно обновляется).
кстате, если смотреть с тз безопасности еще, я бы не стал все это вывалить голой жопой с интеренет, нужен какой-то впн для доступа к внутрянке
NC стоит развернутый из AIO, ни разу не видел каких-то проблем с обновлением если честно. Бывает какая-то мелочь из серии "это приложение пока несовместимо с новой версией NC", но только на каких-то сторонних комьюнити приложениях.
В интернет у меня все торчит через NPM, Fail2ban и геоблок, аналогично проблем пока не видел, в масштабах интернета слишком мелкая это единица чтоб быть кому-то интересным. Периодически какие-то боты сканируют порты, но быстро отлетают в бан. А вот с VPN в наше время проблем может быть гораздо больше. От белых списков до "не видел сообщение, VPN отвалилось".
теперь главное не ссориться с девопсом )
Эх, хорошо в старину было... Каждый своим делом занимался. Почтовые сервисы - почтой, бизнесы - бизнесом.
Фрагментируется все.
В расчете электричество не учтено, кстати. При 350вт и 7р за квтч выходит ещё 21 т.р. в год (
Есть еще решение такой задачи, которое не на поверхности: развернуть все на Synology NAS. Управление простое. Встроенный RAID. Поддержка UPS. Поддержка контейнеров. Для 32 пользователей будет достаточно. Из преимуществ - экономия на настройке, так как все интегрировано. По железу, не сильно будет большая экономия ~60 т.р. четырехдисковый массив + 50 тысяч диски. + планка памяти ddr4 дополнительно на 8гб
Единственный нюанс: почтовый сервис от Synology бесплатный для более чем 5 пользователей. Но и почту я бы не делал локальной. Это как проблемы с прохождением почты, так и потенциально ограничения белых списков. Отдельно купить почтовые аккаунты на хостинге для 32 пользователей это от 2000 рублей/год
подождите, а где нам код писать, общаться в чатиках, звонки делать, задачи ставить?
сейчас это все работает как единый организм, с уведомлениями между друг другом в общих каналах - проектах МаттерМоста, очень удобно. Наконец то нет такого "не увидел, не прочитал")
Там внутри есть поддержка контейнеров. Можно развернуть что угодно, так же как сделано и сейчас на отдельном железе. Если не привязываться к MM, от Synology есть собственное приложение для общения: Chat.
Отличие от развертывания на собственном железе, что на собственном вы все делаете с нуля. А на Synology получаете часть функций из коробки: управление файлами, резервирование, автоматическую настройку подключений (сертификаты let's encrypt, reverse proxy). Приложения для мобильных устройств (drive, photo). Удаленный мониторинг железа с информированием. Поддержку 2FA
про поддержку контейнеров не знал, спасибо. Тогда да, по сути можно было и так сделать
Уйти от Mail к Synology? ))) Вообще как по мне решение автора максимально очевидное и "масштабируемое", если можно так выразиться, но про почтовый сервер соглашусь, уж слишком много нюансов чтоб самохостить почтовый сервер. У меня самого уже больше года команда из 15 человек работает на самосборном сервере на Debian, выделенного devops и даже сисадмина в команде нет, собирал все сам в порыве оптимизировать производительность.
Скрытый текст
правильно, поддерживаю, в топку всякие vk\mail\Ydex и прочую лабуду.
Не раскрыли строительство бюджетной инфраструктуры. Один сервер это так себе инфраструктура, хотя если одна компания из 30 человек, и может на денек-другой закрыться, то и один сервер с бэкапами сгодится. Лучше бы и сервер с Raid, и лучше не один сервер, и бэкапы чтоб ежедневно делались, и прочая... Плюс если ещё разнести по разным площадкам. Сделать резервную площадку удалённую на квартире у админа во внутренней сети провайдера, чтоб скорость была получше, и т.д...
раскрыли, но в комментариях и общениях
- Proxmox пока из 1 сервера, в планах подключить еще
- Backup инкерментальные раз в час, полный раз в сутки - складываем на другие диски
- Резерв пока не считаем нужным, потому что у нас все работает в контейнерах разворачивается автоматом из CI, поэтому даже если будет ЧП, мы очень быстро перекатимся на другую машину (не важно облако или домой к админу)
Спасибо Mail.Ru за СВОЙ цифровой офис