Comments 54
Ух, круто! Но у меня стоит Proxmox Backup Server на одном сервере в домашнем кластере, так что надо ждать пока он обновится на 2.0.
Вопрос опытным пользователям, так что proxmox , лучше esxi6.5? Или же только для домашних целей и не серьезных проэктов.
Этот вопрос открытый
Сам проксмокс менее стабилен для 24*7, из личного опыта, но более функционален и бесплатен.
Включение в поставку глючного brtfs умеющего терять файлы, по отзывам кучи пользователей, этому подтверждение.
BTRFS в PVE имеет статус Technology preview.
BTRFS имеет поддержку в Synology что не мешает ему терять данные развалившимся массивом, проблема в эксперементальности и глючности технологии, которую добавляют в продукт, а не в степени готовности применения данной технологии в продукте. В Vmware строго ограничивают такие эксперементы жестким HCL и ограниченным набором работающих функций.
у меня месяц назад навернулся raid-1 в сине на btrfs, ничего автоматом не восстановилось, вообще в корку падала сина при любых попытках хоть что то сделать…
в итоге частично удалось вытащить данные, часть оказалась не последними…
вернулся обратно на ext4
При этом в Synology в качестве массива используется linux-raid а не штатные стредства btrfs.
https://kb.synology.com/en-us/DSM/tutorial/What_was_the_RAID_implementation_for_Btrfs_File_System_on_SynologyNAS
На Ext4 Proxmox вполне работает около года без нареканий. Где-то 10 разных KVM-виртуалок на Odroid-H2.
А можно пример серьезных проектов на проксмокс, ну и серьезно это от 1000 физических серверов минимум, не будем же мы стойку с 50 серверами считать за серьезный проект на который ровняться нужно
я бы сказал что ESXI сильно МЕНЕЕ юзерфрендли
ux/ui ужасен, да и cli нормальное не осилили… в этом плане proxmox сильно лучше
ESXI это виндовый админ с 2 неделями обучения на спец курсах и при том все для 24*7
Proxmox это эксперт Linux (уровня RHCE, только в Ubuntu), что сильно дороже, а если планируете поддерживать в актуальном состоянии то от простоев вы не откажитесь, ибо все гладко только на бумаге, вообще очень мало что с веба делается в проксмоксе, а многое что делается потом переделывать нужно и контролировать в консоли.
QOS всех видов (аля хранилок, сети, памяти) в Proxmox почти отсуствует как класс, т.е. один вирт может легко увести весь кластер в довн, не делясь ресурсами, а потери пакетов вообще легко. Память жрет не в себя, даже с отключенными кешами (привет echo 3 >/proc/sys/vm/drop_caches), инкрементальная бекапилка только-только появилась и еще вроде в демке, и та только для проксмокса. C ZFS как системный диск 3ы уже огребал. Обновления через раз песня просто))) Ну если только у вас стандартная установка на ext4 без чего либо. С 3 на 4 ломали pci passthrough, с 5 на 6 corosync (привет простои), с 6 на 6.4 сломали ZFS как системный диск, никаких LTS!!! Форум имеет стандартные фразы - обновитесь на новую вирсию, отключите HA и т.д
инкрементальная бекапилка только-только появилась
в esxi есть встроенный инкрементальный бекап?
В ESXi много что есть, но этим нужно уметь пользоваться. В Proxmox VE есть готовые работающие части, которые за такие деньги вмварь не поставит, как ни крути: управление кластером, репликация, забавные комбинации файловых систем, хорошая бекапилка (которая в 6.4 при наличии PBS стала еще лучше).
Цена за это — требование думать наперёд (словно, этого требования нет к другим гипервизорам), и планировать систему без фанатизма.
Потому что, конечно, можно и Btfrs поставить, и на нее ВМ сложить, и много что сделать этакого… Как говорил Жванецкий, "если Вас не интересует результат". А можно консервативно придерживаться чего-то приличного в смысле сетапа, и, может, будет счастье — уж точно поболее, чем на бесплатном (и не всё железо поддерживающем) ESXi?
Ну прямо виндовый админ. Виндовый админ еле Hyper-V осваивает. Если с общей хранилкой, отдельной бэкапилкой и т.п. уровень нужен не менее Proxmox.
ps на ращзных проектах у меня и есхи, hyper-v,parallels, есть с чем сравнить.
в проксе больше всего возможностей, здесь можно такого накрутить… шо мама не горюй)))
Proxmox VE — это Линукс. ESXi — это совсем не линукс. Поэтому, если с точки зрения владения инструментом, линуксоводу PVE будет проще в использовании, в то время как ESXi (с его существенно меньшей поддержкой железа, т.к. дрова к нему нужны "родные", для ESXi писанные) вроде как изначально сделан только для одной цели.
Ну и да, ESXi некорректно с PVE сравнивать, например, управление кластером в ESXi просто как класс отсутствует (для него нужно покупать vCenter/vSphere), а PVE прекрасно (и бесплатно) это делает.
Главное, не забывать, что, хоть инструмент бесплатный, железо под виртуализацию нужно выбирать дорогое-хорошее-надежное, а не шрот — и будет тогда счастье!
вы путаете теплое с мягким
k8s это вообще не про стабильность - надежность и работу 24*7 и низкую стоимость
k8s решает скорее вопрос devops
на нее нельзя ставить то что изменяется, как пример базы данных
она крайне сложна в диагностике - то же логирование ад ибо не одна машинка а кучу подов и эта куча не просто так ибо они глючат и падают и от oom и сами по себе
Она сырая, дорогая, глючная и требующая рыться под капотом часто и много
Она требует постоянно учить как пулемет кучу нового, которое выплевывается и несовместимо между версиями
k8s это около 6 серверов исключая мониторинговые-бекапные-хранения (3 мастера+2 подных+гилаб)
Притом работая с контейнерами вы обязаны понимать как это работает без контейнеров
спец по куберу 200-300 имеет сейчас, linux спец от 80-120
k8s это только разработка по, не банки, не что-то иное
k8s это вообще не про стабильность — надежность и работу 24*7 и низкую стоимость
Вот? А где ещё есть автохилинг :))?
на нее нельзя ставить то что изменяется, как пример базы данных
Авторы операторов для BD и не знали.
Вы сколько
Те, кто не ставят k8s всё проспали. Потому, что сейчас многие вообще на серверлесс съезжают.
Она требует постоянно учить как пулемет кучу нового,
Это нормально в АйТи лол.
спец по куберу 200-300 имеет сейчас
Не знаю, какие у вас там зарплаты, у нас админы умерли как профессия, их заменили DevOps&SRE&Chaos Engineers + эникейщики. Эта связка работает лучше, так как первые суть разработчики, и говорят с разработчиками продукта на одном языке, а это очень важно. Более того, сейчас вообще есть тенденция отказа от девопсов, точнее, превращения их в обычных разработчиков, а разработчиков в немного девопсов. Просто одни пишут сам продукт, а другие тулзы для разработки
автохилинг - не поверите, но для обычной виртуалки эта технология нужна раз в несколько лет в отличии от подов, отсюда аптайм пару лет ну как бы далеко не предел.
А так все просто покажите-ка свой аптайм подов))) того же посгреса, который обожает рестарты)) или кликхауса), более года? или у вас мастер-мастер вдруг легко запускается посгревый)
Или у вас не 24*7 а простой 9*5 в лучшем случае? и не биг дата а хранение пару сайтов?
Я живой обладатель кластера кубера небольшого с девопсом, но с радостью услышу конструктивную критику и реальный опыт) , все высокозагруженное у меня вынесено подальше от кубера и контейнеров да и виртуалок в целом
серверлесс - это x5-x30 к стоимости от обычных структур с серверами, если есть нагрузка, а не просто так болтается, а добавьте потоки того же видео с обработкой)))
Уход в облака не делает отказоустойчивость, а лишь заставляет больше думать о ГЕО и как натянуть свой 24*7 на то что непонятно как работает и хз с какой поддержкой
Да и серьезный проект не уйдет никогда на aws и прочие, есть секретка, безопасность, требования законодательства
Это нормально в АйТи лол - это ненормально если продукт умирает через год) и твои знания становятся пустышкой через два)
А так да в отделе девопс должна быть группа, которая тупо изучает новинки и ничем по сути больше не занимается
Тенденция обучения разрабов девопсу присутсвует и буксует ровно на том месте где нужно что-то взаимодействовать, а не только контейнер поднять, да и там на ровном месте бывают затыки с тем же легаси
Найти девопса неожиданно стоит несколько дороже и дольше разраба неожиданно да?)
ps не нужно считать что контейнеры решают все задачи, у них своя ниша, у них кучу проблем и бизнесу обычно подходит смешанная модель.
автохилинг — не поверите, но для обычной виртуалки эта технология нужна раз в несколько лет в отличии от подов, отсюда аптайм пару лет ну как бы далеко не предел.
Вы просто не понимаете о чём говорите. Аптайм виртуалки не имеет никакого значения. Значение имеет только аптайм микросервиса, а так же приложения в целом. Вы не намажите на хлеб аптайм виртуальной машины.
А так все просто покажите-ка свой аптайм подов)))
Вы о чём? В все уже давно катят патчи быстро, и перезаливают, в результате CI/CD пайплайна, всё тоже быстро. У нас аптаймы подов, обычно, час-другой, т.к. мы пишем патчи каждый день, а вы? Кроме того, ребалансировка, и запуск подов на другой ноде, с внешними зависимостями (то, что мы не обновляем, или обновляем редко) тоже происходит часто.
Я живой обладатель кластера кубера небольшого с девопсом
Все такие. У меня тоже, кроме прода, есть кубер на локалхосте :)
но с радостью услышу конструктивную критику и реальный опыт) ,
В первую очередь, ливните из тусовки админов. Это не поможет в Вашей карьере, а наоборот. А во-вторую,
Это нормально в АйТи лол — это ненормально если продукт умирает через год) и твои знания становятся пустышкой через два)
Избавьтесь от этой идеи. Учиться, даже бесполезным знаниям, полезно: это зарядка для серого вещества, а так же бустер к зарплате.
Да и серьезный проект не уйдет никогда на aws и прочие, есть секретка, безопасность, требования законодательства
Private cloud? Не, не слышали. Кстати, у Вас там в России есть яндекс-облако с managed k8s.
Тенденция обучения разрабов девопсу присутсвует и буксует ровно на том месте где нужно что-то взаимодействовать
Мне кажется, проблема работодателя
Найти девопса неожиданно стоит несколько дороже
Он стоит своих денег. Например, быстро учится и говорит с разрабами на одном языке, т.к. сам разраб — инфраструктурных тулзов.
Уход в облака не делает отказоустойчивость,
Если нанять админа, а не инфраструктурного разработчика, да.
Еще раз повторюсь вы мыслите очень узко, вы говорите о жизненном цикле разработки а не о жизненном цикле прода, в проде важно чтобы тот же nginx имел аптайм не менее года+имел схемы резервирования теми же haproxy, если тот же интернет магазин будет глючить (как сейчас глючит ситилинк кстати) то неожиданно я как клиент откажусь от магазина!!! Если вы перегрузите БД подную с товарными то неожиданно потеряете клиента или даже отпустите товар по нетой цене.
А есть еще банки, есть аналитика, есть тьма же тем которым важна долговечность и качество а не гонка за непойми чем
вы понимаете смысл базы данных? как она работает? что происходит если во время записи перезагрузить?
Вы слышали когда-нибудь о CAP theorem, о NoSQL, об устойчивых к разделению хранилищах, а так же об s3 протоколе и s3-совметимых системах?
У нас, как раз, сотни терабайт сырых данных :)
Вы понимаете что такое гарантированная запись и гарантированный ответ с гарантированным таймаутом?
Я да. А вот понимаете ли Вы, не уверена. Мне кажется, люди используют SQL во всех случаях в 2021 так же по-привычке, как используют VM. И связано это, во многом, с тем, что они нанимают админов, а не инфраструктурных разработчиков, которые были бы вовлечены в процесс разработки приложения, и могли бы предложить поменять архитектуру на ту, что скейлится лучше
Еще раз повторюсь вы мыслите очень узко, вы говорите о жизненном цикле разработки а не о жизненном цикле прода
Напротив. А ещё, я практически уверена, что Ваш кейс, как и 99% других, ничем не уникален, и мог бы спокойно жить в AWS/GCP, например, с помощью database partitioning и AWS RDS/Google Cloud SQL
в проде важно чтобы тот же nginx имел аптайм не менее года
ахаха, у меня какие-то флэшбеки в 2010й год :(
Вопрос, Вы хоть раз в жизни работали с ингресом в k8s? А с LB в AWS или другом публичном облаке?
Если вы перегрузите БД подную с товарными
Нет ощущения, что Вы вообще что-то понимаете (простите)
ахаха, у меня какие-то флэшбеки в 2010й год :(
Вопрос, Вы хоть раз в жизни работали с ингресом в k8s? А с LB в AWS или другом публичном облаке?
Даже в 2010м для балансировки HTTP/imap/pop через nginx аптайм реверс прокси сервера не имел никакого значения, FreeBSD Carp/Linux Heartbeat(pacemaker) решали вопрос мастер/слейв HA
Это очень по-админски, и очень в стиле начала 2010х рассуждать не об аптайме микросервиса, а об аптайме виртуальных машин :)
100ни терабайтов сырых это 10ки обрабработаных пожатых? Сколько у вас зарплатный бюджет и сколько платите в год за это? В общем какой бюджет итого? У нас 10ки ТБ непожатых могу озвучить годовой бюджет, уверен он раз в 20-50 меньше
Бюджеты - под строгим NDA, сорри. Но в общем и целом, Вам никто не мешает поставить k8s на собственное железо вместо сабжа
Мешает бюджет и отсутсвие экспертизы, также требования кучи экспертов в итого с кучей простоев пока не устаканется и неизвестным итого;)
А так все просто)))) приколисты вы)
Вы по Москве адекватных спецов искали? мы да, неповерите как yandex всех адекватных сгребает, а у оставшихся даже NGINX вызывает кучу вопрсоов
Или предлагаете в одно рыло все тянуть?))
Я уже писала, что я вовсе не из России, я живу в Канаде
Ну вот и сдулись все ваши возгласы о суровые будни бытия))) и не осталось доводов за свою систему кроме как это у нас круто и мы все можем, но за дорого и где-то там)
Где-то там есть многомилионные бюджеты в долларах, каша слаще, и вообще все круто)
Ну вот и сдулись все ваши возгласы о суровые будни бытия))) и не осталось доводов за свою систему кроме как это у нас круто и мы все можем, но за дорого и где-то там)
Странные выводы. У меня совсем другие:
после последних инициатив госдуры российское IT перестало быть таким продвинутым, как было ранее
У вас будет тоже самое, просто позже, на несколько лет - у нас Амазон с гуглом убили профессию сисадмина лет 5 назад, у Вас Яндекс и его возможные конкуренты сделают это чуть позже, например, года через три
Люди используют публичные облака не просто так, они просто дешевле - в терминах стоимости владения - чем собственное железо. Банки и прочие зарегулированные организации тоже уйдут в клауд, просто в свой собственный, на своём железе.
в проде важно чтобы тот же nginx имел аптайм не менее года
гхм, но зачем? если я раз в час буду запускать nginx -s reload, проду поплохеет? (в одном проекте именно так и делали)
Из гостя доступ к хост-машине… Ну тут кошку нужно уметь вопрос настроек, наверное. Да и Nested Virtualisation там есть, вполне себе.
Скажите, у вас лично был опыт запуска Hyper-V под Proxmox? Или доступа к веб-серверу расположенному на другой Guest OS из такой же Guest OS по публичному IP?
Ну про BTRFS, по крайней мере про её raid5/6, написанное в статье — преувеличение. Там и write hole есть, и bitrot исправляет не всегда.
Во, как раз тыкаю в Proxmox.
В 6.4 не выключаются штатно LXC (можно кильнуть из консоли). Не пробрасываются настройки DNS с хоста (можно руками завести). Ладно, в 7.0 это всё починили.
Но в 7.0 первый раз при загрузке LXC что-то с консолью в веб-интерфейсе (не выводит ничего), но после перезапуска контейнера норм. Но зато сломали миграцию контейнеров: не копируются файлы конфигурации контейнера на другой хост и там он, соответственно, не запускается.
Proxmox Backup Server 1.1 с PVE 7.0 несовместим. Ждите, пишут, Proxmox Backup Server 2.
Кто ещё какие баги нашёл?
Я назову не баг, но милую фичу, которую вообще стоит учесть при планировании обновления на 7.0: благодаря решению строить 7.0 на базе нерелизного Debian, получаем недоступность реп для стороннего софта на PVE. Как дешевый пример - Zabbix, у Заббикса просто нет репы для версии 11 Дебиана.
В общем, со всем моим нежным отношением к PVE, ряд шагов в этом релизе у них просто пионерский: сам релиз на базе Debian 11, который ещё не релиз; предложение использовать Btrfs (да-да, снова повод поиметь нестабильность); вот, вопросы, которые Вы называете про консоль и прочее.
Для платформы такого распространения и такого стажа на рынке (и ведь вопрос репутации для PVE весьма важен!) довольно несерьёзное поведение. Никто, так понимаю, с пистолетом у виска релиз не гнал сделать срочно-срочно.
Да, тоже не смог обновиться с 6 на 7.
Но может это просто бизнес? Что-бы подписку покупали - выпускают релизы с очевидными проблемами?
Бабка на двое сказала тут... Еще немного таких "очевидных проблем", и народ с деньгами пойдет смотреть в сторону либо Hyper-V, либо VMWare (все же ценник на подписку у Proxmox довольно заметный), а кто предпочитает "бесплатно, т.е. даром", будут думать над другими вариантами KVM. Не то чтобы их прямо много, и Proxmox столько лет быть золотой серединой, уже готовым решением, но еще которое можно было не покупать, но рынок меняется, а "добрая" молва от очевидно странных решений легко опрокинет годами наработанную репутацию.
Вот спросит меня знакомый, что ему на хост-машину ставить, я бы раньше ответил - " https://pve.proxmox.com , качай и ставь", а теперь добавлять придется "только при установке не выбери для рутового раздела ZFS или Btrfs, только смотри, какая у тебя версия и не ругайся, когда заббикс откажется встать, только..." - в общем, дистр годен, но "годен с оговорками", что называется.
По умолчанию вроде XFS предлагается. Если человек выбирает BTRFS — мне кажется он должен понимать какие здесь риски.
Мне не нравится не BTRFS, мне не нравится, что в релизах не работает базовый функционал по типу выключения контейнеров или миграции контейнеров, пропустить такие ошибки на тестировании ну сложно представить как возможно.
И здесь либо тестирование не ведётся, либо специально выпускаются релизы с серьезными проблемами, причем в разных релизах проблемы разные.
Я PVE уважал, что он из коробки уже работает. Если это будет конструктор «сумей меня настроить», то цена вхождения в него станет выше, чем у конкурентов - так себе идея.
Уже не говорю, что core-версии hyper-v не сказать, чтобы дороги (ирония - я знаю, что core бесплатен), и собрать на них кластер «из коробки», с миграцией и прочими девушками легкого поведения плюшками технически можно.
Правда, PVE в инет задницей выставить - скорее, можно, а вот Hyper-V страшновато, что требует сетевой обвязки. Но ведь и кластер - это штука не для каждого, и хтот некаждый может и роутер/файрволл поставить.
В общем, нужно смотреть, дорого ли дл Proxmox обойдётся такой расслаблн с тестированием, но вроде недешево…
Proxmox не просто гипервизор, это кластер, живая миграция, бэкапилка с дельтами, развертывание Ceph в пару кликов с живой миграцией без общей хранилки, файервол снаружи виртуалки. И всё это внутренне интегрировано (надо намного меньше знать для настройки) и заводится в несколько кликов. Дополнительно контейнерная виртуализация (меньше оверхэд на IO, CPU, память).
На альтернативных системах чтобы это все поднять, надо много что долго изучать и намного выше квалификацию иметь.
Кто-то использовал Ceph с Proxmox? Как отзывы со стабильностью и отказоустойчивостью?
Proxmox обновился до версии 7.0 — всё ещё не банановый, но с Btrfs