Как стать автором
Обновить

Комментарии 54

Ух, круто! Но у меня стоит Proxmox Backup Server на одном сервере в домашнем кластере, так что надо ждать пока он обновится на 2.0.

почему «все еще не банановый»?

Вопрос опытным пользователям, так что proxmox , лучше esxi6.5? Или же только для домашних целей и не серьезных проэктов.

Этот вопрос открытый

Сам проксмокс менее стабилен для 24*7, из личного опыта, но более функционален и бесплатен.

Включение в поставку глючного brtfs умеющего терять файлы, по отзывам кучи пользователей, этому подтверждение.

BTRFS в PVE имеет статус Technology preview.

BTRFS  имеет поддержку в Synology что не мешает ему терять данные развалившимся массивом, проблема в эксперементальности и глючности технологии, которую добавляют в продукт, а не в степени готовности применения данной технологии в продукте. В Vmware строго ограничивают такие эксперементы жестким HCL и ограниченным набором работающих функций.

подтверждаю
у меня месяц назад навернулся raid-1 в сине на btrfs, ничего автоматом не восстановилось, вообще в корку падала сина при любых попытках хоть что то сделать…
в итоге частично удалось вытащить данные, часть оказалась не последними…
вернулся обратно на ext4

На Ext4 Proxmox вполне работает около года без нареканий. Где-то 10 разных KVM-виртуалок на Odroid-H2.

НЛО прилетело и опубликовало эту надпись здесь

А можно пример серьезных проектов на проксмокс, ну и серьезно это от 1000 физических серверов минимум, не будем же мы стойку с 50 серверами считать за серьезный проект на который ровняться нужно

AFAIK ниша проксмокса — это всё-таки проекты поменьше, чем «от 1000 физических серверов»

А можно пример такого серьёзного проекта на ESXi? Боюсь кроме крупных облаков вы не сможете назвать ничего.

я бы сказал что ESXI сильно МЕНЕЕ юзерфрендли
ux/ui ужасен, да и cli нормальное не осилили… в этом плане proxmox сильно лучше

ESXI это виндовый админ с 2 неделями обучения на спец курсах и при том все для 24*7

Proxmox это эксперт Linux (уровня RHCE, только в Ubuntu), что сильно дороже, а если планируете поддерживать в актуальном состоянии то от простоев вы не откажитесь, ибо все гладко только на бумаге, вообще очень мало что с веба делается в проксмоксе, а многое что делается потом переделывать нужно и контролировать в консоли.

QOS всех видов (аля хранилок, сети, памяти) в Proxmox почти отсуствует как класс, т.е. один вирт может легко увести весь кластер в довн, не делясь ресурсами, а потери пакетов вообще легко. Память жрет не в себя, даже с отключенными кешами (привет echo 3 >/proc/sys/vm/drop_caches), инкрементальная бекапилка только-только появилась и еще вроде в демке, и та только для проксмокса. C ZFS как системный диск 3ы уже огребал. Обновления через раз песня просто))) Ну если только у вас стандартная установка на ext4 без чего либо. С 3 на 4 ломали pci passthrough, с 5 на 6 corosync (привет простои), с 6 на 6.4 сломали ZFS как системный диск, никаких LTS!!! Форум имеет стандартные фразы - обновитесь на новую вирсию, отключите HA и т.д

инкрементальная бекапилка только-только появилась

в esxi есть встроенный инкрементальный бекап?

в ESXi есть API для инкрементального бекапа

В ESXi много что есть, но этим нужно уметь пользоваться. В Proxmox VE есть готовые работающие части, которые за такие деньги вмварь не поставит, как ни крути: управление кластером, репликация, забавные комбинации файловых систем, хорошая бекапилка (которая в 6.4 при наличии PBS стала еще лучше).


Цена за это — требование думать наперёд (словно, этого требования нет к другим гипервизорам), и планировать систему без фанатизма.


Потому что, конечно, можно и Btfrs поставить, и на нее ВМ сложить, и много что сделать этакого… Как говорил Жванецкий, "если Вас не интересует результат". А можно консервативно придерживаться чего-то приличного в смысле сетапа, и, может, будет счастье — уж точно поболее, чем на бесплатном (и не всё железо поддерживающем) ESXi?

Ну прямо виндовый админ. Виндовый админ еле Hyper-V осваивает. Если с общей хранилкой, отдельной бэкапилкой и т.п. уровень нужен не менее Proxmox.

у меня и коллег 7+ лет крутится сотни серверов на проксе, в разных ДЦ и компаниях. что бы с ним дружить нужно дружитл с линуксом, остальное дело времени.
ps на ращзных проектах у меня и есхи, hyper-v,parallels, есть с чем сравнить.

в проксе больше всего возможностей, здесь можно такого накрутить… шо мама не горюй)))

Proxmox VE — это Линукс. ESXi — это совсем не линукс. Поэтому, если с точки зрения владения инструментом, линуксоводу PVE будет проще в использовании, в то время как ESXi (с его существенно меньшей поддержкой железа, т.к. дрова к нему нужны "родные", для ESXi писанные) вроде как изначально сделан только для одной цели.


Ну и да, ESXi некорректно с PVE сравнивать, например, управление кластером в ESXi просто как класс отсутствует (для него нужно покупать vCenter/vSphere), а PVE прекрасно (и бесплатно) это делает.


Главное, не забывать, что, хоть инструмент бесплатный, железо под виртуализацию нужно выбирать дорогое-хорошее-надежное, а не шрот — и будет тогда счастье!

Это всё хорошо, но в 2021м странно использовать не k8s стек. И да, виртуалки там тоже есть — см. kubevirt

вы путаете теплое с мягким

k8s  это вообще не про стабильность - надежность и работу 24*7 и низкую стоимость

k8s  решает скорее вопрос devops

на нее нельзя ставить то что изменяется, как пример базы данных

она крайне сложна в диагностике - то же логирование ад ибо не одна машинка а кучу подов и эта куча не просто так ибо они глючат и падают и от oom и сами по себе

Она сырая, дорогая, глючная и требующая рыться под капотом часто и много

Она требует постоянно учить как пулемет кучу нового, которое выплевывается и несовместимо между версиями

k8s  это около 6 серверов исключая мониторинговые-бекапные-хранения (3 мастера+2 подных+гилаб)

Притом работая с контейнерами вы обязаны понимать как это работает без контейнеров

спец по куберу 200-300 имеет сейчас, linux спец от 80-120

k8s  это только разработка по, не банки, не что-то иное

k8s это вообще не про стабильность — надежность и работу 24*7 и низкую стоимость

Вот? А где ещё есть автохилинг :))?

на нее нельзя ставить то что изменяется, как пример базы данных

Авторы операторов для BD и не знали.

Вы сколько десятилетий лет назад видели k8s?

Те, кто не ставят k8s всё проспали. Потому, что сейчас многие вообще на серверлесс съезжают.

Она требует постоянно учить как пулемет кучу нового,

Это нормально в АйТи лол.

спец по куберу 200-300 имеет сейчас

Не знаю, какие у вас там зарплаты, у нас админы умерли как профессия, их заменили DevOps&SRE&Chaos Engineers + эникейщики. Эта связка работает лучше, так как первые суть разработчики, и говорят с разработчиками продукта на одном языке, а это очень важно. Более того, сейчас вообще есть тенденция отказа от девопсов, точнее, превращения их в обычных разработчиков, а разработчиков в немного девопсов. Просто одни пишут сам продукт, а другие тулзы для разработки

автохилинг   - не поверите, но для обычной виртуалки эта технология нужна раз в несколько лет в отличии от подов, отсюда аптайм пару лет ну как бы далеко не предел.

А так все просто покажите-ка свой аптайм подов))) того же посгреса, который обожает рестарты)) или кликхауса), более года? или у вас мастер-мастер вдруг легко запускается посгревый)

Или у вас не 24*7 а простой 9*5 в лучшем случае? и не биг дата а хранение пару сайтов?

Я живой обладатель кластера кубера небольшого с девопсом, но с радостью услышу конструктивную критику и реальный опыт) , все высокозагруженное у меня вынесено подальше от кубера и контейнеров да и виртуалок в целом

серверлесс - это x5-x30 к стоимости от обычных структур с серверами, если есть нагрузка, а не просто так болтается, а добавьте потоки того же видео с обработкой)))

Уход в облака не делает отказоустойчивость, а лишь заставляет больше думать о ГЕО и как натянуть свой 24*7 на то что непонятно как работает и хз с какой поддержкой

Да и серьезный проект не уйдет никогда на aws и прочие, есть секретка, безопасность, требования законодательства

 

Это нормально в АйТи лол  - это ненормально если продукт умирает через год) и твои знания становятся пустышкой через два)

А так да в отделе девопс должна быть группа, которая тупо изучает новинки и ничем по сути больше не занимается

 

Тенденция обучения разрабов девопсу присутсвует и буксует ровно на том месте где нужно что-то взаимодействовать, а не только контейнер поднять, да и там на ровном месте бывают затыки с тем же легаси

 

Найти девопса неожиданно стоит несколько дороже и дольше разраба неожиданно да?)

ps не нужно считать что контейнеры решают все задачи, у них своя ниша, у них кучу проблем и бизнесу обычно подходит смешанная модель.

автохилинг — не поверите, но для обычной виртуалки эта технология нужна раз в несколько лет в отличии от подов, отсюда аптайм пару лет ну как бы далеко не предел.

Вы просто не понимаете о чём говорите. Аптайм виртуалки не имеет никакого значения. Значение имеет только аптайм микросервиса, а так же приложения в целом. Вы не намажите на хлеб аптайм виртуальной машины.

А так все просто покажите-ка свой аптайм подов)))

Вы о чём? В все уже давно катят патчи быстро, и перезаливают, в результате CI/CD пайплайна, всё тоже быстро. У нас аптаймы подов, обычно, час-другой, т.к. мы пишем патчи каждый день, а вы? Кроме того, ребалансировка, и запуск подов на другой ноде, с внешними зависимостями (то, что мы не обновляем, или обновляем редко) тоже происходит часто.

Я живой обладатель кластера кубера небольшого с девопсом

Все такие. У меня тоже, кроме прода, есть кубер на локалхосте :)

но с радостью услышу конструктивную критику и реальный опыт) ,

В первую очередь, ливните из тусовки админов. Это не поможет в Вашей карьере, а наоборот. А во-вторую,

Это нормально в АйТи лол — это ненормально если продукт умирает через год) и твои знания становятся пустышкой через два)

Избавьтесь от этой идеи. Учиться, даже бесполезным знаниям, полезно: это зарядка для серого вещества, а так же бустер к зарплате.

Да и серьезный проект не уйдет никогда на aws и прочие, есть секретка, безопасность, требования законодательства

Private cloud? Не, не слышали. Кстати, у Вас там в России есть яндекс-облако с managed k8s.

Тенденция обучения разрабов девопсу присутсвует и буксует ровно на том месте где нужно что-то взаимодействовать

Мне кажется, проблема работодателя

Найти девопса неожиданно стоит несколько дороже

Он стоит своих денег. Например, быстро учится и говорит с разрабами на одном языке, т.к. сам разраб — инфраструктурных тулзов.

Уход в облака не делает отказоустойчивость,

Если нанять админа, а не инфраструктурного разработчика, да.
Аптайм виртуалки не имеет никакого значения. — вы понимаете смысл базы данных? как она работает? что происходит если во время записи перезагрузить? Вы работали хотябы с 5TB базой данных? Вы понимаете что такое гарантированная запись и гарантированный ответ с гарантированным таймаутом?

Еще раз повторюсь вы мыслите очень узко, вы говорите о жизненном цикле разработки а не о жизненном цикле прода, в проде важно чтобы тот же nginx имел аптайм не менее года+имел схемы резервирования теми же haproxy, если тот же интернет магазин будет глючить (как сейчас глючит ситилинк кстати) то неожиданно я как клиент откажусь от магазина!!! Если вы перегрузите БД подную с товарными то неожиданно потеряете клиента или даже отпустите товар по нетой цене.
А есть еще банки, есть аналитика, есть тьма же тем которым важна долговечность и качество а не гонка за непойми чем
вы понимаете смысл базы данных? как она работает? что происходит если во время записи перезагрузить?

Вы слышали когда-нибудь о CAP theorem, о NoSQL, об устойчивых к разделению хранилищах, а так же об s3 протоколе и s3-совметимых системах?
У нас, как раз, сотни терабайт сырых данных :)

Вы понимаете что такое гарантированная запись и гарантированный ответ с гарантированным таймаутом?

Я да. А вот понимаете ли Вы, не уверена. Мне кажется, люди используют SQL во всех случаях в 2021 так же по-привычке, как используют VM. И связано это, во многом, с тем, что они нанимают админов, а не инфраструктурных разработчиков, которые были бы вовлечены в процесс разработки приложения, и могли бы предложить поменять архитектуру на ту, что скейлится лучше

Еще раз повторюсь вы мыслите очень узко, вы говорите о жизненном цикле разработки а не о жизненном цикле прода

Напротив. А ещё, я практически уверена, что Ваш кейс, как и 99% других, ничем не уникален, и мог бы спокойно жить в AWS/GCP, например, с помощью database partitioning и AWS RDS/Google Cloud SQL

в проде важно чтобы тот же nginx имел аптайм не менее года

ахаха, у меня какие-то флэшбеки в 2010й год :(

Вопрос, Вы хоть раз в жизни работали с ингресом в k8s? А с LB в AWS или другом публичном облаке?

Если вы перегрузите БД подную с товарными

Нет ощущения, что Вы вообще что-то понимаете (простите)
Так как читающие этот тред имеют, вероятно, хардскиллы уровня моего оппонента, то поясню дополнительно, что именно меня тут рассмешило:

ахаха, у меня какие-то флэшбеки в 2010й год :(

Вопрос, Вы хоть раз в жизни работали с ингресом в k8s? А с LB в AWS или другом публичном облаке?

Даже в 2010м для балансировки HTTP/imap/pop через nginx аптайм реверс прокси сервера не имел никакого значения, FreeBSD Carp/Linux Heartbeat(pacemaker) решали вопрос мастер/слейв HA
Это очень по-админски, и очень в стиле начала 2010х рассуждать не об аптайме микросервиса, а об аптайме виртуальных машин :)

100ни терабайтов сырых это 10ки обрабработаных пожатых? Сколько у вас зарплатный бюджет и сколько платите в год за это? В общем какой бюджет итого? У нас 10ки ТБ непожатых могу озвучить годовой бюджет, уверен он раз в 20-50 меньше

Бюджеты - под строгим NDA, сорри. Но в общем и целом, Вам никто не мешает поставить k8s на собственное железо вместо сабжа

Мешает бюджет и отсутсвие экспертизы, также требования кучи экспертов в итого с кучей простоев пока не устаканется и неизвестным итого;)

А так все просто)))) приколисты вы)

Вы по Москве адекватных спецов искали? мы да, неповерите как yandex всех адекватных сгребает, а у оставшихся даже NGINX вызывает кучу вопрсоов

Или предлагаете в одно рыло все тянуть?))

Я уже писала, что я вовсе не из России, я живу в Канаде

Ну вот и сдулись все ваши возгласы о суровые будни бытия))) и не осталось доводов за свою систему кроме как это у нас круто и мы все можем, но за дорого и где-то там)

Где-то там есть многомилионные бюджеты в долларах, каша слаще, и вообще все круто)

Ну вот и сдулись все ваши возгласы о суровые будни бытия))) и не осталось доводов за свою систему кроме как это у нас круто и мы все можем, но за дорого и где-то там)

Странные выводы. У меня совсем другие:

  1. после последних инициатив госдуры российское IT перестало быть таким продвинутым, как было ранее

  2. У вас будет тоже самое, просто позже, на несколько лет - у нас Амазон с гуглом убили профессию сисадмина лет 5 назад, у Вас Яндекс и его возможные конкуренты сделают это чуть позже, например, года через три

Люди используют публичные облака не просто так, они просто дешевле - в терминах стоимости владения - чем собственное железо. Банки и прочие зарегулированные организации тоже уйдут в клауд, просто в свой собственный, на своём железе.

в проде важно чтобы тот же nginx имел аптайм не менее года

гхм, но зачем? если я раз в час буду запускать nginx -s reload, проду поплохеет? (в одном проекте именно так и делали)

Брал dedicated сервер на proxmox и esxi. На proxmox не смог обратиться к своему же внешнему (то что дал хостер) ipшнику из гостевой ОС (хощу ферму веб серверов, хотел заходить на свои же сайты из гостевой ОС). Так же лично я не смог запустить hyper-v на гостевой windows.

Из гостя доступ к хост-машине… Ну тут кошку нужно уметь вопрос настроек, наверное. Да и Nested Virtualisation там есть, вполне себе.

Как раз по этой инструкции я и выполнял настройку.

Скажите, у вас лично был опыт запуска Hyper-V под Proxmox? Или доступа к веб-серверу расположенному на другой Guest OS из такой же Guest OS по публичному IP?

просить ЗАЧЕМ? Зачем в ВМ с Win запускать hyper-v?

Производительность такого решения на уровне плинтуса.

Не знаю про этот случай, но в некоторых ситуациях при разработке в Windows используется ВМ и требует поддержки Hyper-V.

Еще раз. Это nested virtualization.
Производительность такого решения на уровне плинтуса. Загуглите.

Ну про BTRFS, по крайней мере про её raid5/6, написанное в статье — преувеличение. Там и write hole есть, и bitrot исправляет не всегда.

Во, как раз тыкаю в Proxmox.

В 6.4 не выключаются штатно LXC (можно кильнуть из консоли). Не пробрасываются настройки DNS с хоста (можно руками завести). Ладно, в 7.0 это всё починили.

Но в 7.0 первый раз при загрузке LXC что-то с консолью в веб-интерфейсе (не выводит ничего), но после перезапуска контейнера норм. Но зато сломали миграцию контейнеров: не копируются файлы конфигурации контейнера на другой хост и там он, соответственно, не запускается.

Proxmox Backup Server 1.1 с PVE 7.0 несовместим. Ждите, пишут, Proxmox Backup Server 2.

Кто ещё какие баги нашёл?

Я назову не баг, но милую фичу, которую вообще стоит учесть при планировании обновления на 7.0: благодаря решению строить 7.0 на базе нерелизного Debian, получаем недоступность реп для стороннего софта на PVE. Как дешевый пример - Zabbix, у Заббикса просто нет репы для версии 11 Дебиана.

В общем, со всем моим нежным отношением к PVE, ряд шагов в этом релизе у них просто пионерский: сам релиз на базе Debian 11, который ещё не релиз; предложение использовать Btrfs (да-да, снова повод поиметь нестабильность); вот, вопросы, которые Вы называете про консоль и прочее.

Для платформы такого распространения и такого стажа на рынке (и ведь вопрос репутации для PVE весьма важен!) довольно несерьёзное поведение. Никто, так понимаю, с пистолетом у виска релиз не гнал сделать срочно-срочно.

Да, тоже не смог обновиться с 6 на 7.

Но может это просто бизнес? Что-бы подписку покупали - выпускают релизы с очевидными проблемами?

Бабка на двое сказала тут... Еще немного таких "очевидных проблем", и народ с деньгами пойдет смотреть в сторону либо Hyper-V, либо VMWare (все же ценник на подписку у Proxmox довольно заметный), а кто предпочитает "бесплатно, т.е. даром", будут думать над другими вариантами KVM. Не то чтобы их прямо много, и Proxmox столько лет быть золотой серединой, уже готовым решением, но еще которое можно было не покупать, но рынок меняется, а "добрая" молва от очевидно странных решений легко опрокинет годами наработанную репутацию.

Вот спросит меня знакомый, что ему на хост-машину ставить, я бы раньше ответил - " https://pve.proxmox.com , качай и ставь", а теперь добавлять придется "только при установке не выбери для рутового раздела ZFS или Btrfs, только смотри, какая у тебя версия и не ругайся, когда заббикс откажется встать, только..." - в общем, дистр годен, но "годен с оговорками", что называется.

100 евро за сокет — мне кажется это заметно дешевле нафаршированной vSphere+Veeam.

По умолчанию вроде XFS предлагается. Если человек выбирает BTRFS — мне кажется он должен понимать какие здесь риски.

Мне не нравится не BTRFS, мне не нравится, что в релизах не работает базовый функционал по типу выключения контейнеров или миграции контейнеров, пропустить такие ошибки на тестировании ну сложно представить как возможно.

И здесь либо тестирование не ведётся, либо специально выпускаются релизы с серьезными проблемами, причем в разных релизах проблемы разные.
С другой стороны, если всё будет работать, кто будет покупать подписку?)

Я PVE уважал, что он из коробки уже работает. Если это будет конструктор «сумей меня настроить», то цена вхождения в него станет выше, чем у конкурентов - так себе идея.

Уже не говорю, что core-версии hyper-v не сказать, чтобы дороги (ирония - я знаю, что core бесплатен), и собрать на них кластер «из коробки», с миграцией и прочими девушками легкого поведения плюшками технически можно.

Правда, PVE в инет задницей выставить - скорее, можно, а вот Hyper-V страшновато, что требует сетевой обвязки. Но ведь и кластер - это штука не для каждого, и хтот некаждый может и роутер/файрволл поставить.

В общем, нужно смотреть, дорого ли дл Proxmox обойдётся такой расслаблн с тестированием, но вроде недешево…

Не, ну Hyper-V на win core — только гипервизор же. Бесплатных гипервизоров сейчас тьма: xen, kvm, hyper-v, esxi с некоторыми ограничениями.

Proxmox не просто гипервизор, это кластер, живая миграция, бэкапилка с дельтами, развертывание Ceph в пару кликов с живой миграцией без общей хранилки, файервол снаружи виртуалки. И всё это внутренне интегрировано (надо намного меньше знать для настройки) и заводится в несколько кликов. Дополнительно контейнерная виртуализация (меньше оверхэд на IO, CPU, память).

На альтернативных системах чтобы это все поднять, надо много что долго изучать и намного выше квалификацию иметь.

Кто-то использовал Ceph с Proxmox? Как отзывы со стабильностью и отказоустойчивостью?

Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории