Ghost in the Xen

[cst]

Аж муражки по коже от ваших рассуждений.

[amarao]

Это не мурашки. Это реальность. Есть четыре сервера. Железных. Занимают два юнита. К ним идут провода.

А есть 50+ виртуальных машин. Среди которых затесалась 51ая, которой нет в реестре. И которую нельзя сделать xe vm-shutdown/xe vm-destroy. Но которая вполне себе живая…

Примерно так же бывает на файловой системе: inode есть, а имени у него нет… Но с этим научились бороться; да и занятый inode не умеет отсылать трафик по сети…

[psylostlife]

[Delfino]

взгляд какой жалостливый

[0lympian]

Ага… типа «погладь Т4»

[NastyIII]

Легенда о черном хосте.

[dmitriko]

$ ps awx |grep qemu-dm

позволит найти Ваш «призрак»

[amarao]

qemu-dm используется только для HVM. В моём случае это была PVM, в которой было специально адаптированное ядро.

[dmitriko]

О, тогда это действительно загадочная истрория!

[yakubov]

Мистичненько

[soomrack]

что в логах?

[amarao]

В каких логах? xensource.log? Там море всего — и ничего крамольного. В логах «призрака» вообще тишина и покой.

Какие ещё логи смотреть?

[soomrack]

>Эта виртуальная машина когда-то имела диск, но диск был удалён (и осталась только его кешированная копия в памяти), что, в принципе, не мешало на этот диск писать/читать.

Это понятно.

>Эта виртуальная машина когда-то имела виртуальный сетевой адаптер, но он был удалён, что в принципе, не мешало отправлять и получать ip-пакеты.

Это тоже понятно.

>Эта виртуальная машина была — и её не стало.

Это не понятно. Машина была удалена? Если удалена, то как?

[amarao]

Элементарно:

xe vbd-list vm-uuid=(our VM-uuid)
xe vif-list vm-uuid=(our VM-uuid)
xe vm-destroy uuid=(our VM-uuid)
xe vdi-destory uuid=(VDI-uuid, который мы посмотрели в п.1)
xe vif-destroy uuid=(vif-uuid, который мы посмотрели в п.2)

После этого vm отсутствует в xe vm-list.

[amarao]

Именно. Более того, в нормальном режиме vm-destroy отказывается выполнять операцию над running, требуя статус halted.

А у меня в результате манипуляций с мастер-нодой (перезагрузка не вовремя) получился статус halted для запущенной VM. Всё последующее — результат именно этого.

[ktototam]

А откуда вы знаете, что призрак умер, когда вы перезагрузили сервер? )

[amarao]

по ssh перестало пускать.

[ktototam]

он просто обиделся!

[yul]

и пересел на другой сервак

[amarao]

Миграция не работала ещё до того, как он (она?) превратился в призрака.

[zed_0xff]

успел убежать в Сеть?..

[amarao]

нет. Я за сегодня отладил технику производства этих призраков, она довольно простая.

[amarao]

Ну, дальше мы применяем принцип Оккама и считаем, что явление, существования которого мы не можем доказать, не существует. [если бы он себя хоть как-то проявлял, мы бы могли это использовать как доказательство существования бога]. Так как он себя никак не проявляет, то мы можем смело считать, что его нет.

[keir]

ну можно поковырять таблицы виртуальных свичей и локализовать левый mac, после чего
2.…
3 PROFIT!
остановить/убить контекст виртуалки на более низком уровне. Должны быть инструменты.

[amarao]

Проблема в том, что более низкий уровень (пересоздание ovs бриджа) связано с прерыванием связи VDS'ов. А в таком режиме, что бридж переделать, что ребутнуть хост — не выход.

Алсо, если виртуальная машина переодически делает сама себе eth0 down, то даже это не поможет (она раз в сутки подключается, сливает данные/получает команды, и снова в автономку).

[mechmind]

Круто, незримый ботнет в облаках получил право на жизнь.

[Ar2r]

Это очень похоже на недокументированную функцию, которая позволяет запускать виртуальные машины в полностью невидимом режиме :-) Очень актуально во время визита масок-шоу.

[andoriyu]

/me выстрал кирпичи. зачем же такое постить в 4 утра!

[mukizu]

Девятый отдел одобряет

[amarao]

Откуда вы узнали device num для этой VM??

[mukizu]

закрытая информация

[kronos]

> Опытный экзорцист изгонит из вашего облака всех призраков. Дорого. Гарантия.

Дорогой нынче ребут.

[Ar2r]

+1

Чаще всего на ночь планируется запуск процедур, котореы долго отрабатывают. Следовательно ребутить сервак очень рискованно. А днем все будут против — работают площадки.

ВДС держу у питерского хостера, и заметил, что с 1 ночи до 5 утра они иногда ребятут сервер, предварительно остановив мою вдс на минут 10-20.

Планирую теперь все высоконагрузочные процедуры в течение рабочего дня =)

[amarao]

Облако тем и отличается от обычных VDS, что для обслуживания хоста стопить гвестов (VDS) не нужно — их просто мигрируют на соседний хост. Лаг при этом исчисляется секундами.

[fabela_arbaro]

Project 2501 обрёл призрак и смылся?

[FX_Pain]

Название топика порадовало.
В общем прогресс компьютерных призраков на лицо. Раньше они только мусорили в системе, а теперь с ними пообщаться уже можно.
Будь я ИИ, наделал бы себе таким образом запасных «копий». )

[amarao]

главная разница в том, что «удалённая инода» (и даже удалённый интерфейс) не является активной сущностью. С точки зрения old plain unix всё делится на процессы и файлы. Файлы могут быть «призраками» и никого это не волнует. В данном же случае у нас _процесс_ призрак.

Попробуйте найти аналогию именно «невидимому процессу».

[amarao]

Это xen cloud, это не xenserver, тут немного по-друому.

Но, да, консоли от этой виртуалки не было. Т.е. для всех консоль была, а для этой исчезла, как будто бы виртуалка была удалена.

vncterm'а тоже не было.

[amarao]

С дисками пофигу, главное, что оно продолжало работать (т.е. была активная сущность, а не ресурс).

[MealstroM]

Смех смехом, но «Бубен для изгнания призраков» звучит уже по новому…

«У вас бесы поселились»

[mechmind]

И бесы подрались с демонами.

[amarao]

xend VS ghost_vm…

Вполне такая себе история.

[bear11]

https://sourceforge.net/projects/usbip/forums/forum/418508/topic/3388551
вам в помощь.

[amarao]

Xen Cloud Platform != Xen Server.

[amarao]

Гипервизор тот же, вся остальная архитектура совсем другая, в т.ч. интерфейс и представление виртуалок.

Основное различие — понятие pool'а (из хостов), понятие общего стора, общей сети.

[amc]

Пользуйтесь аппаратными решениями, проще. Хоть st-lab n-330.

[p1ayer]

эта функция доступна только для России и применяется в случае визита законных банд формирований! тихо ни кому не говорите больше

[DeadFine]

Барабашки XXI века.

[ssve]

> Я помню байку про сервер, который случайно замуровали и который годами продолжал работать. Его нашли пройдя по проводам

ithappens.ru/story/259

[amarao]

Поздняя переделка. В оригинале это была, кажется, VMS. И было это где-то в районе 80ых.

[amc]

Когдя я в первый раз услышал — NetWare

[schastny]

Я видел зомби DomU в Xen. Симптомы уже смутно помню. По-моему по xm list у него был странный state и потребление ресурсов было по нулям. при этом машина не реагировала на xm shutdown. Непомню помог destroy или тоже нет. Ну в общем-то тоже забавная фишка.

[amarao]

(когда я этот пост писал, я ещё не знал про xen.lowlevel, сейчас я думаю, я этот домен нашёл бы).

Суть произошедшего: был перезагружен мастер, он посчитал, что все машины оффлайн и позволил стереть запись о виртуальной машине из базы XCP без отправки команды на слейв. Таким образом, любые высокоуровневые записи отсутствовали, и машины не существовало (а домен всё ещё оставался). Насколько я знаю зен сейчас, он физически не может иметь PV-домен, которому выделяются тики процессора, не «зная» о его существовании.