Бездисковая загрузка по сети и жизнь после нее

История

Однажды к нам пришли (ну, не сами...) серверы с 14 хардами по 2Тб. Избавившись от аппаратного рейда (зачем — вопрос отдельный), мы задумались о том, что неплохо бы сделать для них загрузку по сети, дабы избавиться от возни с разделами. Диски предполагалось экспортировать по iSCSI, и не хотелось выделять какие-то диски на Особенные Системные Диски, а какие-то на всё остальное. Таким образом возникла задача сделать загрузку по сети с размещением корневого каталога в оперативной памяти.

Теория

По сути, для того, чтобы система загрузилась ей необходимо 3 компонента — ядро, начальное окружение initramfs и корневой каталог, в котором система будет работать.

Практика

Все действия проводятся на машине с ubuntu precise.

PXE

Для начала настроим PXE. Мануалов на эту тему уйма, поэтому я расскажу только самую суть.
Ставим ваш любимый dhcp сервер, например isc-dhcp-server, который будет раздавать машинкам ip адреса и указывать путь к файлу pxelinux.0, который будет отдавать tftp сервер (tftp-hpa или же atftp).

aptitude install isc-dhcp-server tftpd-hpa

Пример конфига dhcp сервера. В примере pxe-сервер находится по адресу 10.0.0.1.

option domain-name-servers 8.8.8.8;
server-name "pxe";

subnet 10.0.0.0 netmask 255.255.255.0 {
        range dynamic-bootp 10.0.0.2 10.0.0.10;
        option subnet-mask 255.255.255.0;
        option routers 10.0.0.1;
        option root-path "10.0.0.1:/var/lib/tftpboot/";

        filename "pxelinux.0";
}

Запускаем tftp сервер (в ubuntu он имеет init-скрипт, но вполне вероятно, что вам придется запускать его и через inetd/xinetd).
Проверяем работоспособность. Кладем файл в каталог /var/lib/tftpboot и пробуем стянуть его tftp клиентом.

tftp 10.0.0.1
tftp> get pxelinux.0

В принципе неважно, где вы возьмете файл pxelinux.0, так как он является просто начальным загрузчиком, в который мы передаем то, что надо грузить дальше.
Вы можете сделать красивую менюшку в загрузчике, но сейчас нам это не нужно, поэтому мой pxelinux.cfg/default выглядит так

default vesamenu.c32
aprompt 1
timeout 2
label ubuntu 12.04
menu label Ubuntu precise
kernel vmlinuz
append initrd=initrd.img boot=ram rooturl=http://10.0.0.1/rootfs.squashfs ip=dhcp

rootfs

Образ rootfs собираем через debootstrap, чрутимся в него и ставим необходимые программы. Настраиваем сеть, hostname, фаервол и прочее, чем больше сделаем настроек, тем больше будет образ. Главное не забудьте сменить пароль на рута.

mkdir -p /mnt/rootfs
debootstrap precise /mnt/rootfs/ http://mirror.yandex.ru/ubuntu/
chroot /mnt/rootfs /bin/bash
aptitude install vim 
...

С нашим минимальным набором система получилась весом 200Мб.

Initramfs

В этом примере мы будем забирать образ корневой фс с веб-сервера, расположенного на нашем сервере сетевой загрузки, то есть на 10.0.0.1. Решение было таким просто потому, что в нашем initramfs была утилита wget. Чтобы не тянуть большой объем данных по сети, мы решили сжать образ. Это можно было бы сделать и обычным tar, но можно попробовать squashfs, тем более, что обычно в initramfs tar не встроен, с другой стороны, ничего не мешает его туда добавить.

Squashfs
Squashfs — это сжимающая файловая система, которая включена в ядро с версии 2.6.29. С ее помощью можно заархивировать каталог, примонтировать на loop устройство и читать с него, для записи же необходимо провести процедуру добавления файлов в архив. Так как при обращении к squashfs, вы читаете из архива, то это дает дополнительную нагрузку на cpu.

 mksquashfs /mnt/rootfs/ rootfs.squashfs -noappend -always-use-fragments
 du -hs rootfs.squashfs 
 92M	rootfs.squashfs

Для более эфферктивного сжатия вы можете использовать опцию -comp, чтобы установить тип сжатия, по умолчанию используется gzip.

Далее надо научить init из initramfs забирать образ корня и помещать его в оперативную память.

init в initramfs — это скрипт на sh, который производит разбор опций из cmdline, монтирует фс, делает switch_root и запускает гланый init-процесс системы.
Воспользуемся этим и допишем свои опции для cmdline. Напишем скрипт ram, который будет вызываться при значении опции boot=ram.

vim /usr/share/initramfs-tools/scripts/ram

#!/bin/bash
retry_nr=0

do_rammount()
{
        log_begin_msg "Configuring networking"
        configure_networking
        log_end_msg

        log_begin_msg "Downloading rootfs image"
        mkdir -p /tmp/squashfs
        wget ${rooturl} -O /tmp/squashfs/rootfs.squashfs
        log_end_msg

        log_begin_msg "Mounting rootfs image to /mnt/squashfs"
        mkdir -p /mnt/squashfs
        mount -t squashfs -o loop /tmp/squashfs/rootfs.squashfs /mnt/squashfs
        log_end_msg

        log_begin_msg "Mounting tmpfs and copy rootfs image"
        mkdir -p ${rootmnt}
        mount -t tmpfs -o size=1G none ${rootmnt}
        cp -r -v /mnt/squashfs/* ${rootmnt} || exit 2
        log_end_msg

        log_begin_msg "Umount squashfs"
        umount /mnt/squashfs || exit 2
        log_end_msg
}
mountroot()
{
        for x in $(cat /proc/cmdline); do
                case $x in
                rooturl=*)
                        export rooturl=${x#rooturl=}
                        ;;
                esac
        done

        log_begin_msg "Loading module squashfs"
        modprobe squashfs
        log_end_msg        # For DHCP
        modprobe af_packet

        wait_for_udev 10

        # Default delay is around 180s
        delay=${ROOTDELAY:-180}

        # loop until rammount succeeds
        do_rammount

        while [ ${retry_nr} -lt ${delay} ] && [ ! -e ${rootmnt}${init} ]; do
                log_begin_msg "Retrying rammount"
                /bin/sleep 1
                do_rammount
                retry_nr=$(( ${retry_nr} + 1 ))
                log_end_msg
        done
}

Через параметр rooturl можно указывать откуда качать образ корневой фс. Для работы со squashfs необходимо подгрузить ее модуль в ядро. Указываем в /etc/initramfs-tools/initramfs.conf BOOT=ram и пересобираем initramfs

mkinitramfs -o /var/lib/tftpboot/initrd.img

Включаем машинку, на которой будем тестировать, и смотрим на происходящее. После успешной загрузки мы получили бездисковую систему, которая занимает в памяти около 300Мб, при этом мы может писать в нее, но после ребута, система вернется в свое первоначальное состояние.

В это примере, мы использовали squashfs просто для сжатия образа, но почему бы нам не попробовать примонтировать корневой раздел в squashfs и не посмотреть, что получится? Меняем наш скрипт, в функции do_rammount() оставляем только монтирование squashfs.

do_rammount()
{
        log_begin_msg "Configuring networking"
        configure_networking
        log_end_msg

        log_begin_msg "Downloading rootfs image"
        mkdir -p /tmp/squashfs
        wget ${rooturl} -O /tmp/squashfs/rootfs.squashfs
        log_end_msg

        log_begin_msg "Mounting rootfs image to /mnt/squashfs"
        mkdir -p /mnt/squashfs
        mount -t squashfs -o loop /tmp/squashfs/rootfs.squashfs ${rootmnt}
        log_end_msg

}

Пересобираем initramfs, запускаем, смотрим. Система загружается в режиме ro, но зато занимает в памяти всего около 180Мб.
В каких-то случаях монтирование в режиме ro это хорошо, но нас это не устраивает, но и просто так тратить оперативную память нам тоже не хочется. Выход же был найден при помощи Aufs.

Aufs
Aufs позволяет делать каскадно-объединённое монтирование файловых систем — одну в режиме только на чтение, а вторую в rw. Работает она в режиме copy-on-write, то есть все изменения записываются на rw систему и после этого чтение производится с нее же.
Опять переписываем наш скрипт.
В фукнцию mountroot() добавляем

        log_begin_msg "Loading module aufs"
        modprobe aufs
        log_end_msg

А фукнцию do_rammount() приводим к следующему виду:

do_rammount()
{
        log_begin_msg "Configuring networking"
        configure_networking
        log_end_msg

        log_begin_msg "Downloading rootfs image"
        mkdir -p /tmp/squashfs
        wget ${rooturl} -O /tmp/squashfs/rootfs.squashfs
        log_end_msg

        log_begin_msg "Mounting rootfs image to /mnt/ro"
        mkdir -p /mnt/ro
        mount -t squashfs -o loop /tmp/squashfs/rootfs.squashfs /mnt/ro
        log_end_msg

        log_begin_msg "Mounting tmpfs to /mnt/rw"
        mkdir -p /mnt/rw
        mount -t tmpfs -o size=1G none /mnt/rw
        log_end_msg

        log_begin_msg "Mounting aufs to /mnt/aufs"
        mkdir -p /mnt/aufs
        mount -t aufs -o dirs=/mnt/rw=rw:/mnt/ro=ro aufs /mnt/aufs
        log_end_msg

        [ -d /mnt/aufs/mnt/ro ] || mkdir -p /mnt/aufs/mnt/ro
        [ -d /mnt/aufs/mnt/rw ] || mkdir -p /mnt/aufs/mnt/rw

        mount --move /mnt/ro /mnt/aufs/mnt/ro #сдвигаем точку squashfs монтирования в aufs
        mount --move /mnt/rw /mnt/aufs/mnt/rw #сдвигаем точку монтирования tmpfs в aufs 

        mount --move /mnt/aufs ${rootmnt} #сдвигаем точку монтирования aufs в ${rootmnt}
}

Пересобираем initramfs, запускаем, смотрим. Система занимает в памяти 181Мб, при этом мы можем менять ее, писать, читать. Все изменения хранятся отдельно в /mnt/rw, а сама система хранится в /mnt/ro.

В результате мы получили систему, которая грузится по сети, занимает небольшой объем в памяти, при этом после каждой перезагрузки пропадают все изменения (поэтому надо заранее собирать все нужные продукты жизнедеятельности системы в надежное место).

Все вышеперечисленные способы имеют право на жизнь. Надеюсь, что эта информация вам пригодится, а мне же будет интересно почитать/послушать ваши комментарии.
Спасибо за внимание.

Ссылки

Ubuntu boot to ram
Squashfs home page
PXE