Использование, настройка и тестирование distcc и ccache

Предистория:


Однажды мне пришла мысль проверить эффективность таких инструментов как distcc и ccache. Использовались они уже давно, но в голове все еще крутилась мысль о целесообразности этого всего. И вот наконец руки дошли проверить на практике, сразу предупреждаю что все делалось для себя, в реальных условиях, и результаты ваших тестов могут не совпадать с приведенными ниже. Рассмотрим установку и настройку этих компонентов, а затем проведем тестирование скорости сборки с помощью команды time.


Теория:


Для начала определимся что это такое и для чего может пригодится. Хотя если вы это читаете, то наверно уже понимаете для чего применяются эти инструменты.
Пару слов о Distcc из википедии.
Distcc (от англ. distributed C/C++/ObjC compiler) — инструмент, позволяющий компилировать исходные коды при помощи компиляторов C/C++/ObjC на удалённых машинах, что позволяет ускорить процесс компиляции.Состоит из двух основных частей — серверной (distccd) и клиентской (distcc).
Ccache (от англ. compiler cache; произносится «сикэш») — кэш компиляторов языка С и С++ для Linux и других Unix-подобных систем.
Использование ссache может значительно ускорить сборку некоторых пакетов или проектов, которые компилируются несколько раз, так как заново компилироваться будут только файлы, которые изменились с последней компиляции.

Что будем делать?


  1. Установим и настроим distcc и ccache.
  2. Проверим на сколько эффективно работают эти механизмы вместе, и по отдельности.

Имеется следующая инфраструктура: сеть 100 Mib/s, со следующими машинами:

Клиент distcc
Сервер distcc
Сервер distcc Сервер distcc
Процессор
Intel Pentium Dual E2160 1.80GHz
Intel Xeon 3.20GHz
Intel Pentium D CPU 3.00GHz
Intel Pentium 4 CPU 3.00GHz
Память
1 GB
1 GB 1 GB 1 GB
GCC
4.4.5
4.4.5 4.4.5 4.4.5
ОС
gentoo x86
gentoo x86 debian 5.0.7 x86
debian 5.0.7 x86

Как видно машины довольно слабые, но со своими задачами справляются, на момент проведения тестов, все сторонние сервисы были отключены. Также, как можно было заметить, на всех машинах установлена одна версия GCC (рекомендуется использовать одинаковые версии, допускается различие в последней цифре версии 4.4.*) однако ранее на некоторых машинах также использовался GCC 4.4.3 и все прекрасно работало.

Установка и настройка:


Для начала необходимо установить и настроить наши инструменты.

Gentoo

Процесс установки distcc и ccache подробно описан в руководстве, я лишь кратко пройдусь по основным этапами, покажу некоторые нюансы.
Устанавливаем distcc:
emerge -avt distcc
Cмотрим на USE флаги, что нам надо оставляем, что не надо убираем и начинаем установку.
После того как distcc соберется и установится, параметры демона distccd будут находится в файле /etc/conf.d/distccd, список используемых хостов в /etc/distcc/hosts. В /etc/conf.d/distccd необходимо внести изменения в параметры сервера distccd.
Добавим возможность ведения логов, необходимо для отладки, в дальнейшем можно отключить:
DISTCCD_OPTS="${DISTCCD_OPTS} --log-file /var/log/distcc.log --log-level info "
Определим список хостов (сетей) чьи запросы мы будем обрабатывать:
DISTCCD_OPTS="${DISTCCD_OPTS} --allow 192.168.0.0/24"
Укажем интерфейс и порт на котором будет запущен демон:
DISTCCD_OPTS="${DISTCCD_OPTS} --listen 192.168.0.174"
Также есть возможность указать с каким приоритетом будет запущен сервис, это значение необходимо выставлять строго индивидуально, по умолчанию его значение 15:
DISTCCD_OPTS="${DISTCCD_OPTS} -N 15"
Необходимо сказать системе что можно использовать distcc, добавим в make.conf:
FEATURES="distcc"
И определим директорию для временных файлов distcc:
DISTCC_DIR="/tmp/.distcc"
Для тех кому не жалко памяти и хочется увеличить производительность, можно вынести каталог временных файлов на tmpfs (файловая система организовывается в виртуальной памяти (RAM+swap). Подходит для хранения временных файлов.)
mount -t tmpfs tmpfs -o size=850M /tmp/
В случае переполнения tmpfs данные будут писаться в swap что может негативно сказаться на производительности других программ.
Для постоянного использования добавим эту строчку в /etc/fstab:
tmpfs /tmp tmpfs size=850M,mode=0777 0 0

Далее необходимо запустить сам сервис:
/etc/init.d/distccd start
И также можно добавить его в автозагрузку:
rc-update add distccd default

Напомню эти изменения мы вносили для серверной части distcc.
Теперь посмотрим что надо сделать на стороне клиента. Тут все просто, нам необходимо добавить список хостов, которые выступают в качестве серверов distcc, в файл /etc/distcc/hosts в одну строчку через пробел (указывать можно как имена машин так и их ip адреса). Перечисление машин рекомендуется начинать в порядке уменьшения мощности. Клиент может являться сервером, и наоборот.

Устанавливаем ccache по руководству
emerge -avt ccache
Cмотрим на USE флаги, что нам надо оставляем, что не надо убираем и начинаем установку.
После того как ccache соберется и установится, внесем изменения в /etc/make.conf.Скажем системе что необходимо использовать ccache:
FEATURES="distcc ccache "
Установим размер кэша:
CCACHE_SIZE="2G"
Определим место в котором будет находится кэш:
CCACHE_DIR="/var/tmp/ccache"
Деррикторию с кэшем также можно хранить в tmpfs:
mount -t tmpfs tmpfs -o size=2G /var/tmp/ccache
или прописать в fstab:
tmpfs /var/tmp/ccache tmpfs size=2G,mode=0777 0 0
Однако в случае перезагрузки системы все данные в tmpfs будут утеряны, что сведет к нулю все наработки ccache.

Debian

Устанавливаем distcc. Так как клиентом будет машина с gentoo на борту, то на машинах с ОС Debian придется кое-что подправить.
Установим distcc и ccache:
apt-get install distcc
apt-get install ccache

Параметры демона distccd находятся в файле /etc/default/distcc, список используемых хостов находится в /etc/distcc/hosts.
Внесем изменения в /etc/default/distcc. Включаем запуск демона при загрузке машины:
STARTDISTCC="true"
Указываем подсеть с которой слушаем запросы:
ALLOWEDNETS="192.168.3.0/24"
Указываем адрес на котором сервис будет слушать порт:
LISTENER="192.168.3.103"
Приоритет с которым будет работать запущенные процесс:
NICE="15"
Включить или обнаружение через mDNS/DNS-SD
ZEROCONF="false"
Значения в /etc/distcc/hosts заполняем также как на gentoo по необходимости (у меня debian используется только в качестве сервера distcc).
Теперь нам необходимо добавить символьную ссылку на используемую версию gcc, ссылка должна иметь имя исполняемого файла на клиенте (i686-pc-linux-gnu-c++):
cd /usr/bin/
ln -s ./g++-4.4 ./i686-pc-linux-gnu-c++
ln -s ./cpp-4.4 ./i686-pc-linux-gnu-cpp
ln -s ./gcc-4.4 ./i686-pc-linux-gnu-gcc
ln -s ./g++-4.4 ./i686-pc-linux-gnu-g++

Запустим сервер distcc:
/etc/init.d/distccd start
Следует пояснить что ссылки вроде i686-pc-linux-gnu-c++, следует создать, так как в клиентской системе (gentoo) при компиляции запускается жесткая ссылка с таким названием, которая также является gcc-4.4.
Также для достижения лучших результатов, я разместил каталог сборки для временных файлов в файловой системе tmpfs.

Тестирование


Теперь попробуем проверить эффективность на примерах. Для чистоты эксперимента сборка проводилась 3 раза. Собирать будем mplayer, просто первый под руку попался. Тестирование будем проводить с использованием утилиты time, которая на выходе дает следующие показатели:
user — общее количество секунд времени CPU, которое процесс провел в режиме пользователя.
sys — общее количество секунд времени CPU, которое процесс провел в режиме ядра.
real — фактически затраченное время (в секундах).

1 Сборка mplayer на локальном хосте без использования distcc и ccache (-distcc -ccache) с параметром -j2
time MAKEOPTS="-j2" FEATURES="-distcc -ccache" emerge -vt mplayer

1 2 3
real 3m56.979s
user 6m11.729s
sys 0m44.551s
real 3m55.825s
user 6m12.151s
sys 0m43.660s
real 3m55.745s
user 6m12.351s
sys 0m43.671s


2 Сборка mplayer на локальном хосте без использования distcc и ccache (-distcc -ccache) с параметром -j3
time MAKEOPTS="-j3" FEATURES="-distcc -ccache" emerge -vt mplayer

1 2 3
real 3m57.662s
user 6m15.214s
sys 0m43.392s
real 3m58.108s
user 6m14.779s
sys 0m43.656s
real 3m57.901s
user 6m14.894s
sys 0m43.464s


3 Сборка mplayer на локальном хосте без использования distcc, но с включенным ccache (-distcc ccache) с параметром -j2
time MAKEOPTS="-j2" FEATURES="-distcc ccache" emerge -vt mplayer

1 2 3
real 4m14.438s
user 6m28.199s
sys 1m0.705s
real 0m58.587s
user 0m39.101s
sys 0m25.706s
real 0m57.901s
user 0m38.940s
sys 0m25.564s


4 Сборка mplayer на локальном хосте с использованием distcc, но без ccache (distcc -ccache) с параметром -j10
time MAKEOPTS="-j10" FEATURES="distcc -ccache" emerge -vt mplayer

1 2 3
real 2m26.516s
user 1m6.692s
sys 0m34.821s
real 2m27.065s
user 1m6.643s
sys 0m34.856s
real 2m26.965s
user 1m6.593s
sys 0m34.569s


5 Сборка mplayer на локальном хосте с использованием distcc и ccache (distcc ccache) с параметром -j10
time MAKEOPTS="-j10" FEATURES="distcc ccache" emerge -vt mplayer

1 2 3
real 2m28.590s
user 1m16.117s
sys 0m45.723s
real 0m57.456s
user 0m39.892s
sys 0m24.781s
real 0m57.411s
user 0m39.947s
sys 0m24.692s


Решил попробовать что-нибудь по тяжелее, ну например chromium

5 Собираем сначала на локальной машине без distcc и ccache.
time MAKEOPTS="-j2" FEATURES="-distcc -ccache" emerge -vt chromium

1 2 3
real 67m30.435s
user 116m58.378s
sys 11m57.523s
real 66m50.345s
user 115m48.389s
sys 11m59.223s
real 67m45.165s
user 116m59.548s
sys 11m57.530s


6 Попробуем собрать с использованием distcc (distcc -ccache)
time MAKEOPTS="-j10" FEATURES="distcc -ccache" emerge -vt chromium

1 2 3
real 36m25.392s
user 16m2.063s
sys 8m8.307s
real 35m15.291s
user 15m10.604s
sys 7m4.378s
real 35m22.390s
user 15m1.423s
sys 7m5.156s


7 Уже лучше, теперь попробуем тоже самое, но с использованием distcc и ccache.
time MAKEOPTS="-j10" FEATURES="distcc ccache" emerge -vt chromium

1 2 3
real 32m2.656s
user 18m56.006s
sys 10m57.023s
real 17m22.228s
user 18m1.757s
sys 9m36.169s
real 16m59.284s
user 17m59.577s
sys 8m35.679s


Вывод:

Ну вот можно взглянуть на картину целиком, и подвести итог по результатам проведенных тестов. А вывод получается следующий: использование distcc примерно в два раза уменьшает время сборки, а в паре с ccache скорость увеличивается примерно в четыре раза. Лично для себя я решил что и дальше буду использовать данные инструменты.
Share post
AdBlock has stolen the banner, but banners are not teeth — they will be back

More
Ads

Comments 18

    0
    A по сколько ядер CPU на машинах distcc? а то вроде хостов увеличилось вчетверо, а время компиляции только двое. (складывается ощущение что серверы использовали всеголишь по одному процессору).

    п.с. спасибо за принесенное в жертву статистике время :-)
      0
      На машинах по два ядра, и судя по статистике из top, в момент сборки были задействованы полностью. Следует заметить что по дефолту distcc позволяет выполнение двух задач на ядро, однако это значение можно сменить в настройках /etc/distcc/hosts. Параметр -j10 был выбран экспериментальным путем. А узким местом я считаю, малый объем памяти, пропускную способность сети и приоритет запуска (NICE).
        0
        А так же диски и сама FS может вполне влиять. Так как там куча мелких файлов, то скажем XFS справляется куда шустрее (ReiserFS тоже шустро).
          0
          В моей случае на серверах до файловой системы дело не доходит. Задача создает временные файлы в tmpfs, хотя если объем данных будет большой и в размеры tmpfs не поместится… тогда будет задействована файловая система. На клиенте согласен это играет роль, у меня используется ReiserFS. А вот XFS не пробовал для такой задачи, спасибо за идею надо будет попробовать.
            0
            Если объект затребует на tmpfs больше места чем есть свободно в оперативной памяти — ядро kswapd сбрасывает чтонибуть в своп. В Вашем случае как раз 1 гиг оперативки и 2 гига tmpfs => своп будет использоваться, но я думаю это всеравно эффективнее чем стандартная файловая система на диске.
            Файловая система при этом не используется (за исключением случая когда своп на файловой системе).
        0
        Меньшее ускорение от distcc и ccache я бы в первую очередь связал с препроцессингом файлов. ccache кэширует процепроцессированные файлы, поэтому даже при полностью заполненном кэше все равно будет проход препроцессора.
        distcc отправляет на сервера компиляции уже препроцессированные файлы (потому что на другой машине совсем другое окружение).
        0
        В тегах и в заголовке distss, хотя речь идёт от distcc.
          0
          Большое спасибо, исправил. Буду внимательней.
          0
          С distcc всё понятно. А вот при чем тут пересборка одного и того же пакета к ccache не понятно. Для ccache подешло бы тестирование с пересборкой одного и того же пакета разных версий. То что вы пересобрали несколько раз один и тот же пакет дает лишь теоретическое максимальное время, а не практическое. В реальности вы пересобираете пакет с разными опциями различной перелинковки разным либтулом и т.д
            0
            >разным либтулом и т.д

            ccache кэширует только компиляцию объектных файлов, на линковку он не влияет.

            >А вот при чем тут пересборка одного и того же пакета к ccache не понятно.

            Конкретно данный тест показывает степень максимально возможного ускорения от ccache — когда нет кэш-промахов.

            Перекомпиляция малых изменениях полезна при пересборке пакетов в portage, потому что иногда пакеты пересобираются чаще, чем надо. Например, при измении soname у какой-либо библиотеки может потребоваться пересобрать все зависящие от нее пакеты, причем реально потребуется лишь перелинковка, так как объектные файлы не изменятся. Либо же при изменении какого-то USE-флага будет пересобран пакет с большим процентом совпадения собираемых файлов.

            При изменении опций компиляции ccache не поможет, так как ccache в кэше хранит предобработанные файлы вместе со всеми опциями компилятора.
            +1
            > Как то проснувшись утром пришла мысль проверить эффективность таких инструментов как distss и ccache.

            Подъезжая к станции с меня слетела шляпа.
              0
              Спасибо исправил.
              +1
              А вывод получается следующий: использование distcc примерно в два раза уменьшает время сборки, а в паре с ccache скорость увеличивается примерно в четыре раза


              Какой кошмарный вывод из сумбурного текста.

              Сразу надо выкинуть время линковки из ваших замеров, distcc/ccache влияют только на компиляцию препроцессированных исходников. Дальше я говорю только про компиляцию, забудьте про линковку.

              tmpfs бесполезен, выигрыша не даст, обычный дисковый кеш работает отлично, сразу забудьте tmpfs.

              ccache кеширует препроцессированные исходники с учётом пути. Он очень полезен при компиляции одного продукта несколько раз с разными опциями.

              При работе нескольких разработчиков на одной машине (но кеш должен быть всем доступен, что слегка небезопасно) полезен только при таком написании makefile, в котором используются только относительные пути.

              Очень полезен в большом проекте с плохо прописанными зависимостями, можно сделать make clean && make objs. Ещё хорошо, когда вы выгружаете 5-6 слабо отличающихся веток в разных директории и всё собираете. Разница легко может быть в сотни раз.

              С distcc тоже всё просто: если проект способен собираться в десятки потоков — ускорение будет в десятки раз. Я использовал ccache/distcc на ферме из 100 ядер, ускорение было в 500 раз, по сравнению с одной двухъядерной машиной.

              В 500 раз — это за счёт того, что двухъядерная машина была другой архитектуры, а на ферме использовались обычные быстрые intel + cross compiler. Подготовить gcc только для кросс-компиляции без препроцессирования и линковки намного проще.
                0
                Опечатки исправьте, пожалуйста. Distcc, а не distss.
                  0
                  Исправил. Спасибо. Мне стыдно.
                  0
                  >apt-get install distcc
                  >apt-get install ccache


                  apt-get install distcc ccache

                  cэкономит довольно существенное время на перечитывание и обновление базы пакетов.
                    0
                    что сильно раздражает в distcc — неадаптивный -j (количество потоков) для сборки. В идеале, считал бы его make сам, в зависимости от количества узлов в сети (имеются ввиду подключенные к distcc).
                      0
                      make можно передать -j без числа, тогда он запустит параллельно всё, что может, а разбирается уж пусть планировщик ОС.

                    Only users with full accounts can post comments. Log in, please.