Разбираем по полочкам «философию Unix»

Как-то раз я написал пост о том, как проектируются компиляторы. Основная идея этого поста заключалась в очень простом композиционном примитиве – а именно, выстроить конвейер из функций. Традиционно проектирование компиляторов выстраивается как нисходящий процесс. Компилятор – большая штука, слишком большая, чтобы сразу уложить его в голове. Поэтому задачи дробятся до тех пор, пока не удастся остановиться на какой-нибудь удобоваримой подзадаче, например: написать парсер. Эта проблема уже достаточно компактная, чтобы справиться с ней в одиночку.

Сегодня же я хочу поговорить о подходе к проектированию, который, при всем сходстве с вышеописанным, устроен совершенно наоборот. Как и вышеупомянутый подход, он позволяет дробить большую задачу на более мелкие, но на сей раз все мелкие подзадачи, к которым мы подходим, уже будут решены. Поэтому сформулируем вопрос по-другому: как же спроектировать такую систему? Как при проектировании системы правильно выйти на набор мелких подзадач, каждая из которых сама по себе решена?

«Философия Unix»

Здесь я приведу лучшую, на мой взгляд, формулировку философии Unix; Википедия приписывает эту формулировку пользователю Salus:

• Пиши программы, каждая из которых делает ровно одну вещь и делает ее хорошо.
• Пиши программы так, чтобы было удобно использовать их вместе.
• Пиши программы для обработки текстовых потоков, так как это универсальный интерфейс.

Поскольку я уже анонсировал композицию, вы, пожалуй, не удивитесь, что излагаемая здесь философия целиком построена вокруг композиции. Нам нужны сподручные компоненты, единообразные механизмы для сборки программы из этих компонентов, а еще мы хотим убедиться, что можем собрать максимальное количество этих компонентов в единый механизм, где они бы нормально взаимодействовали. В принципе, эта работа похожа на сборку конструктора Lego.

Одна из причин, по которым мне нравится вот так дробить задачи – в том, что с мелкими подзадачами сложно нарваться на проблемы. Конечно, возможны вопросы о том, что такое «делать ровно одну вещь», а также можно задуматься о выборе конкретного варианта текстовых потоков в качестве универсального интерфейса, но за пределами этих частностей такая стратегия совершенно неоспорима.

Другие формулировки сильнее тяготеют к прямому руководству (также из Википедии):

Каждую программу пиши так, чтобы она хорошо делала одну вещь. Приступая к новой задаче, пиши с нуля, а не усложняй старые программы, добавляя в них новые «фичи». Рассчитывай, чтобы вывод каждой программы годился в качестве ввода для новой, еще неизвестной программы. Не засоряй вывод лишней информацией. Избегай строго колоночного или двоичного формата ввода. Не настаивай на интерактивном вводе.

Иногда эти советы могут быть рациональны, но не всегда. Сломано немало копий по поводу того, «нарушают» ли эту философию утилиты ядра GNU потому, что у них так много флагов и т. п. В конце концов, нужен лиtar флаг для каждого из форматов сжатия? Почему бы нам не использовать отдельный разархиватор и конвейер, именно так, как явно предполагается в философии Unix?

Но эта критика – в основном мимо. Да, пожалуй, было бы приятно иметь очень маленькие и простые утилиты, но, едва выйдя в публичное пространство, они превращаются в границы системы, после чего их уже нельзя менять без учета обратной совместимости. Олдскульный подход к тому, как выявить в коде ненужные фичи и удалить их, тем самым упростив все вещи, потребует отрефакторить инструментарий. Удачи вам и убедительности, когда станете убеждать коллег, что это нормально – в будущем месяце списать чей-то шелл-скрипт, который больше никогда не будет работать.

Вы реально «нарушаете» философию Unix лишь в случае, когда пишете шелл-утилиты, работающие не так, как все прочие.

Но вот чем вы рискуете, слишком увлекаясь подходом «делать всего одну вещь». Вы рискуете замкнуться в программистском восприятии проблемы «заточенном на фичи», а не рассматривать проблему как «ориентированную на решение задач», как ее видит пользователь. В самом деле, никому никогда не следует критиковать tar zxvf за выполнение задачи, которая в большинстве случаев стоит перед каждым, обращающимся к tar: файл tar.gz нужно разархивировать. Взять наиболее типичный случай, с которым придется иметь дело пользователю, после чего не решить его проблему напрямую, а потребовать, чтобы пользователь сразу потянулся за более сложной комбинацией инструментов – в любом случае, так себе дизайн.

Разумеется, было бы хорошо, если бы также не требовалось запоминать флаги вроде zxvf.

“Всё — файл”

Хотя я и думаю, что многие считают этот тезис элементом философии Unix, на самом деле формулировка “всё – файл” это отдельная идея. Вероятно, она приобрела некоторую известность, поскольку активно задействовалась при проектировании Plan 9. Философия Unix касается композиции, а область применения этой идеи более узка.

В частности, философия Unix предполагает, что утилиты должны потреблять и/или производить потоки текста. Это полезно потому, что так удается использовать больше утилит в связке друг с другом. Для того, чтобы из кусочков составлялось более крупное единство, кусочки должны быть хорошо подогнаны друг к другу.

Но идея “всё — файл” во многом этому противоречит. Она не столько о композиции, сколько о многоразовости. В данном случае суть в том, что у нас есть отдельный интерфейс с общим набором операций (открыть/закрыть/прочитать/записать), и мы можем взаимодействовать с интерфейсом на уровне этих операций. Мотивация, заложенная во «всё – файл» попросту такова: у нас есть широчайший набор утилит для операций над интерфейсом, поэтому для любой операции, влезающей в наш интерфейс, мы получаем все эти утилиты бесплатно. А важнее всего, что нам не придется изучать иной набор утилит. Можно шире применять имеющиеся у вас знания.

Философия Unix никоим образом не требует от нас брать на вооружение тезис «всё — файл». Мы вполне можем работать и с нефайловыми интерфейсами; все, что от нас при этом требуется – создавать утилиты, которые работали бы с интерфейсами конвенциональным образом. Притом, что Plan 9 может претендовать на некоторую идеологическую чистоту, поскольку эта ОС предоставляла сеть приложениям при помощи файловой системы /net, мы с тем же успехом можем добиться под POSIX некоторых аналогичных вещей при помощи netcat. Это не столь критично для того, чтобы с пользой применять оболочку.

Упс, но такого ведь не должно быть

При этом подход, при котором всё расценивается как файлы, сам не лишен недостатков. Еще в 2016 мы ввязались в одном полурегулярном опенсорсном сообществе в холивар, сводящийся к тому, что rm -rf / угробил мой компьютер. После того, как мы бросили работать с излюбленной всеми системой init, оказалось, что суть проблемы была в “efivars”, файловой системе для предоставления переменных системной прошивки. Если прошивка была с багами, то при удалении некоторых переменных систему становилось невозможно загрузить, и она оказывалась в невосстановимом виде.

Разработчик ядра, который когда-то спроектировал efivars, высказался:

В ретроспективе понятно, что она абсолютно не должна была становиться файловой системой. С переменными EFI ассоциировано очень мало метаданных, поэтому крайне удобно предоставлять эту систему так, чтобы ею можно было управлять на уровне чтения и записи. Но реальная прошивка оказалась слишком хрупкой для такого обращения, поэтому, действительно, это решение было ошибочным.

В конце концов, в ядро был добавлен обходной путь, защищающий барахлящие материнские платы от пользователей, собирающихся просто удалить несколько якобы ненужных файлов.

Да это же простейшая возможность представить дерево

Тем временем, Linux продолжает доносить информацию до пользовательского пространства при помощи sysfs; такая практика началась после того, как procfs показал себя не вполне подходящим, чтобы дампить в него такие интерфейсы. Но это также выглядит довольно подозрительно. Главное обоснование, почему sysfs спроектирован именно так, таково: ядро должно сообщать в пользовательское пространство данные, организованные в древовидной форме.

Казалось, что это естественно реализовать в виде файловой системы… объекты – это каталоги, ключи – это файлы, значения – это содержимое файлов, а массивы – это просто пронумерованные подкаталоги. Это и кажется подозрительным. Может быть, мы злоупотребляем файловой системой как таковой, чтобы представить древовидные данные, поскольку у нас нет возможности просто… передавать эти данные в виде дерева? Может быть, и так.

Это и наблюдается. На самом деле, правильно использовать /sys напрямую достаточно сложно, поэтому мы все равно постоянно прибегаем к инструментам вроде lspci, а файловая система как таковая нас уже практически не волнует. Таким образом, зачем же беспокоиться о файловой системе? При этом, придерживаясь работы с файловой системой, вы приобретаете проблемы, если вам требуется выполнять атомарные транзакционные изменения во множестве файлов сразу. Удачи вам.

Помню, однажды читал о данных, представляемых в виде файлов в /proc или /sys, но вообще их, как правило, сложно читать и понимать. Проблема в следующем: поскольку система постоянно меняется, и поскольку сложно считывать значения сразу из многих файлов, непротиворечивого ответа вы никогда не получите. Вы можете считать одно значение, затем система изменится, и вы там же прочитаете уже другое значение. Результат получается бессмысленным: например, отрицательные значения там, где величина обязательно должна быть положительной, либо расход ресурсов свыше 100%, в таком роде.

Работаем не только с текстовыми потоками

Когда Microsoft, наконец, изрядно надоело, что администрирование машин с Windows превращается в такой ужас, компания выдала блестящее решение: язык PowerShell. В нем вполне достойно воспроизведены лучшие черты философии Unix.

Определенно, у него есть и недостатки. Например, почти от всех старых программ Powershell отличается тем, что, для проведения каких-либо операций на нем сначала нужно написать специальный “cmdlet”. Соответственно, не так он и универсален, хотя, на нем все равно можно выполнять любые процессы и передавать любые аргументы командной строки.
Но с композиционной точки зрения PowerShell в основном поддерживает все тот же дизайн, что и Unix, но работает с потоками объектов, а не с потоками текста. Он дает приемлемую интероперабельность с текстовыми потоками, поскольку выполняет некоторые неявные преобразования (одно из них применяется почти всегда, с его помощью результаты отображаются в консоли).

В общем и целом, я бы назвал PowerShell грандиозным успехом. Он вынужденно замахивается на дизайн, более сложный, чем в Unix (в конце концов, ему приходится работать с уже существующими Windows API), но при этом предоставляет и дополнительные возможности, благодаря которым такая сложность приемлема. Powershell вполне приспособлен для работы с древовидными данными, пусть и в объектном преломлении.

Тем временем, философия «всё – файл» здесь и не просматривается. Поскольку все сущности являются объектами, вы освобождаетесь от необходимости иметь всего один файловый интерфейс. Напротив, теперь можно работать с объектами, реализующими почти любые интерфейсы. Такой подход более сложный, но и более мощный, и иногда стоит пойти на такой компромисс.

Есть и другие проблемы с тем, как спроектирован PowerShell, но, думаю, его можно охарактеризовать как «философия Unix: избранное и лучшее», а дополнительная сложность, присущая этому языку, нужна для обеспечения совместимости. Композиция – исключительно полезное средство при проектировании системы такого рода. Вторичная цель – обеспечить многоразовое использование. Философия «всё – файл» в рамках проектируемой нами системы нисколько не сравнится в полезности с более фундаментальной возможностью самостоятельно сформировать полезный инструментарий.

Композиция – это работа с типами

Чтобы скомпоновать определенные вещи, необходимо знать, как они стыкуются, а значит – нужно работать с типами. Начнем с того, каков тип базового элемента, например, процесса с его окружением, аргументами командной строки, stdin, stdout, stderr и кодом возврата. Процесс – это и есть базовая единица, которой мы собираемся оперировать.

Затем можно приступить к формулировке всех способов, какими можно скомпоновать такую вещь. Обычно, но не всегда, удается создать большее значение данного типа из меньших значений такого типа. Иногда хочется склеить вместе элементы разных типов.

При обращении с типичными оболочками эта работа настолько выходит за пределы работы с каналами |, что даже голова кружится. Работая с кодами возврата, можно реализовать логику && и ||. Можно захватывать вывод в виде переменных при помощи $(cmd). Можно выполнять переадресацию в файлы или создавать временные каналы также в виде «файлов» при помощи >(cmd), так, чтобы файлы могли переадресовываться командам обратно, даже без записи на диск. И т. д.

# paste принимает имена файлов в качестве аргументов
$ paste <(echo -e "a\nb\nc") <(echo -e "q\nw\ne")
a	q
b	w
c	e

Итак, обрисовав всевозможные способы компоновки элементов, давайте попытаемся поработать с такой системой. Со временем мы соберем стандартную библиотеку из всех этих маленьких заготовок, которые всегда должны быть у нас под рукой. (Не бойтесь рефакторинга, ведь до того, как эти API превратились в границы системы, процесс постепенной доводки в стиле agile в значительной степени был определяющим на раннем этапе разработки Unix-оболочки). В конце концов, занимаясь компоновкой более крупных элементов, будем все чаще обнаруживать, что у нас уже есть готовые мелкие элементы для их сборки.

Трактуя композицию именно таким образом, в терминах компоновки операторов и тех типов, что они принимают и производят, неудивительно делать акцент на древовидных данных как на концепции, недооцененной во многих языках программирования. Почти любая композиция приводит к созданию дерева (или, как минимум, ориентированного ациклического графа, реже – просто графа). Это одна из основополагающих структур, которые мы должны быть в состоянии представлять.

В самом деле, несмотря на то, что философия Unix десятилетиями дает нам аккуратные маленькие оболочки, приспособленные для композиции, есть и мейнстримовые языки вроде Java. В них до самого 2014 года не было предусмотрено возможности компоновать мелкие операции подобным образом, пока не появились потоковые API.

Знаете, иногда я задумываюсь, а почему мы такие странные?