company_banner

Неожиданные подвохи при перенаправлениях оболочки в $((i++))

Автор оригинала: Vidar
  • Перевод


Год назад вышла ShellCheck v0.7.1. Главным образом в ней были подчищены и исправлены имеющиеся проверки, но также появились и новые. Лично меня из всех новинок больше всех удивила та, что указывает на проблему, обсуждение которой я еще нигде не встречал:

In demo line 6:
  cat template/header.txt "$f" > archive/$((i++)).txt
                                             ^
  SC2257: Arithmetic modifications in command redirections
          may be discarded. Do them separately. 
#Арифметические изменения при перенаправлениях в command могут быть 
#отброшены. Выполняйте их отдельно

А вот весь скрипт:

#!/bin/bash
i=1
for f in *.txt
do
  echo "Archiving $f as $i.txt"
  cat template/header.txt "$f" > archive/$((i++)).txt
done

Опытные «сценаристы» уже наверняка забежали вперед и повторили это в своей оболочке, выяснив, что изменение будет работать, по крайней мере в Bash 5.0.16(1):

bash-5.0$ i=0; echo foo > $((i++)).txt; echo "$i" 
1

Исходя из этого вы можете ожидать беглого просмотра истории коммитов Bash, и, быть может, призыва сохранять благосклонность к нашим обездоленным собратьям на macOS, использующим Bash 3.

Но нет. Вот демо-скрипт на той же системе:

bash-5.0$ ./demo
Archiving chocolate_cake_recipe.txt as 1.txt
Archiving emo_poems.txt as 1.txt
Archiving project_ideas.txt as 1.txt

То же самое верно для source ./demo, которая выполняет скрипт в том же экземпляре оболочки, где мы только что проводили проверку. Более того, происходит это только при перенаправлениях, но не в аргументах.

Так в чем же здесь дело?

Оказывается, что Bash, Ksh и BusyBox ash в процессе установки файловых дескрипторов также расширяют имя файла, из которого происходит перенаправление. Если вы знакомы с моделью процессов Unix, то псевдокод будет выглядеть так:

if command is external:
  fork child process:
    filename := expandString(command.stdout) # инкрементно увеличивает i
    fd[1] := open(filename)
    execve(command.executable, command.args)
else:
  filename := expandString(command.stdout)   # инкрементно увеличивает i
  tmpFd := open(filename)
  run_internal_command(command, stdout=tmpFD)
  close(tmpFD)

Говоря иначе, область изменения переменной зависит от того, произвела ли оболочка ответвление нового процесса в ожидании выполнения команды.

Для встроенных команд, которые не разветвляются, например echo, это означает, что изменение произойдет в текущей оболочке. Именно такой тест мы и провели.

Для внешних же команд вроде cat изменение видимо только между моментом установки файлового дескриптора и вызовом команды для выполнения процесса. Это и делает демо-скрипт.

Конечно же, подоболочки хорошо известны опытным программистам, а также описаны в статье Why Bash is like that: Subshells. Но лично для меня это новый и, в частности, коварный их источник.

К примеру, этот скрипт отлично работает в busybox sh, где cat является встроенной:

$ busybox sh demo
Archiving chocolate_cake_recipe.txt as 1.txt
Archiving emo_poems.txt as 2.txt
Archiving project_ideas.txt as 3.txt

Аналогичным образом эта область может зависеть от того, переопределяли ли вы какие-либо команды функции-обертки:

awk() { gawk "$@"; }
# Инкрементирует
awk 'BEGIN {print "hi"; exit;}' > $((i++)).txt
# Не инкрементирует
gawk 'BEGIN {print "hi"; exit;}' > $((i++)).txt  

Либо, если вы хотите переопределить псевдоним, то результат будет зависеть от того, использовали ли вы command или \:

# Инкрементирует
command git show . > $((i++)).txt
# Не инкрементирует
\git show . > $((i++)).txt

Чтобы избежать этой путаницы, обратите внимание на совет ShellCheck, и если при перенаправлении переменная является частью имени файла, то просто увеличивайте ее отдельно:

anything > "$((i++)).txt"
: $((i++))

Выражаю благодарность Strolls из #bash@Freenode за то, что указал на это поведение.

P.S. В процессе подготовки материала для статьи я выяснил, что dash всегда производит увеличение (хоть и с помощью $((i=i+1)), так как не поддерживает ++). ShellCheck v0.7.1 по-прежнему делает предупреждение, а код из master-ветки этого уже не делает.

RUVDS.com
VDS/VPS-хостинг. Скидка 10% по коду HABR

Комментарии 5

    +1
    Это интересно. Я всегда считал, что форк происходит после expansion. Т.е. сперва шелл строит строку и раскрывает все, что надо раскрыть (в частности $((i++)) ) и только потом уже готовая строка форкается в новый процесс.
      –1
      ShellCheck правильно ругается, не дочитав статью мне сразу было понятно, что там нужны кавычки или присвоить значение переменной, даже если использовать значение переменной, то в имени файла нужны кавычки, а теперь поищите в интернете ответ зачем там нужны кавычки. ShellCheck как раз защищает от unpredictable behavior и чтобы вы в своих скриптах нечаянно не сделали, что типа rm -fr /. У меня 0.7.2 и делает такое предупреждение.
        +3
        Кавычки конечно да, но статья совершенно о другом, стоит все таки прочитать до конца(хотя бы до середины), а то получается как на картинке...
        картинка
        image
          –3
          vaniacer там можно до конца не дочитывать, так как сразу бросается гавнокод стайл и антипатерн, инкремент не желательно в шаблоне использовать, от выстрела себе в ногу какраз все правильно shellcheck защитил, сначала делается инкремент ((i++)), а дальше в шаблон подставляется ${i}, а если совсем по хорошему делать, то в пути к файлам желательно использовать ${i:?}.
          Что автор не понимает поведение BASH это лично его безграмотность, а не косяк shellchecker.
        0

        Для встроенных команд, которые не разветвляются, ...

        Промптом переводил?

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое