AndreiYemelianov Jan 20 2015 at 12:13

Xargs: многообразие вариантов использования

7 min

145K

Selectel corporate blog

+62

Comments 44

Komzpa Jan 20 2015 at 12:29

Перешёл с xargs на GNU Parallel — сильно быстрее во многих случаях, особенно на сложных операциях над файлами.

isden Jan 20 2015 at 12:50

> Как видим, файл, в имени которого имеется пробел, не был удалён.

~/Tmp$> touch "new file.sh" new_file.sh
~/Tmp$> find . -name "new*.sh"
./new file.sh
./new_file.sh
~/Tmp$> find . -name "new*.sh" -exec rm -f '{}' \;
~/Tmp$> find . -name "new*.sh"
~/Tmp$>

DevMan Jan 20 2015 at 13:08

Эта строка относится к примеру с xargs, и дальше пояснение как этого избежать.

isden Jan 20 2015 at 13:12

А я понял, что к find:

DevMan Jan 20 2015 at 13:16

А вы ниже прочитайте на абзац.
Ну а так, то у find есть ключ -delete.

isden Jan 20 2015 at 13:17

И зачем тут тогда вообще нужен xargs? :)

DevMan Jan 20 2015 at 13:18

У автора спросите )) Думаю, что просто приведено как пример.

domas Jan 20 2015 at 22:56

-delete есть в FreeBSD- и GNU-версии find, наверное где-то еще.
Но кроме GNU существует и масса других реализаций find, без -delete. В SunOS например этого нет.

isden Jan 20 2015 at 23:17

В SunOS есть -exec (он, емнип, везде есть). А с ним через rm все прекрасно работает.

onk Jan 27 2015 at 12:37

exec будет вызываться для каждого файла отдельно
а xargs может скормить группу аргументов тому же rm. это работает еще «прекраснее» :)

isden Jan 27 2015 at 12:42

habrahabr.ru/company/selectel/blog/248207/#comment_8233469

sledopit Jan 21 2015 at 01:19

Я не знаю, где вы это прочитали, но УМВР.

 $ touch "test test.sh" "test.sh"
 $ ls -l
total 0
-rw------- 1 user group 0 Jan 21 01:16 test.sh
-rw------- 1 user group 0 Jan 21 01:16 test test.sh
 $ find . -name "t*.sh" -exec rm -vf '{}' \; 
removed ‘./test test.sh’
removed ‘./test.sh’

isden Jan 21 2015 at 01:25

Картинка — скрин из статьи (см. мой коммент выше по ветке).

antosha Jan 21 2015 at 04:55

мистред

sledopit Jan 21 2015 at 01:15

вашу find конструкцию можно существенно ускорить заменив всего лишь один символ:

find . -name "new*.sh" -exec rm -f '{}' \+

оно отработает существенно быстрее, т.к. не будет на каждый файл отдельно вызывать rm. на паре-тройке файлов это незаметно, но когда счёт идёт на даже на сотни это уже видно невооруженным глазом. и \+ даже не гнутое расширение, а posix. и впилили его уже не один год назад. да (:

isden Jan 21 2015 at 01:26

О, а вот за это — спасибо, не знал о такой штуке (да, я иногда невнимательно читаю длинные мануалы :().

antosha Jan 21 2015 at 04:56

А насколько быстро отработает эта команда на списке из 27 миллионов файлов? Точно ли, если использовать \+, rm не выдаст заветное «too long list of arguments»?
Имхо, с find лучше всего использовать ключ -delete, который просто возьмет и удалит все найденные файлы вне зависимости от их количества.

xaizek Jan 21 2015 at 09:54

«too long list of arguments» вроде же оболочка выдаёт, до rm дело не доходит, а если бы дошло, то, он бы не знал о слишком длинном списке. Вообще xargs умный, если длина команды будет близка к максимальной, то команда вызовется, а накопленный список очистится. "+" не значит, что вызов будет один, он значит, что команда может принимать много аргументов и xargs должен стараться передать как можно больше за раз.

isden Jan 21 2015 at 10:20

> до rm дело не доходит, а если бы дошло, то, он бы не знал о слишком длинном списке

У меня был случай, когда rm -rf dir/* ругнулось, а rm -rf dir — отработало.

sledopit Jan 21 2015 at 10:48

Всё верно. dir/* раскрывает список файлов, поэтому оболочка ругается на огромный список. dir ничего не раскрывает, поэтому ругаться не на что.

isden Jan 21 2015 at 13:47

А каков максимальный размер списка? Сходу ничего не нагуглилось.

xaizek Jan 21 2015 at 14:00

«sysconf(_SC_ARG_MAX)» >= 4096. На современных Linux-based системах обычно 2 MiB.

sledopit Jan 21 2015 at 10:50

в случае с удалением пример немного специфический. вам просто повезло, что у find'a есть -delete. а если вам всё это счастье скопировать нужно? -copy у find'а нет, поэтому либо xargs, либо

find . -options -exec cp -t target {} \+

Adnako Dec 2 2015 at 12:31

А для cp нельзя прикрутить, чтобы найденные файлы в указанный каталог перекинуть одним вызовом?
+ обязательно после {} должен идти?

sledopit Dec 2 2015 at 23:13

Можно. Если почитать man cp, то можно наткнуться на любопытную опцию -t:

       -t, --target-directory=DIRECTORY
              copy all SOURCE arguments into DIRECTORY

Т.е. выглядит оно примерно так:

find . -type f -exec cp -t TARGET {} \+

Аналогичный трюк можно провернуть с mv.

upd. Что-то я сразу не заметил, ведь именно так и написано в моём предыдущем комментарии. Т.е. оно всё что найдёт и перекинет в указанную директорию. Ну или я вопрос неправильно понял.

Adnako Dec 3 2015 at 00:20

Я буду читать все комментарии!
Спасибо :)

mahoro Jan 20 2015 at 13:02

Переименование файлов
…
$ ls | sed -e «p;s/.txt$/.sql/» | xargs -n2 fmv

А можно еще проще:

rename 's/\.txt$/.sql' *.txt

Команда rename широко распространена, в debian/ubuntu стоит по умолчанию

SaleMind Jan 20 2015 at 21:01

А можно еще проще:

mv *.txt *.sql

pomme Jan 20 2015 at 21:54

WAT??

SaleMind Jan 20 2015 at 21:55

Извините, я перепутал

acidnik Jan 21 2015 at 23:21

Замечу, что есть разные rename. В генте правильная rename это dev-perl/rename и вызывается как perl-rename

Draug Jan 20 2015 at 13:24

У find есть ключик -delete, работает быстрее чем с использованием xargs и exec.
Смотреть:
Тут(GNU.org)

foboss Jan 20 2015 at 13:30

(find /proc/ -name exe -ls 2>/dev/null|awk '{print $13}'|tee /dev/stderr| xargs -n 32 -P 4 ldd 2>/dev/null|grep /|awk '{print $3}') 2>&1|sort -u|xargs -n 1 -P 16 readlink -f|xargs -n 32 -P 4 du -b|awk '{sum+=$1}END{print sum}'

Функциональное программирование в шелле на примере xargs: habrahabr.ru/post/153785/

st0ne_c0ld Jan 20 2015 at 14:56

Некоторые примеры мягко говоря не совсем подходящие:
* find умеет делать -delete сам
* для упаковки файлов можно использовать обычный пайп: find. -type f | tar czf arc.tgz
* $ cut -d: -f1 < /etc/passwd | sort | xargs echo < — зачем этот echo? sort и так отлично возвращает вывод в stdout

Как-то так.
Сам я чаще всего использую exec внутри find, вместо xargs. В остальных случаях циклы покрывают 99% потребностей. Для работы с именами в которых есть пробелы проще всего экранировать «маркер». Например так:

bash-4.2# ls
a b c d
bash-4.2# touch "1 2 3 4"
bash-4.2# ls | xargs -I{} mv "{}" "{}".sh
bash-4.2# ls
1 2 3 4.sh  a b c d.sh
bash-4.2#

MAXH0 Jan 20 2015 at 19:48

Всегда думал — «Как Тираны обходились такими маленькими ручками?»
Теперь я все понял! Спасибо :)

ЗЫ *nix советы тоже интересны и поучительны, но картинка… Это нечто.

rzerda Jan 20 2015 at 20:26

А давайте усугубим пример с find… | xargs rm. Для этого сначала почти бесправный пользователь bob делает:

mkdir "~bob/user-controlled/space /etc"
touch "~bob/user-controlled/space /etc/passwd"

Потом всевластный root в скрипте по крону пишет:

find ~bob -name "*" | xargs rm -f

И в итоге некоторые файлы не то, чтобы совсем не удаляются, но удаляются не те, что нужно.

Место для хождения по граблям в статье выделено совершенно правильно, да и аргументом xargs может быть не только rm.

stavinsky Jan 20 2015 at 22:34

Завтра не поленюсь попробую

RPG Jan 20 2015 at 22:46

# самое простое
find -name ... -delete
# удалять файлы в 4 потока по 8 штук за раз
find -type f -name ... -print0 | xargs -0 -P$(nproc) -n8 rm

Насчёт параллельного запуска да и самого xargs можно было и побольше примеров придумать:

# нехитрый способ конвертировать все mp3 в ogg
find -name '*.mp3' -print0 | xargs -0 -n1 -P$(nproc) sh -c 'ffmpeg -v quiet -y -i "$0" -vn -codec vorbis -aq 2 "${0%mp3}ogg"'
# поиск несмердженных веток Git
git branch -r --no-merged | grep -v HEAD | xargs -L1 git --no-pager log --pretty=tformat:'%Cgreen%d%Creset - %h by %an (%Cblue%ar%Creset)' -1
# wget в 8 потоков (список ссылок для загрузки лежит в файле .list)
< .list xargs -I{} -P8 sh -c 'echo {}; wget -q {}'
# универсальный скрипт - функция _worker выполнится для каждого подкаталога в текущем каталоге (в несколько потоков, разумеется)
_worker() {
    cd "$1"
    # ...что-то делаем
}
export -f _worker
find . -maxdepth 1 -mindepth 1 -type d | xargs -P$(nproc) -I{} bash -c '_worker {}'

find, xargs и nproc выручают меня постоянно, особенно когда речь идёт о серверах с кучей ядер. В статье как-то скудновато описано.

vgray Jan 21 2015 at 07:51

мне как-то нужно было скачать первую страницу всех сайтов рунета.

сначала через fping определи все домены которые резолвятся и сохранил их в отдельный файл, а потом

cat unqiq.domains.txt | xargs -P 800 -I _URL_ ./crawler.sh _URL_

где crawler.sh это просто wget c нужными настройками (таймаутами). За 6 часов все скачалось.

RPG Jan 21 2015 at 08:15

нужно было скачать первую страницу всех сайтов рунета

Так вот как ты выглядишь, движок Яндекса.

Пробовал я как-то запустить резолвер на несколько тыс. доменов в многопоточном режиме — роутер повесился намертво.

pansa Jan 21 2015 at 00:47

Я может чего не понял, xargs иногда путает, но вот это:

«С помощью xargs можно также добавлять к дополнительные элементы к именам файлов (например, дату):

$ ls | xargs -I FILE mv {} <… >-{}»

— не будет работать. Тогда уж так:
$ ls | xargs -I FILE mv FILE <… >-FILE

Ну и в других местах…

vgray Jan 21 2015 at 07:46

какую задачу выполняет xargs в комманде?

tr -dc A-Za-z0-9_ < /dev/urandom | head -c 10 | xargs

PS: Ждем след статью на тему «как использовать grep и echo»

tr -dc A-Za-z0-9_ < /dev/urandom | head -c 10 | grep ''
tr -dc A-Za-z0-9_ < /dev/urandom | head -c 10 && echo

EvilShadow Jan 27 2015 at 12:39

По iptables — не стоит применять длинные линейные списки там, где можно применить ipset.

UFO just landed and posted this here