Mengapa tidak semua file dikompresi dan bagaimana meningkatkan solusinya

Saya memiliki folder dengan sekitar 20 ribu file. File-file tersebut dinamai sesuai dengan pola xy_{\d1,5}_{\d4}\.abc, misalnya xy_12345_1234.abc. Saya ingin mengompresi 10K pertama dari mereka menggunakan perintah ini:

ls | sort -n -k1.4,1.9 | head -n10000 | xargs tar -czf xy_0_10000.tar.gz

namun file yang dihasilkan hanya memiliki sekitar 2K file di dalamnya.

ls | sort -n -k1.4,1.9 | head -n10000 | wc -l namun mengembalikan 10.000, seperti yang diharapkan.

Sepertinya saya salah paham tentang sesuatu yang mendasar di sini ...

Saya menggunakan zsh 5.0.2 di Linux Mint 17.1, GNU tar 1.27.1

EDIT:

forking seperti yang disarankan oleh @Archemar terdengar sangat masuk akal, dengan garpu terbaru menimpa file yang dihasilkan - file tersebut berisi 'ekor' file - 7773 hingga 9999 .

hasil dari xargs --show-limit: Your environment variables take up 3973 bytes POSIX upper limit on argument length (this system): 2091131 POSIX smallest allowable upper limit on argument length (all systems): 4096 Maximum length of command we could actually use: 2087158 Size of command buffer we are actually using: 131072

mengganti -cdengan -ratau -utidak berfungsi dalam kasus saya. Pesan kesalahan tadinyatar: Cannot update compressed archives

menggunakan keduanya -rdan -utidak valid dan gagal dengantar: You may not specify more than one '-Acdtrux', '--delete' or '--test-label' option

mengganti -cdengan -atampaknya tidak valid juga dan gagal dengan yang sama tar: You must specify one of the '-Acdtrux', '--delete' or '--test-label' optionsmeskipun saya tidak mengenali masalah ini azfdan Acdtruxtampak terpisah bagi saya.

EDIT 2:

-T sepertinya cara yang baik, saya juga menemukan contoh di sini .

Namun ketika saya coba

ls | sort -n -k1.4,1.9 | head -n10000 | tar -czf xy_0_10000.tar.gz -T - saya mendapat tar: option requires an argument -- 'T'

baik, mungkin nama file tidak mencapai tar? Tapi sepertinya mereka, lakukan karena ketika aku mengeksekusinya

ls | sort -n -k1.4,1.9 | head -n10000 | tar --null -czf xy_0_10000.tar.gz -T - saya mendapat tar: xy_0_.ab\nxy_1_...<the rest of filenames separated by literal \n>...998.ab Cannot stat: File name too long

Jadi mengapa tar tidak melihat nama file?

Anda telah mencapai batas xargs?

xargs --show-limit

coba:

• buat .tgzfile dummytar czf xy_0_10000.tar.gz /hello/world
• ganti -czfdengan -Azf

ketika xarg mencapai batasnya, ia akan melakukan perintah fork, jadi perintah yang Anda jalankan tadi adalah

  tar czf xy_0_10000.tar.gz file1 file2 .... file666
  tar czf xy_0_10000.tar.gz file667 file668 ... file1203
  tar czf xy_0_10000.tar.gz file1024 ... file2000

karena setiap tar melewati yang sebelumnya, Anda hanya dapat tar cmenjalankan terakhir .

Edit:

1) menurut man tarpada unbuntu, -adan -r tampaknya menambahkan setara dilakukan oleh (baik) -A, --catenate, --concatenate

2) zip(tidak gzip) dapat digunakan untuk menambahkan file, mungkin opsi gzip akan melakukan trik. (gunakan | xargs zip -qr xy_0_0000.zip, ini akan menghasilkan file zip, bukan .tar.gz)

3) untuk menggunakan solusi @ rsanchez
Sangat penting untuk menambahkan opsi tar dengan cara yang tepat, cobalah

ls | sort -n -k1.4,1.9 | head -n10000 |tar -czf xy_0_10000.tar.gz -T -

where - -T -mean use option -Tdan gunakan -sebagai argumen untuk -T(Anda bisa menghasilkan daftar file /tmp/foo.lst, lalu gunakan -T /tmp/foo.lst)

Tidak perlu xargs. Jika Anda langsung memberikan taryang -T -pilihan itu akan membaca nama file dari input standar.

Contohnya:

... | tar -T - -czf xy_0_10000.tar.gz

Saya ingin melengkapi dua jawaban lain dengan solusi zsh , yang tidak mem-parsing ls , maupun membutuhkan xargs . Namun, saya tidak yakin sekarang, apakah itu juga menderita dari batasan panjang baris perintah.

1. Tentukan fungsi yang menghasilkan kunci penyortiran yang Anda inginkan dengan memodifikasi $REPLY.

   sortkey() { REPLY=${REPLY[4,9]} }

   Ini setara dengan Anda sort -n -k1.4,1.9

2. Buat array $filesdengan nama file yang diurutkan dengan fungsi di atas:

   files=(*(o+sortkey))

   Ini setara dengan ls | sort -n -k1.4,1.9

3. Kembalikan 10.000 file pertama dengan

   ${files[0,9999]}

   Ini setara dengan ls | sort -n -k1.4,1.9 | head -n10000

Jadi, semua ini harus melakukan trik:

sortkey() { REPLY=${REPLY[4,9]} }
files=(*(o+sortkey))
tar -czf xy_0_10000.tar.gz ${files[0,9999]}