Daftar argumen kesalahan terlalu lama untuk perintah rm, cp, mv

Saya memiliki beberapa ratus PDF di bawah direktori di UNIX. Nama-nama PDF sangat panjang (sekitar 60 karakter).

Ketika saya mencoba menghapus semua PDF bersama-sama menggunakan perintah berikut:

rm -f *.pdf

Saya mendapatkan kesalahan berikut:

/bin/rm: cannot execute [Argument list too long]

Apa solusi untuk kesalahan ini? Apakah kesalahan ini terjadi untuk mvdan juga cpperintah? Jika ya, bagaimana cara menyelesaikan perintah ini?

Alasan ini terjadi adalah karena bash sebenarnya memperluas tanda bintang ke setiap file yang cocok, menghasilkan baris perintah yang sangat panjang.

Coba ini:

find . -name "*.pdf" -print0 | xargs -0 rm

Peringatan: ini adalah pencarian rekursif dan akan menemukan (dan menghapus) file di subdirektori juga. Tack on-f ke perintah rm hanya jika Anda yakin tidak ingin konfirmasi.

Anda dapat melakukan hal berikut untuk membuat perintah tidak rekursif:

find . -maxdepth 1 -name "*.pdf" -print0 | xargs -0 rm

Pilihan lain adalah menggunakan -deleteflag find :

find . -name "*.pdf" -delete

tl; dr

Ini adalah batasan kernel pada ukuran argumen baris perintah. Gunakan forloop sebagai gantinya.

Asal masalah

Ini adalah masalah sistem, terkait dengan execvedan ARG_MAXkonstan. Ada banyak dokumentasi tentang itu (lihat man execve , wiki debian ).

Pada dasarnya, ekspansi menghasilkan perintah (dengan parameternya) yang melebihi ARG_MAXbatas. Pada kernel 2.6.23, batasnya ditetapkan pada 128 kB. Konstanta ini telah ditingkatkan dan Anda bisa mendapatkan nilainya dengan mengeksekusi:

getconf ARG_MAX
# 2097152 # on 3.5.0-40-generic

Solusi: Menggunakan forLoop

Gunakan forloop seperti yang disarankan pada BashFAQ / 095 dan tidak ada batasan kecuali untuk ruang RAM / memori:

Dry run untuk memastikan itu akan menghapus apa yang Anda harapkan:

for f in *.pdf; do echo rm "$f"; done

Dan jalankan:

for f in *.pdf; do rm "$f"; done

Ini juga merupakan pendekatan portabel karena glob memiliki perilaku yang kuat dan konsisten di antara shell ( bagian dari POSIX spec ).

Catatan: Sebagaimana dicatat oleh beberapa komentar, ini memang lebih lambat tetapi lebih dapat dipelihara karena dapat mengadaptasi skenario yang lebih kompleks, misalnya di mana seseorang ingin melakukan lebih dari satu tindakan.

Solusi: Menggunakan find

Jika Anda bersikeras, Anda dapat menggunakan findtetapi benar - benar tidak menggunakan xargs karena "berbahaya (rusak, dapat dieksploitasi, dll.) Saat membaca input yang tidak dibatasi NUL" :

find . -maxdepth 1 -name '*.pdf' -delete 

Menggunakan -maxdepth 1 ... -deletealih-alih -exec rm {} +memungkinkan finduntuk hanya menjalankan pemanggilan sistem yang diperlukan sendiri tanpa menggunakan proses eksternal, karenanya lebih cepat (terima kasih atas komentar @chepner ).

Referensi

• Saya mendapatkan "Daftar argumen terlalu panjang". Bagaimana saya bisa memproses daftar besar dalam potongan? @ wooledge
• execve (2) - Halaman manual Linux (mencari ARG_MAX);
• Kesalahan: Daftar argumen terlalu panjang @ wiki Debian;
• Mengapa saya mendapatkan "/ bin / sh: Daftar argumen terlalu panjang" ketika melewati argumen yang dikutip? @ Pengguna Super

findmemiliki -deletetindakan:

find . -maxdepth 1 -name '*.pdf' -delete

Jawaban lain adalah memaksa xargsuntuk memproses perintah dalam batch. Misalnya ke deletefile 100sekaligus, cdmasuk ke direktori dan jalankan ini:

echo *.pdf | xargs -n 100 rm

Atau Anda dapat mencoba:

find . -name '*.pdf' -exec rm -f {} \;

Jika Anda mencoba menghapus sejumlah besar file sekaligus (saya menghapus direktori dengan 485.000+ hari ini), Anda mungkin akan mengalami kesalahan ini:

/bin/rm: Argument list too long.

Masalahnya adalah ketika Anda mengetik sesuatu seperti rm -rf *, *diganti dengan daftar setiap file yang cocok, seperti "rm -rf file1 file2 file3 file4" dan seterusnya. Ada buffer memori yang relatif kecil yang dialokasikan untuk menyimpan daftar argumen ini dan jika diisi, shell tidak akan menjalankan program.

Untuk mengatasi masalah ini, banyak orang akan menggunakan perintah find untuk menemukan setiap file dan meneruskannya satu per satu ke perintah "rm" seperti ini:

find . -type f -exec rm -v {} \;

Masalah saya adalah saya harus menghapus 500.000 file dan itu terlalu lama.

Saya menemukan cara yang jauh lebih cepat untuk menghapus file - perintah "find" memiliki bendera "-delete" yang ada di dalamnya! Inilah yang akhirnya saya gunakan:

find . -type f -delete

Dengan menggunakan metode ini, saya menghapus file dengan kecepatan sekitar 2000 file / detik - jauh lebih cepat!

Anda juga dapat menampilkan nama file saat Anda menghapusnya:

find . -type f -print -delete

... atau bahkan menunjukkan berapa banyak file yang akan dihapus, lalu berapa lama waktu yang dibutuhkan untuk menghapusnya:

root@devel# ls -1 | wc -l && time find . -type f -delete
100000
real    0m3.660s
user    0m0.036s
sys     0m0.552s

Anda dapat mencoba ini:

for f in *.pdf
do
  rm $f
done

EDIT: Komentar ThiefMaster menyarankan saya untuk tidak mengungkapkan praktik berbahaya seperti itu kepada jedis shell muda, jadi saya akan menambahkan versi yang lebih "lebih aman" (demi menjaga hal-hal ketika seseorang memiliki file "-rf. ... pdf")

echo "# Whooooo" > /tmp/dummy.sh
for f in '*.pdf'
do
   echo "rm -i $f" >> /tmp/dummy.sh
done

Setelah menjalankan hal di atas, cukup buka file /tmp/dummy.sh di fav Anda. edit dan periksa setiap baris untuk nama file berbahaya, beri komentar jika ditemukan.

Kemudian salin skrip dummy.sh di direktori kerja Anda dan jalankan.

Semua ini untuk alasan keamanan.

Anda bisa menggunakan array bash:

files=(*.pdf)
for((I=0;I<${#files[@]};I+=1000)); do
    rm -f "${files[@]:I:1000}"
done

Dengan cara ini akan dihapus dalam batch 1000 file per langkah.

Anda dapat menggunakan pujian ini

find -name "*.pdf"  -delete

The rm perintah memiliki keterbatasan file yang dapat Anda menghapus simultan.

Satu kemungkinan Anda dapat menghapusnya menggunakan beberapa kali perintah rm berdasarkan pola file Anda, seperti:

rm -f A*.pdf
rm -f B*.pdf
rm -f C*.pdf
...
rm -f *.pdf

Anda juga dapat menghapusnya melalui perintah find :

find . -name "*.pdf" -exec rm {} \;

Jika mereka adalah nama file dengan spasi atau karakter khusus, gunakan:

find -maxdepth 1 -name '*.pdf' -exec rm "{}" \;

Kalimat ini mencari semua file di direktori saat ini (-maxdepth 1) dengan ekstensi pdf (-name '* .pdf'), dan kemudian hapus masing-masing (-exec rm "{}").

Ekspresi {} ganti nama file, dan, {{} "tetapkan nama file sebagai string, termasuk spasi atau karakter khusus.

saya menghadapi masalah yang sama saat menyalin direktori sumber formulir ke tujuan

direktori sumber memiliki file ~ 3 lakc

saya menggunakan cp dengan opsi -r dan itu berhasil untuk saya

cp -r abc / def /

itu akan menyalin semua file dari abc ke def tanpa memberi peringatan daftar Argument terlalu lama

Coba ini juga Jika Anda ingin menghapus di atas 30/90 hari (+) atau yang lain di bawah 30/90 (-) hari file / folder maka Anda dapat menggunakan perintah ex di bawah ini

Mis: Selama 90 hari tidak termasuk di atas setelah 90 hari menghapus file / folder, itu berarti 91,92 .... 100 hari

find <path> -type f -mtime +90 -exec rm -rf {} \;

Mis: Hanya file 30 hari terbaru yang ingin Anda hapus kemudian gunakan perintah di bawah ini (-)

find <path> -type f -mtime -30 -exec rm -rf {} \;

Jika Anda ingin giz file selama lebih dari 2 hari file

find <path> -type f -mtime +2 -exec gzip {} \;

Jika Anda ingin melihat file / folder hanya dari satu bulan terakhir. Ex:

find <path> -type f -mtime -30 -exec ls -lrt {} \;

Di atas 30 hari lagi hanya daftar file / folder Mis:

find <path> -type f -mtime +30 -exec ls -lrt {} \;

find /opt/app/logs -type f -mtime +30 -exec ls -lrt {} \;

Saya terkejut tidak ada ulimitjawaban di sini. Setiap kali saya memiliki masalah ini, saya berakhir di sini atau di sini . Saya mengerti solusi ini memiliki keterbatasan tetapi ulimit -s 65536sepertinya sering melakukan trik untuk saya.

Saya memiliki masalah yang sama dengan folder yang penuh dengan gambar sementara yang tumbuh hari demi hari dan perintah ini membantu saya menghapus folder

find . -name "*.png" -mtime +50 -exec rm {} \;

Perbedaannya dengan perintah lain adalah parameter mtime yang hanya akan mengambil file yang lebih lama dari X hari (dalam contoh 50 hari)

Menggunakan itu berkali-kali, berkurang pada setiap eksekusi dalam rentang hari, saya dapat menghapus semua file yang tidak perlu

Saya hanya tahu cara mengatasinya. Idenya adalah untuk mengekspor daftar file pdf yang Anda miliki ke file. Kemudian bagi file itu menjadi beberapa bagian. Kemudian hapus file pdf yang tercantum di setiap bagian.

ls | grep .pdf > list.txt
wc -l list.txt

wc -l adalah untuk menghitung berapa banyak baris yang ada di list.txt. Ketika Anda memiliki gagasan tentang berapa lama, Anda dapat memutuskan untuk membaginya menjadi dua, empat atau seterusnya. Menggunakan perintah split -l Misalnya, pisahkan masing-masing dalam 600 baris.

split -l 600 list.txt

ini akan membuat beberapa file bernama xaa, xab, xac dan sebagainya tergantung pada bagaimana Anda membaginya. Sekarang untuk "mengimpor" setiap daftar dalam file tersebut ke dalam perintah rm, gunakan ini:

rm $(<xaa)
rm $(<xab)
rm $(<xac)

Maaf untuk bahasa Inggris saya yang buruk.

Saya mengalami masalah ini beberapa kali. Banyak solusi akan menjalankan rmperintah untuk setiap file yang perlu dihapus. Ini sangat tidak efisien:

find . -name "*.pdf" -print0 | xargs -0 rm -rf

Saya akhirnya menulis skrip python untuk menghapus file berdasarkan 4 karakter pertama dalam nama file:

import os
filedir = '/tmp/' #The directory you wish to run rm on 
filelist = (os.listdir(filedir)) #gets listing of all files in the specified dir
newlist = [] #Makes a blank list named newlist
for i in filelist: 
    if str((i)[:4]) not in newlist: #This makes sure that the elements are unique for newlist
        newlist.append((i)[:4]) #This takes only the first 4 charcters of the folder/filename and appends it to newlist
for i in newlist:
    if 'tmp' in i:  #If statment to look for tmp in the filename/dirname
        print ('Running command rm -rf '+str(filedir)+str(i)+'* : File Count: '+str(len(os.listdir(filedir)))) #Prints the command to be run and a total file count
        os.system('rm -rf '+str(filedir)+str(i)+'*') #Actual shell command
print ('DONE')

Ini bekerja sangat baik untuk saya. Saya dapat menghapus lebih dari 2 juta file temp dalam folder dalam waktu sekitar 15 menit. Saya berkomentar tar keluar dari sedikit kode sehingga siapa pun dengan sedikit atau tanpa pengetahuan python dapat memanipulasi kode ini.

Dan satu lagi:

cd  /path/to/pdf
printf "%s\0" *.[Pp][Dd][Ff] | xargs -0 rm

printfadalah shell builtin, dan sejauh yang saya tahu selalu seperti itu. Sekarang mengingat bahwa printfitu bukan perintah shell (tapi builtin), itu tidak tunduk pada "argument list too long ... " kesalahan fatal.

Jadi kita dapat menggunakannya dengan aman dengan pola-pola shell globbing seperti *.[Pp][Dd][Ff], kemudian kita mem-pipe outputnya untuk menghapus ( rm) perintah, melalui xargs, yang memastikan itu cukup cocok dengan nama file di baris perintah agar tidak gagal rmperintah, yang merupakan shell perintah.

The \0dalam printfMelayani sebagai pemisah null untuk nama file Wich kemudian diproses oleh xargsperintah, menggunakannya ( -0) sebagai pemisah, sehingga rmtidak gagal ketika ada spasi putih atau karakter khusus lainnya dalam nama file.

Anda dapat membuat folder temp, memindahkan semua file dan sub-folder yang ingin Anda simpan ke folder temp lalu menghapus folder lama dan mengganti nama folder temp ke folder lama coba contoh ini sampai Anda yakin untuk melakukannya langsung:

mkdir testit
cd testit
mkdir big_folder tmp_folder
touch big_folder/file1.pdf
touch big_folder/file2.pdf
mv big_folder/file1,pdf tmp_folder/
rm -r big_folder
mv tmp_folder big_folder

yang rm -r big_folderakan menghapus semua file dalam big_foldertidak peduli berapa banyak. Anda hanya harus sangat berhati-hati terlebih dahulu untuk memiliki semua file / folder yang ingin Anda simpan, dalam hal inifile1.pdf

Untuk menghapus semua *.pdfdalam direktori/path/to/dir_with_pdf_files/

mkdir empty_dir        # Create temp empty dir

rsync -avh --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

Untuk menghapus file tertentu melalui rsyncmenggunakan wildcard mungkin merupakan solusi tercepat jika Anda memiliki jutaan file. Dan itu akan mengatasi kesalahan yang Anda dapatkan.

(Langkah Opsional): KERING KERING. Untuk memeriksa apa yang akan dihapus tanpa menghapus. `

rsync -avhn --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

. . .

Klik tips dan trik rsync untuk hacks rsync lainnya

Saya menemukan bahwa untuk daftar file yang sangat besar (> 1e6), jawaban ini terlalu lambat. Berikut adalah solusi menggunakan pemrosesan paralel dalam python. Saya tahu, saya tahu, ini bukan linux ... tapi tidak ada yang bekerja di sini.

(Ini menghemat waktu saya)

# delete files
import os as os
import glob
import multiprocessing as mp

directory = r'your/directory'
os.chdir(directory)


files_names = [i for i in glob.glob('*.{}'.format('pdf'))]

# report errors from pool

def callback_error(result):
    print('error', result)

# delete file using system command
def delete_files(file_name):
     os.system('rm -rf ' + file_name)

pool = mp.Pool(12)  
# or use pool = mp.Pool(mp.cpu_count())


if __name__ == '__main__':
    for file_name in files_names:
        print(file_name)
        pool.apply_async(delete_files,[file_name], error_callback=callback_error)

Saya telah menghadapi masalah yang sama ketika ada jutaan file log tidak berguna yang dibuat oleh aplikasi yang mengisi semua inode. Saya terpaksa "mencari", mendapatkan semua file "terletak" d ke file teks dan kemudian menghapusnya satu per satu. Butuh waktu tetapi melakukan pekerjaan!

Versi yang sedikit lebih aman daripada menggunakan xargs, juga tidak rekursif: ls -p | grep -v '/$' | grep '\.pdf$' | while read file; do rm "$file"; done

Memfilter direktori kami di sini sedikit tidak perlu karena 'rm' tidak akan menghapusnya, dan itu dapat dihapus untuk kesederhanaan, tetapi mengapa menjalankan sesuatu yang pasti akan mengembalikan kesalahan?

Menggunakan GNU parallel ( sudo apt install parallel) sangat mudah

Itu menjalankan perintah multithreaded di mana '{}' adalah argumen yang dilewati

Misalnya

ls /tmp/myfiles* | parallel 'rm {}'

Untuk menghapus 100 file pertama:

rm -rf 'ls | kepala -100 '

Opsi di bawah ini tampaknya sederhana untuk masalah ini. Saya mendapat info ini dari utas lain tetapi itu membantu saya.

for file in /usr/op/data/Software/temp/application/openpages-storage/*; do
    cp "$file" /opt/sw/op-storage/
done

Jalankan saja satu perintah di atas dan itu akan melakukan tugas.