Saya tahu du -sh
di filesystem Linux umum. Tetapi bagaimana melakukannya dengan HDFS?
hadoop
command-line
directory
hdfs
Cheng
sumber
sumber
hadoop fs -du -s -h /path/to/dir
menampilkan ukuran direktori dalam bentuk yang dapat dibaca.sumber
hdfs -du -s -h /path/to/dir
ini lebih sesuai.Memperluas ke Matt D dan jawaban lain, perintahnya bisa sampai Apache Hadoop 3.0.0
Du mengembalikan tiga kolom dengan format berikut:
Contoh perintah:
Kode Keluar: Mengembalikan 0 jika berhasil dan -1 untuk kesalahan.
sumber: Apache doc
sumber
Dengan ini Anda akan mendapatkan ukuran dalam GB
sumber
Saat mencoba menghitung total grup file tertentu dalam direktori,
-s
opsi tidak berfungsi (di Hadoop 2.7.1). Sebagai contoh:Struktur direktori:
Asumsikan setiap file berukuran 1 KB. Anda dapat meringkas seluruh direktori dengan:
Namun, jika saya ingin jumlah semua file yang berisi "count" perintahnya gagal.
Untuk menyiasati ini saya biasanya melewatkan keluaran melalui awk.
sumber
Untuk mendapatkan ukuran direktori hdfs dfs -du -s -h / $ yourDirectoryName bisa digunakan. hdfs dfsadmin -report dapat digunakan untuk melihat laporan penyimpanan tingkat cluster dengan cepat.
sumber
% dari ruang yang digunakan di cluster Hadoop
sudo -u hdfs hadoop fs –df
Kapasitas di bawah folder tertentu:
sudo -u hdfs hadoop fs -du -h /user
sumber
hadoop fs -du -h /user
(saya tidak perlu menggunakansudo
)sudo
tidak diperlukan dan harus digunakan dengan hemat.hadoop versi 2.3.33:
sumber
hdfs dfs -count <dir>
info dari halaman manual:
sumber
Perintah Seharusnya
hadoop fs -du -s -h \dirPath
-du [-s] [-h] ...: Menampilkan jumlah ruang, dalam byte, yang digunakan oleh file yang cocok dengan pola file yang ditentukan.
-s : Daripada menunjukkan ukuran setiap file yang cocok dengan
pola, tampilkan ukuran total (ringkasan).
-h : Memformat ukuran file dengan cara yang dapat dibaca manusia, bukan dalam jumlah byte. (Misalnya MB / GB / TB dll)
Perhatikan bahwa, bahkan tanpa opsi -s, ini hanya menampilkan ringkasan ukuran satu tingkat jauh ke dalam direktori.
Outputnya berupa nama ukuran formulir (jalur lengkap)
sumber