Saya masih seorang pembelajar pemula dari Hadoop, dan kali ini saya mencoba untuk memproses file 106GB. Saya dulu -copyFromLocal
menyalin file besar itu ke Hadoop DFS saya, tetapi karena file itu besar saya harus menunggu lama tanpa petunjuk tentang status penyalinan saat ini.
Apakah ada cara untuk menunjukkan status penyalinan file saat ini dengan perintah ini?
Terima kasih sebelumnya atas bantuan Anda!
Dimungkinkan juga untuk melacak kemajuan pembacaan file lokal menggunakan
pv
perintah dan menyalurkan konten file kehdfs dfs
stdin:pv mylargefile.txt | hdfs dfs -put - /path/to/file/on/hdfs/mylargefile.txt
sumber
pv
adalah alat IMO undervalued. Apakah pekerjaan di sini sempurna.Tampaknya tidak ada opsi verbose untuk semua perintah salin (copyFromLocal, copyToLocal, dapatkan, masukkan). Taruhan terbaik Anda mungkin untuk melihat ukuran file di tujuan itu pada HDFS untuk mengukur kemajuannya.
sumber
Anda dapat menggunakan "nohup &" untuk menjalankan penyalinan sebagai proses latar belakang. nohup akan melakukan proses untuk mengeksekusi bahkan setelah Anda keluar dari server. Kapan pun Anda butuhkan, Anda dapat memeriksa proses menggunakan "hadoop fs -l.
sumber