Saya harus memindahkan sekitar 320.000 file, 80.000 folder (hanya 100 Gb) data. Beberapa file> 1GB tetapi kebanyakan <1kB.
Saya telah melihat metode tercepat menyalin file tetapi saya tidak yakin seberapa berguna semua ini akan, masalah saya bukan tentang kecepatan transfer rate murni tetapi benar-benar tentang seberapa cepat Windows dapat menangani IO dari 320.000 file.
Apakah Anda pikir saya akan melihat manfaat kecepatan menggunakan xcopy, robocopy, teracopy atau fastcopy?
Kami butuh waktu lama (12 jam +) untuk menyalinnya sekali (menggunakan robocopy), dan saya benci harus melakukannya lagi. Apa yang bisa saya lakukan untuk mempercepatnya?
Barang ada di USB 2.0 External Drive.
Saya menemukan cara paling efisien untuk menyalin sejumlah besar file adalah dengan mengalirkannya ke file ISO terlebih dahulu dan kemudian menyalin ISO. Dengan cara ini disk tidak peduli dengan mengeluarkan ribuan perintah yang diperlukan untuk menyalin file.
Tentu saja ini tergantung pada struktur direktori Anda. Saya cukup beruntung memiliki direktori baru yang dibuat pada interval 4,7GB sehingga membuat membuat VBScript untuk mengotomatiskan proses jauh lebih mudah.
sumber
Anda hampir pasti akan mengalami kinerja keseluruhan yang lebih baik untuk urutan transfer jika Anda terlebih dahulu mengemas file sumber ke dalam satu arsip (tar, atau dikompres ke dalam zip, dll), kemudian mentransfer arsip melalui jaringan, dan kemudian membongkar arsip di tujuan.
Tolong jangan lupa bahwa ketika Anda mentransfer arsip melalui jaringan, Anda akan lebih baik menggunakan ftp (atau protokol transfer berorientasi file lainnya) daripada salinan file SMB sederhana.
Dengan menggunakan proses seperti di atas, saya secara rutin mentransfer direktori aplikasi sekitar 60GB (dengan sekitar 50.000-75.000 file) antara beberapa pusat data yang terpisah secara geografis (AS, Eropa, Asia). Perbedaan antara mentransfer satu file sekaligus, dan mentransfer arsip terkompresi melalui FTP adalah 10-40 kali lebih cepat.
Rsync juga bisa menjadi teman Anda di sini (seperti halnya dalam banyak skenario transfer file lainnya).
Jika Anda terbuka untuk opsi komersial, solusi streaming biner berbasis UDP yang dapat mendorong bit lebih dari beberapa aliran UDP mungkin bernilai bagi Anda. Lihatlah http://www.filecatalyst.com/
sumber
Opsi lain adalah menggunakan Bittorrent menggunakan pelacak bawaan atau DHT dihidupkan. Klien akan mengelompokkan semua file bersama dalam blok (gunakan 2MB atau lebih besar jika tersedia). Di sisi penerima, Anda akan menerima file dalam potongan blok besar saat mereka ditulis ke hard drive. Ini membantu untuk mengkonsolidasikan file kecil Anda menjadi potongan 2MB dan Anda mendapatkan kecepatan transfer yang lebih baik dan
sumber