Bagaimana saya bisa memvisualisasikan ruang hard disk dengan jutaan file?

18

Kami memiliki hard disk yang 600 Gigs dan hampir penuh. Ini telah diisi dengan 18.501.765 file (sebagian besar gambar 19k kecil) dan 7.142.132 folder. Sangat sulit untuk mengetahui di mana tepatnya semua ruang telah pergi juga. Prosedur pembersihan rutin kami tidak membersihkan ruang yang cukup yang berarti kami harus melihat drive ini secara keseluruhan dan menentukan apa yang ada di luar sana dan apa yang bisa dipindahkan atau dihapus. Kami telah mencoba beberapa aplikasi dan sejauh ini mereka telah meledak atau hanya berlari untuk jumlah waktu yang luar biasa untuk menyelesaikannya.

Informasi Server

  • Sistem Operasi: Windows Server 2003
  • Sistem File: NTFS

Larutan

Space ObServer dapat membaca melalui 18.501.765 file dan 7.142.132 folder tanpa menghabiskan hampir semua memori. Saya yakin ini sebagian besar disebabkan oleh fakta bahwa ia menggunakan SQL backend untuk menyimpan semua data. Sayangnya itu yang paling mahal dari semua produk di $ 259,95 per server.

Solusi yang Dicoba

Selama penelitian, saya mencoba beberapa solusi berbeda baik bayar maupun gratis. Saya menyimpan daftar produk yang saya coba di bawah ini untuk informasi semua orang.

Perangkat lunak gratis

Perangkat Lunak Bayar

Pembaruan

Pembaruan # 1 : Server yang saya coba analisis memiliki 2 GB RAM dan sebagian besar produk yang saya coba tampaknya mencoba dan menyimpan informasi file / folder dalam memori. Ini cenderung berjalan terlalu cepat dengan 18.501.765 file dan 7.142.132 folder.

Pembaruan # 2 : Sepertinya pengembang WinDirStat cukup terlibat untuk memberi tahu kami bahwa ia dapat dikompilasi di bawah 64-bit. Itu memberi lebih banyak memori untuk bekerja dengan tetapi saya tidak yakin apakah itu akan cukup kecuali mereka dapat bertahan ke disk.

windows windows-server-2003 filesystems visualization Nathan Palmer
sumber
Sistem operasi apa?
Wesley
Ini Windows Server 2003. Saya mengedit posting untuk menunjukkan itu sekarang.
Nathan Palmer
apakah semua ini sepenuhnya gratis, shareware, atau open source?
Maslow
Bagus sekali Anda memperbarui kami dengan cara itu tentang apa yang gagal, berjalan dan tertunda. Memberi saya ide bagus.
Wesley
2
Tidak masalah. Saya pikir itu akan menjadi informasi yang baik karena saya merasa seperti kita berurusan dengan # file perusahaan yang biasanya tidak bekerja setiap hari. Juga, saya baru saja memperbarui dengan kategori Gratis dan Bayar.
Nathan Palmer

Jawaban:

6

Dengan asumsi OS Anda adalah Windows ...

Apa pun cara Anda mengirisnya, mentabulasi jutaan file akan selalu memakan waktu lama dan akan dibatasi oleh I / O disk itu sendiri. Saya merekomendasikan TreeSize Professional . Atau mungkin SpaceObServer . Anda bisa mencoba versi freeware dari TreeSize juga.

Wesley
sumber
Saya setuju. Tapi dua produk yang belum saya coba jadi saya akan lihat.
Nathan Palmer
5

Coba WinDirStat : ini memberikan visualisasi fantastis penggunaan disk dengan menggambarkan setiap file sebagai persegi panjang yang ditarik ke skala, diberi kode warna berdasarkan jenis file. Klik salah satu item dalam visualisasi dan Anda akan melihatnya di pohon direktori.

Build 32-bit standar terbatas pada 10 juta file dan penggunaan RAM 2 GB, tetapi kode sumber akan berhasil dibangun sebagai aplikasi 64-bit. Fakta bahwa server yang bersangkutan hanya memiliki 2GB RAM mungkin bermasalah dalam kasus khusus ini, tetapi sebagian besar server dengan jumlah file yang begitu besar akan memiliki lebih banyak RAM.

Sunting # 1: Saya menyesal telah menemukan bahwa, ketika diuji pada volume 4TB yang berisi jutaan file, WinDirStat Portable macet setelah mengindeks sekitar 6,5 juta file. Mungkin tidak berfungsi untuk pertanyaan awal jika drive berisi 6+ juta file.

Sunting # 2: Versi lengkap dari WinDirStat lumpuh pada 10 juta file dan 1.9GB digunakan

Sunting # 3: Saya menghubungi pengembang WinDirStat dan: (1) mereka setuju bahwa ini disebabkan oleh keterbatasan penggunaan memori arsitektur x86, dan (2) menyebutkan bahwa ia dapat dikompilasi sebagai 64-bit tanpa kesalahan. Lebih cepat lagi.

Sunting # 4: Tes membangun WinDirStat 64-bit berhasil. Dalam 44 menit, itu mengindeks 11,4 juta file dan mengkonsumsi 2,7 GB RAM.

Skyhawk
sumber
Mungkin ada baiknya mencoba versi reguler, karena ada kemungkinan bahwa lingkungan portabel menciptakan batasan yang tidak terduga. Saya tidak dalam posisi untuk menguji itu sendiri. windirstat.info
John Gardeniers
Memang, versi reguler mati pada 10+ juta file dan penggunaan RAM 1.9GB. Saya menduga itu tidak dapat mengalokasikan> 2GB. Saya terkejut bahwa ini menggunakan RAM yang sangat banyak (hampir 200 byte per file dihitung), tetapi, sekali lagi, saya tumbuh di era ketika byte individual jauh lebih berharga daripada saat ini ...
Skyhawk
Saya sering menggunakan WinDirStat. Sayangnya itu tidak memotongnya ketika Anda masuk ke # file besar.
Nathan Palmer
Saya akan tertarik untuk mendengar jika dev di WinDirStat kembali dengan apa pun. RAM akan menjadi kendala bagi saya dalam 32-bit atau 64-bit.
Nathan Palmer
1
Tidak ada bangunan resmi, tetapi saya dapat mengirimkan Anda yang tidak resmi - jelas, akan sulit untuk meluncurkannya sendiri jika Anda tidak memiliki Visual Studio! ([email protected] menghubungi saya)
Skyhawk
4

Saya secara teratur menggunakan Ukuran Folder pada beberapa drive 1TB dengan beberapa juta file tanpa masalah.

joeqwerty
sumber
Luar biasa. Tidak tahu tentang itu.
Wesley
Bagus. Saya akan mencobanya.
Nathan Palmer
3

+1 untuk produk TreeSize, tetapi ...

Kalimat Anda tentang "tidak membersihkan ruang yang cukup" membuat saya bertanya-tanya: Bisakah Anda kehabisan ruang yang disediakan NTFS MFT? Jika filesystem mengambil lebih banyak ruang MFT daripada yang dialokasikan sebelumnya, itu tidak dikembalikan ke filespace biasa, dan tidak ditampilkan dalam operasi defrag.

http://support.microsoft.com/kb/174619

"Volume dengan sejumlah kecil file yang relatif besar menghabiskan ruang tanpa pagu pertama, sementara volume dengan sejumlah besar file yang relatif kecil menghabiskan ruang zona MFT terlebih dahulu. Dalam kedua kasus, fragmentasi MFT mulai terjadi ketika satu kawasan atau lainnya menjadi penuh. Jika ruang tanpa pagu menjadi penuh, ruang untuk file pengguna dan direktori mulai dialokasikan dari zona MFT bersaing dengan MFT untuk alokasi. Jika zona MFT menjadi penuh, ruang untuk entri MFT baru dialokasikan dari sisa disk, sekali lagi bersaing dengan file lain. "

AndyN
sumber
Itu terlihat seperti sesuatu yang baik untuk diperiksa. Sayangnya kami tidak dapat melihat ukuran MFT karena defrag tidak akan menganalisis tanpa CHKDSK dan CHKDSK saat ini gagal dengan "Terjadi kesalahan yang tidak ditentukan."
Nathan Palmer
3
  1. cd \
  2. dir / s> out.txt
  3. puf! Sihir terjadi; atau perl hacker muncul
  4. Hasil!

Serius. Saya telah melakukan ini dengan 5 atau 6 juta file; tidak yakin persis apa yang Anda cari tetapi bahasa skrip yang baik akan memakannya.

SqlACID
sumber
Soo ... apa yang terjadi di langkah # 3 .. dengan asumsi perl hacker tidak muncul?
Nathan Palmer
Bisakah Anda memposting lebih banyak informasi tentang apa yang Anda butuhkan? File terbesar? Direktori terbesar? Apakah Anda memerlukan info tanggal / waktu? Apakah ini kebutuhan satu kali, atau berulang?
SqlACID
Untuk saat ini sudah satu kali. Saya perlu tahu direktori mana yang terbesar (dir + anak-anak) tetapi saya perlu membuka beberapa direktori sebelum informasi itu valid. Maka saya perlu memiliki pemecahan file berdasarkan tanggal sehingga saya dapat melihat file terbaru vs lama.
Nathan Palmer
3

Saya biasanya bukan pengguna Windows, tetapi saya sadar akan keberadaan Cygwin. :-)

Jika berhasil cukup baik, kira-kira seperti

du -m /your/path | sort -nr | head -n 50

atau mungkin di Cygwin

du C:\ | sort -nr | head -n 50

Bagaimanapun, mereka harus mencetak Anda 50 direktori terbesar (ukuran dalam megabyte).

Janne Pikkarainen
sumber
2

Saya menemukan beberapa masalah dengan Spacemonger dan dalam mencari utilitas saya dapat dengan mudah mentransfer atau menjalankan dari usb stick - Space Sniffer ternyata sangat fleksibel dalam hal itu, dan menangani volume multi-terabyte dengan mudah.


sumber
volume multi-terabyte dengan berapa banyak file? Tampaknya masalah utama kami bukanlah seberapa banyak ruang yang digunakan tetapi berapa banyak file yang bisa ditangani oleh program. Sebagian besar tersedak 10 juta.
Nathan Palmer
Saya tidak memiliki server dengan lebih dari beberapa juta file untuk pengalaman jadi saya tidak bisa dengan yakin menjawab pertanyaan 10 juta file Anda - satu-satunya saran saya adalah bahwa dengan alat-alat ini Anda dapat mengatur kedalaman direktori di mana divisualisasikan - temukan selamat media dan kemudian masuk jauh ke folder yang Anda butuhkan, harus menghemat waktu melakukan visualisasi juga.
1

du -s dapat digunakan dalam keadaan darurat, dan akan berjalan selama diperlukan.

Ignacio Vazquez-Abrams
sumber
Terima kasih. Akan memeriksanya lain kali saat saya menggunakan sistem * ix.
Nathan Palmer
... Hah? gnuwin32.sourceforge.net/packages/coreutils.htm
Ignacio Vazquez-Abrams
Tidak menyadari itu tersedia di windows. Saya akan mengeceknya. Terima kasih.
Nathan Palmer
1

Lihatlah GetFoldersize

user9517 mendukung GoFundMonica
sumber
0

Mengenai tabel mft, dari bagian belakang kepala saya, saya sepertinya mengingat kembali bahwa jkdefrag, versi opensource asli, memberikan tampilan disk yang sangat tepat termasuk pewarnaan yang berbeda untuk area mft. Saya pikir saya pernah menggunakannya sebelumnya untuk aturan perkiraan praktis ukuran dan fragmentasi mft.

Juga tidak peduli dengan chdsk.

Bisakah mencobanya?

deploymonkey
sumber
Saya mencobanya. Ketika saya menjalankan analisis itu mengalami nasib yang sama seperti kebanyakan program lainnya. Terlalu banyak file / folder yang tersimpan di memori.
Nathan Palmer
Maaf membaca itu. Sepertinya masalah platform. Saya punya saran lain: Mirror the disk (bit image, Imaging soft atau hardware mirror) tidak peduli bagaimana, memecahkan cermin dan meletakkan salinan di bawah forensik pada platform lain misalnya. linux / nix. Ini telah menghabiskan waktu yang cukup untuk menjamin biaya mirror drive mengenai jumlah waktu kerja Anda yang diinvestasikan.
deploymonkey
0

Saya telah menggunakan Disk Usage Analyzer - Baobab di Linux menggunakan fungsi pemindaian jarak jauh pada server Windows. Saya tidak tahu apa itu batasnya.

Fedora LiveCD berisi Baobab. Boot di komputer mana saja di LAN Anda.

Semuanya gratis - seperti bir dan bicara. Juga untuk penggunaan komersial.

Tometzky
sumber