Redis: Menampilkan ukuran / ukuran database untuk kunci

Instance redis saya tampaknya tumbuh sangat besar dan saya ingin mencari tahu dari beberapa database yang saya miliki di sana yang menghabiskan berapa banyak memori. INFOPerintah Redis hanya menunjukkan ukuran total dan jumlah kunci per database yang tidak memberi saya banyak wawasan ... Jadi alat / ide apa pun yang memberi saya lebih banyak informasi saat memantau server redis akan dihargai.

Dokumentasi Redis tidak menunjukkan kepada saya perintah apa pun yang dapat mengembalikan memori yang dikonsumsi dari kunci tertentu, jadi saya kira jika ada kode buggy yang akan menulis banyak "sampah" untuk redis, ini akan sangat sulit ditemukan ...

Jadi solusi saya untuk masalah saya sendiri: Setelah bermain-main dengan redis-clisedikit lebih lama, saya menemukan bahwa DEBUG OBJECT <key>mengungkapkan sesuatu seperti serializedlengthkunci, yang sebenarnya adalah sesuatu yang saya cari ...

Untuk seluruh database, Anda perlu menggabungkan semua nilai KEYS *yang seharusnya tidak terlalu sulit dengan bahasa skrip pilihan Anda ...

Hal buruknya adalah redis.io tidak memiliki banyak informasi tentang DEBUG OBJECT.

Solusi dari komentar pantas mendapatkan jawabannya sendiri:

redis-cli --bigkeys

MEMORY USAGE key perintah memberi Anda jumlah byte yang dibutuhkan kunci dan nilainya untuk disimpan dalam RAM.

Penggunaan yang dilaporkan adalah total alokasi memori untuk data dan biaya administrasi yang diperlukan oleh nilai kunci (dokumentasi redis sumber)

Lihatlah proyek ini, ia mengeluarkan beberapa statistik menarik tentang ruang kunci berdasarkan regex dan prefiks. Ini menggunakan DEBUG OBJECTperintah dan memindai db, mengidentifikasi kelompok kunci dan memperkirakan persentase ruang yang mereka gunakan .

https://github.com/snmaynard/redis-audit

Outputnya terlihat seperti ini:

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

Atau yang ini: https://github.com/sripathikrishnan/redis-rdb-tools yang melakukan analisis penuh pada seluruh ruang kunci dengan menganalisis file dump.rdb secara offline. Yang ini juga bekerja dengan baik. Ini dapat memberi Anda ukuran avg / min / max untuk entri di db Anda, dan bahkan akan melakukannya berdasarkan awalan.

Anda mungkin merasa sangat berguna untuk mengambil sampel kunci Redis dan mengelompokkannya berdasarkan jenis. Salvatore telah menulis alat yang disebut redis-sampler yang mengeluarkan sekitar 10.000 RANDOMKEYperintah diikuti oleh TYPEtombol yang diambil. Dalam hitungan detik, atau menit, Anda akan mendapatkan gambaran yang cukup akurat tentang distribusi jenis kunci.

Saya telah menulis ekstensi (sayangnya tidak di mana pun open-source karena itu terkait dengan pekerjaan), yang menambahkan sedikit introspeksi nama kunci melalui regex yang memberi Anda gambaran tentang jenis kunci aplikasi apa (sesuai dengan struktur penamaan apa pun yang Anda menggunakan), disimpan di Redis. Dikombinasikan dengan keluaran redis-sampler yang lebih umum, ini akan memberi Anda gambaran yang sangat bagus tentang apa yang terjadi.

Mungkin Anda bisa melakukan introspeksi pada file db. Protokolnya relatif sederhana (namun tidak terdokumentasi dengan baik), jadi Anda dapat menulis parser untuk menentukan kunci individual mana yang menghabiskan banyak ruang.

Saran baru:

Sudahkah Anda mencoba menggunakan MONITORuntuk melihat apa yang sedang ditulis, secara langsung? Mungkin Anda dapat menemukan masalah dengan data yang sedang bergerak.

Anda dapat menggunakan aplikasi .net https://github.com/abhiyx/RedisSizeCalculator untuk menghitung ukuran kunci redis,

Jangan ragu untuk memberikan tanggapan Anda untuk hal yang sama

Saya biasanya lebih suka metode pengambilan sampel kunci untuk memecahkan masalah skenario seperti itu.

redis-cli -p 6379 -n db_number --bigkeys

Misalnya:-

redis-cli -p 6370 -n 0 --bigkeys

Bagaimana kalau redis-cli dapatkan KEYNAME | wc -c