Bagaimana cara menilai kesamaan dua histogram?

Dengan dua histogram, bagaimana kita menilai apakah mereka serupa atau tidak?

Apakah cukup dengan hanya melihat kedua histogram? Pemetaan sederhana ke satu memiliki masalah bahwa jika histogram sedikit berbeda dan sedikit bergeser maka kita tidak akan mendapatkan hasil yang diinginkan.

Ada saran?

Makalah terbaru yang mungkin layak dibaca adalah:

Cao, Y. Petzold, L. Keterbatasan akurasi dan pengukuran kesalahan dalam simulasi stokastik sistem bereaksi secara kimia, 2006.

Meskipun fokus tulisan ini adalah membandingkan algoritma simulasi stokastik, pada dasarnya ide utamanya adalah bagaimana membandingkan dua histogram.

Anda dapat mengakses pdf dari halaman web penulis.

Ada banyak ukuran jarak antara dua histogram. Anda dapat membaca kategorisasi yang baik dari tindakan ini di:

K. Meshgi, dan S. Ishii, "Memperluas Histogram Warna dengan Gridding untuk Meningkatkan Akurasi Pelacakan," di Proc. dari MVA'15, Tokyo, Jepang, Mei 2015.

Fungsi jarak paling populer tercantum di sini untuk kenyamanan Anda:

• $L_0$　atau Hellinger Distance

$D_{L0} = \sum\limits_{i} h_1(i) \neq h_2(i)$

• $L_1$ , Manhattan, atau Jarak Blok Kota

$D_{L1} = \sum_{i}\lvert h_1(i) - h_2(i) \rvert$

• $L=2$ atau Jarak Euclidean

$D_{L2} = \sqrt{\sum_{i}\left( h_1(i) - h_2(i) \right) ^2 }$

• L atau Chybyshev Distance$_{\infty}$

$D_{L\infty} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• L atau Fractional Distance (bagian dari keluarga jarak Minkowski)$_p$

$D_{Lp} = \left(\sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert ^p \right)^{1/p}$ dan$0<p<1$

• Persimpangan histogram

$D_{\cap} = 1 - \frac{\sum_{i} \left(min(h_1(i),h_2(i) \right)}{min\left(\vert h_1(i)\vert,\vert h_2(i) \vert \right)}$

• Jarak cosine

$D_{CO} = 1 - \sum_i h_1(i)h2_(i)$

• Jarak Canberra

$D_{CB} = \sum_i \frac{\lvert h_1(i)-h_2(i) \rvert}{min\left( \lvert h_1(i)\rvert,\lvert h_2(i)\rvert \right)}$

• Koefisien Korelasi Pearson

$D_{CR} = \frac{\sum_i \left(h_1(i)- \frac{1}{n} \right)\left(h_2(i)- \frac{1}{n} \right)}{\sqrt{\sum_i \left(h_1(i)- \frac{1}{n} \right)^2\sum_i \left(h_2(i)- \frac{1}{n} \right)^2}}$

• Divergensi Kolmogorov-Smirnov

$D_{KS} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• Jarak Pertandingan

$D_{MA} = \sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert$

• Jarak Cramer-von Mises

$D_{CM} = \sum\limits_{i}\left( h_1(i) - h_2(i) \right)^2$

• $\chi^2$ Statistik

$D_{\chi^2} = \sum_i \frac{\left(h_1(i) - h_2(i)\right)^2}{h_1(i) + h_2(i)}$

• Bhattacharyya Jarak

$D_{BH} = \sqrt{1-\sum_i \sqrt{h_1(i)h_2(i)}}$ & hellinger

• Kuadrat Kuadrat

$D_{SC} = \sum_i\left(\sqrt{h_1(i)}-\sqrt{h_2(i)}\right)^2$

• Divergance Kullback-Liebler

$D_{KL} = \sum_i h_1(i)log\frac{h_1(i)}{m(i)}$

• Jefferey Divergence

$D_{JD} = \sum_i \left(h_1(i)log\frac{h_1(i)}{m(i)}+h_2(i)log\frac{h_2(i)}{m(i)}\right)$

• Jarak Earth Mover (ini adalah anggota pertama dari jarak Transportasi yang menanamkan informasi binning ke dalam jarak tersebut, untuk informasi lebih lanjut silakan merujuk ke makalah yang disebutkan di atas atau entri Wikipedia .$A$

$D_{EM} = \frac{min_{f_{ij}}\sum_{i,j}f_{ij}A_{ij}}{sum_{i,j}f_{ij}}$ $\sum_j f_{ij} \leq h_1(i) , \sum_j f_{ij} \leq h_2(j) , \sum_{i,j} f_{ij} = min\left( \sum_i h_1(i) \sum_j h_2(j) \right)$ dan mewakili aliran dari ke$f_{ij}$$i$$j$

• Jarak kuadratik

$D_{QU} = \sqrt{\sum_{i,j} A_{ij}\left(h_1(i) - h_2(j)\right)^2}$

• Jarak Kuadrat-Chi

$D_{QC} = \sqrt{\sum_{i,j} A_{ij}\left(\frac{h_1(i) - h_2(i)}{\left(\sum_c A_{ci}\left(h_1(c)+h_2(c)\right)\right)^m}\right)\left(\frac{h_1(j) - h_2(j)}{\left(\sum_c A_{cj}\left(h_1(c)+h_2(c)\right)\right)^m}\right)}$ dan$\frac{0}{0} \equiv 0$

Implementasi Matlab dari beberapa jarak ini tersedia dari repositori GitHub saya: https://github.com/meshgi/Histogram_of_Color_Advancements/tree/master/distance Anda juga dapat mencari orang-orang seperti Yossi Rubner, Ofir Pele, Marco Cuturi dan Haibin Ling untuk lebih banyak jarak state-of-the-art.

Pembaruan: Penjelasan alternatif untuk jarak muncul di sana-sini dalam literatur, jadi saya mencantumkannya di sini demi kelengkapan.

• Jarak Canberra (versi lain)

$D_{CB}=\sum_i \frac{|h_1(i)-h_2(i)|}{|h_1(i)|+|h_2(i)|}$

• Dissimilaritas Bray-Curtis, Jarak Sorensen (karena jumlah histogram sama dengan satu, maka sama dengan )$D_{L0}$

$D_{BC} = 1 - \frac{2 \sum_i h_1(i) = h_2(i)}{\sum_i h_1(i) + \sum_i h_2(i)}$

• Jarak Jaccard (yaitu persimpangan atas penyatuan, versi lain)

$D_{IOU} = 1 - \frac{\sum_i min(h_1(i),h_2(i))}{\sum_i max(h_1(i),h_2(i))}$

Jawaban standar untuk pertanyaan ini adalah tes chi-square . Tes KS adalah untuk data yang tidak dimasukkan, bukan data yang dibuang. (Jika Anda memiliki data yang belum dihapus, maka gunakan uji gaya KS, tetapi jika Anda hanya memiliki histogram, tes KS tidak sesuai.)

Anda sedang mencari tes Kolmogorov-Smirnov . Jangan lupa untuk membagi ketinggian batang dengan jumlah semua pengamatan dari setiap histogram.

Perhatikan bahwa uji KS juga melaporkan perbedaan jika mis. Sarana distribusi bergeser relatif satu sama lain. Jika terjemahan histogram sepanjang sumbu x tidak berarti dalam aplikasi Anda, Anda mungkin ingin mengurangi rata-rata dari setiap histogram terlebih dahulu.

Seperti yang ditunjukkan oleh jawaban David, uji chi-kuadrat diperlukan untuk data yang dibuang karena uji KS mengasumsikan distribusi kontinu. Mengenai mengapa tes KS tidak tepat (komentar naught101), telah ada beberapa diskusi tentang masalah ini dalam literatur statistik terapan yang layak untuk diangkat di sini.

Pertukaran lucu dimulai dengan klaim ( García-Berthou dan Alcaraz, 2004 ) bahwa sepertiga dari makalah Nature mengandung kesalahan statistik. Namun, makalah berikutnya ( Jeng, 2006 , " Kesalahan dalam tes statistik dari kesalahan dalam tes statistik " - mungkin judul kertas favorit saya sepanjang masa) menunjukkan bahwa Garcia-Berthou dan Alcaraz (2005) menggunakan tes KS pada data diskrit, memimpin untuk pelaporan nilai-p yang tidak akurat dalam meta-studi mereka. Makalah Jeng (2006) memberikan diskusi yang bagus tentang masalah ini, bahkan menunjukkan bahwa seseorang dapat memodifikasi tes KS untuk bekerja untuk data diskrit. Dalam kasus khusus ini, perbedaan bermuara pada perbedaan antara distribusi seragam dari digit tambahan pada [0,9],

Anda dapat menghitung korelasi silang (konvolusi) antara kedua histogram. Itu akan memperhitungkan sedikit gejolak.