Apa hubungan antara skor GINI dan rasio log-likelihood

Saya sedang mempelajari pohon klasifikasi dan regresi, dan salah satu ukuran untuk lokasi split adalah skor GINI.

Sekarang saya terbiasa menentukan lokasi split terbaik ketika log rasio kemungkinan dari data yang sama antara dua distribusi adalah nol, yang berarti kemungkinan keanggotaan sama-sama mungkin.

Intuisi saya mengatakan bahwa harus ada semacam hubungan, bahwa GINI harus memiliki dasar yang baik dalam teori informasi matematika (Shannon) tetapi saya tidak memahami GINI dengan cukup baik untuk mendapatkan hubungan itu sendiri.

Pertanyaan:

Apa derivasi "prinsip pertama" dari skor pengotor GINI sebagai ukuran untuk pemisahan?
Bagaimana skor GINI terkait dengan log rasio kemungkinan atau fundamental informasi-teori lainnya (Shannon Entropy, pdf , dan cross entropy adalah bagian dari itu)?

Referensi:

Entropi Shannon digambarkan sebagai:

H (x) = Σ_{saya} P (x_{saya}) \log_{b} P (x_{saya})

$H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

Memperluas ini ke kasus multivarian yang kami dapatkan:

H (X, Y) = Σ_{x} Σ_{y} P (x, y) \log_{b} P (x, y)

$H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right)$

Entropi Bersyarat didefinisikan sebagai berikut:

\begin{aligned} H (X | Y) & = Σ_{y} hal (x, y) \log_{b} \frac{hal (x)}{hal (x, y)} \\ atau, \\ H (X | Y) & = H (X, Y) - H (Y) \end{aligned}

$\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} \newline &\text{or,} \newline H \left(X|Y \right) &= H \left(X,Y \right) - H \left(Y \right) \end{align}$

Log rasio kemungkinan digunakan untuk deteksi perubahan mendadak dan diturunkan menggunakan ini. (Saya tidak memiliki derivasi di depan saya.)

Kenajisan GINI:

Bentuk umum dari pengotor GINI adalah $I = \sum_{i=1}^m f_{i} \cdot \left( 1-f_{i}\right)$

Pikiran:

Pemisahan dilakukan atas dasar ketidakmurnian. "Kemurnian" yang tinggi kemungkinan sama dengan entropi rendah. Pendekatan ini kemungkinan terkait dengan minimisasi entropi.
Sangat mungkin bahwa distribusi basis yang diasumsikan seragam, atau mungkin dengan melambaikan tangan, Gaussian. Mereka kemungkinan membuat campuran distribusi.
Saya ingin tahu apakah derivasi grafik Shewhart dapat diterapkan di sini?
Pengotor GINI terlihat seperti integral dari fungsi kepadatan probabilitas untuk distribusi binomial dengan 2 percobaan, dan satu keberhasilan. $P(x=k)= \begin{pmatrix} 2\\ 1\end{pmatrix} p \left( 1-p \right)$

(tambahan)

Bentuk ini juga konsisten dengan distribusi Beta-binomial yang merupakan konjugat sebelum distribusi Hypergeometrik. Tes hypergeometrik sering digunakan untuk menentukan sampel mana yang lebih atau kurang terwakili dalam sampel. Ada juga hubungan dengan tes eksak Fisher, apa pun itu (perhatikan sendiri, pelajari lebih lanjut tentang ini).

Sunting: Saya menduga ada bentuk GINI yang bekerja sangat baik dengan logika digital dan / atau rb-tree. Saya berharap untuk mengeksplorasi ini di proyek kelas musim gugur ini.

cart likelihood-ratio information-theory kullback-leibler gini EngrStudent - Pasang kembali Monica
sumber

Apakah bermasalah jika saya menjawab pertanyaan saya sendiri?

EngrStudent

Tidak, tidak sama sekali. Jika Anda menemukan jawaban yang menurut Anda masuk akal, segeralah pergi.

gung - Reinstate Monica

@EngrStudent. pertanyaan bagus tetapi tautan pertama yang Anda berikan di bagian referensi berkaitan dengan koefisien Gini, yang tidak ada hubungannya dengan ukuran Gini yang digunakan dalam CART

Antoine

Mengenai indeks Gini, saya baru saja memposting interpretasi sederhana: stats.stackexchange.com/questions/308885/…

Picaud Vincent

Jawaban:

Saya akan menggunakan notasi yang sama yang saya gunakan di sini: Matematika di balik pohon klasifikasi dan regresi

$IG$ $I$

$\textit{Gini}: \mathit{Gini}(E) = 1 - \sum_{j=1}^{c}p_j^2$
$\textit{Entropy}: H(E) = -\sum_{j=1}^{c}p_j\log p_j$

$\beta$

H_{β} (E) = \frac{1}{β - 1} (1 - \sum_{j = 1}^{c} {hal}_{j}^{β})

$H_\beta (E) = \frac{1}{\beta-1} \left( 1 - \sum_{j=1}^{c}p_j^\beta \right)$

$\textit{Gini}$ $\beta = 2$ $H$ $\beta \rightarrow 1$

$G$

G -statistik = 2 \cdot | E | \cdot saya G

$G\text{-statistic} = 2 \cdot |E| \cdot IG$

Bergantung pada komunitas (statistik / data mining) orang lebih suka satu ukuran atau yang lain (Pertanyaan terkait di sini ). Mereka mungkin cukup setara dalam proses induksi pohon keputusan. Log-likelihood mungkin memberikan skor lebih tinggi untuk partisi seimbang ketika ada banyak kelas [Catatan Teknis: Beberapa Properti dari Kriteria Membelah. Breiman 1996].

Gini Gain dapat menjadi lebih baik karena tidak memiliki logaritma dan Anda dapat menemukan formulir tertutup untuk nilai dan varians yang diharapkan dengan asumsi split acak [Alin Dobra, Johannes Gehrke: Koreksi Bias dalam Klasifikasi Konstruksi Pohon. ICML 2001: 90-97]. Tidak mudah untuk Mendapatkan Informasi (Jika Anda tertarik, lihat di sini ).

Simone
sumber

Pertanyaan bagus. Sayangnya saya belum memiliki reputasi yang cukup untuk mengungguli atau berkomentar, jadi jawab saja!

Saya tidak terlalu terbiasa dengan uji rasio, tetapi menurut saya itu adalah formalisme yang digunakan untuk membandingkan kemungkinan data yang muncul dari dua (atau lebih) distribusi yang berbeda , sedangkan koefisien Gini adalah statistik ringkasan dari satu distribusi.

Cara yang berguna untuk memikirkan koefisien Gini (IMO) adalah sebagai area di bawah kurva Lorenz (terkait dengan cdf).

Dimungkinkan untuk menyamakan entropi Shannon dengan Gini menggunakan definisi yang diberikan dalam OP untuk entropi:

$H = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

dan definisi Gini:

$G = 1 - \frac{1}{\mu}\Sigma_i P(x_i)(S_{i-1} + S_i)$

$S_i = \Sigma_{j=1}^i P(x_i)x_i$ $x_i$

Itu tidak terlihat seperti tugas yang mudah!

Gabriel
sumber

Rasio kemungkinan log dioperasikan pada data yang sama. Salah satu distribusi dapat berupa bentuk umum yang sama dengan yang lain, tetapi parameternya dipasang ke data ketika beberapa kriteria lain benar. Misalnya, Anda dapat memiliki satu distribusi yang parameternya menggambarkan variasi proses produksi yang sehat (tidak harus Gaussian) dan yang lain yang sesuai dengan nilai proses produksi saat ini, dan beroperasi keduanya pada nilai proses produksi saat ini membandingkan rasio kemungkinan log dengan nilai ambang yang mengindikasikan kemungkinan bertamasya. Bisa jadi aktual untuk dibandingkan dengan ideal.

EngrStudent