Saya telah melihat beberapa pembicaraan oleh non-ahli statistik di mana mereka tampaknya menemukan kembali langkah-langkah korelasi menggunakan informasi timbal balik daripada regresi (atau tes statistik setara / terkait erat).
Saya ambil ada alasan bagus ahli statistik tidak mengambil pendekatan ini. Pemahaman awam saya adalah bahwa penduga entropi / informasi timbal balik cenderung bermasalah dan tidak stabil. Saya berasumsi bahwa daya juga bermasalah sebagai akibatnya: mereka mencoba menyiasati hal ini dengan mengklaim bahwa mereka tidak menggunakan kerangka pengujian parametrik. Biasanya pekerjaan semacam ini tidak mengganggu perhitungan daya, atau bahkan interval kepercayaan / kredibel.
Tetapi untuk mengambil posisi advokat iblis, apakah konvergensi lambat merupakan masalah besar ketika dataset sangat besar? Juga, kadang-kadang metode ini tampaknya "bekerja" dalam arti bahwa asosiasi divalidasi oleh studi tindak lanjut. Apa kritik terbaik terhadap penggunaan informasi timbal balik sebagai ukuran hubungan dan mengapa tidak digunakan secara luas dalam praktik statistik?
sunting: Juga, apakah ada makalah bagus yang membahas masalah ini?
sumber
Jawaban:
Saya pikir Anda harus membedakan antara data kategorikal (diskrit) dan data kontinu.
Untuk data kontinu, korelasi Pearson mengukur hubungan linear (monotonik), korelasi peringkat hubungan monotonik.
MI di sisi lain "mendeteksi" hubungan apa pun. Ini biasanya bukan apa yang Anda minati dan / atau cenderung berisik. Secara khusus, Anda harus memperkirakan kepadatan distribusi. Tetapi karena ini kontinu, pertama-tama Anda akan membuat histogram [tong diskrit], dan kemudian menghitung MI. Tetapi karena MI memungkinkan untuk hubungan apa pun, MI akan berubah saat Anda menggunakan nampan yang lebih kecil (sehingga Anda mengizinkan lebih banyak goyangan). Jadi Anda dapat melihat bahwa estimasi MI akan sangat tidak stabil, tidak memungkinkan Anda untuk menempatkan interval kepercayaan pada estimasi dll. [Sama berlaku jika Anda melakukan estimasi kepadatan kontinu.] Pada dasarnya ada terlalu banyak hal untuk diperkirakan sebelum benar-benar menghitung MI.
Data kategorikal di sisi lain sangat cocok dengan kerangka kerja MI (lihat G-test), dan tidak ada banyak untuk memilih antara G-test dan chi-squared.
sumber