Hal seperti korelasi tertimbang?

Saya memiliki beberapa data menarik tentang artis-artis musik paling populer yang dialirkan dibagi berdasarkan lokasi ke sekitar 200 distrik kongres. Saya ingin melihat apakah mungkin untuk polling seseorang pada preferensi musiknya dan menentukan apakah dia "mendengarkan seperti seorang Demokrat" atau "mendengarkan seperti seorang Republikan." (Tentu ini adalah hati yang ringan, tetapi ada entropi nyata dalam data!)

Saya memiliki data sekitar 100 artis, ditambah persentase suara rata-rata untuk Partai Republik dan Demokrat di setiap distrik selama tiga siklus pemilu terakhir. Jadi saya menjalankan korelasi pada masing-masing artis untuk melihat mana yang paling tidak proporsional - sebagai fungsi pembagian suara untuk Demokrat. Korelasi-korelasi tersebut berkisar dari -0,3 hingga 0,3 untuk setiap artis tertentu, dengan banyak di tengah yang memiliki sedikit atau tidak ada kekuatan prediksi.

Saya punya dua pertanyaan: Pertama, jumlah keseluruhan aliran per kabupaten sangat bervariasi. Saat ini, saya mengkorelasikan persentase semua aliran per distrik yang dimiliki, katakanlah, Beyonce, terhadap persentase suara yang diberikan untuk Demokrat. Tetapi total aliran di satu kabupaten mungkin dalam jutaan, sementara yang lain di 100.000 rendah. Apakah saya perlu mempertimbangkan korelasi untuk memperhitungkan ini?

Kedua, saya ingin tahu bagaimana menggabungkan korelasi ini menjadi tebakan komposit untuk politik pengguna. Katakanlah saya mengambil 20 artis dengan nilai korelatif absolut tertinggi (positif dan negatif), sepuluh di setiap arah, dan polling pengguna pada seberapa banyak dia suka setiap artis. Jadi saya memiliki suara naik atau turun pada setiap artis ditambah korelasi ke politik untuk semua 20 nilai. Apakah ada cara standar untuk menggabungkan korelasi ini ke dalam satu estimasi? (Saya sedang memikirkan sesuatu seperti kuis dialek terkenal NYTimes , di mana ia menggabungkan probabilitas regional untuk 25 pertanyaan menjadi peta panas. Tetapi dalam kasus ini, saya hanya perlu satu nilai tentang bagaimana selera musik Demokrat atau Republik dalam musik.

Terima kasih!

correlation prediction pooling weighted-data Chris Wilson
sumber

Formula untuk korelasi Pearson tertimbang dapat dengan mudah ditemukan di web , StackOverflow , dan Wikipedia dan diimplementasikan dalam beberapa paket R misalnya psik , atau bobot dan dalam paket statsmodel Python . Ini dihitung seperti korelasi reguler tetapi dengan menggunakan cara tertimbang ,

m_{X} = \frac{\sum_{i} w_{i} x_{i}}{\sum_{i} w_{i}}, m_{Y} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$m_X = \frac{\sum_i w_i x_i}{\sum_i w_i}, ~~~~ m_Y = \frac{\sum_i w_i y_i}{\sum_i w_i}$

varian tertimbang ,

s_{X} = \frac{\sum_{i} w_{i} (x_{i} - m_{X})^{2}}{\sum_{i} w_{i}}, s_{Y} = \frac{\sum_{i} w_{i} (y_{i} - m_{Y})^{2}}{\sum_{i} w_{i}}

$s_X = \frac{\sum_i w_i (x_i - m_X)^2}{ \sum_i w_i}, ~~~~ s_Y = \frac{\sum_i w_i (y_i - m_Y)^2}{ \sum_i w_i}$

dan kovarians tertimbang

s_{X Y} = \frac{\sum_{i} w_{i} (x_{i} - m_{X}) (y_{i} - m_{Y})}{\sum_{i} w_{i}}

$s_{XY} = \frac{\sum_i w_i (x_i - m_X)(y_i - m_Y)}{ \sum_i w_i}$

memiliki semua ini, Anda dapat dengan mudah menghitung korelasi tertimbang

ρ_{X Y} = \frac{s_{X Y}}{\sqrt{s_{X} s_{Y}}}

$\rho_{XY} = \frac{s_{XY}}{\sqrt{s_X s_Y}}$

Mengenai pertanyaan kedua Anda, seperti yang saya mengerti, Anda akan memiliki data tentang korelasi antara orientasi politik dan preferensi untuk dua puluh seniman dan pengguna jawaban biner tentang pilihannya dan Anda ingin mendapatkan semacam ukuran agregat dari itu.

Mari kita mulai dengan rata-rata korelasi. Ada beberapa metode untuk rata-rata probabilitas , tetapi tampaknya tidak ada begitu banyak pendekatan untuk rata-rata korelasi. Satu hal yang dapat dilakukan adalah menggunakan transformasi -Fisher $z$ seperti yang dijelaskan pada MathOverflow , yaitu

\bar{ρ} = \tanh^{- 1} (\frac{\sum_{j = 1}^{K} \tanh (ρ_{j})}{K})

$\bar\rho = \tanh^{-1} \left(\frac{\sum_{j=1}^K \tanh(\rho_j)}{K} \right)$

Pada dasarnya mengambil garis singgung koefisien korelasi "meratakan" nilai-nilai ekstrim (lihat di bawah) sehingga mereka memiliki pengaruh yang lebih rendah pada estimasi akhir dan membuat distribusi mereka lebih dekat ke normal. Prosedur ini juga dijelaskan oleh Bushman dan Wang (1995) dan Corey, Dunlap dan Burke (1998).

Selanjutnya, Anda harus memperhatikan bahwa jika $r = \mathrm{cor}(X,Y)$ $-r = \mathrm{cor}(-X,Y) = \mathrm{cor}(X,-Y)$

Sekarang, mari kita mendefinisikan sebagai korelasi preferensi musik artis -th beberapa orientasi politik, dan $r_j$ $j$ $x_{ij}$ $i$ $j$ $x_{ij} = 1$ $x_{ij} = -1$

{\bar{r}}_{i} = \tanh^{- 1} (\frac{\sum_{j = 1}^{K} \tanh (r_{j} x_{i j})}{K})

$\bar r_i = \tanh^{-1} \left(\frac{\sum_{j=1}^K \tanh(r_j x_{ij})}{K} \right)$

$-1$ $1$

Tapi...

Tidakkah Anda berpikir bahwa semua ini adalah kerja keras untuk sesuatu yang pada dasarnya merupakan masalah regresi berganda? Alih-alih semua pembobotan dan rata-rata Anda cukup menggunakan regresi berganda tertimbang (linier atau logistik tergantung jika Anda memprediksi preferensi biner atau menurunkan preferensi di kedua arah) di mana bobot didasarkan pada ukuran sub-sampel. Anda akan menggunakan preferensi musik untuk masing-masing artis sebagai prediktor. Pada akhirnya Anda akan menggunakan preferensi pengguna untuk membuat prediksi. Pendekatan ini lebih sederhana dan lebih elegan secara statistik. Ini juga berlaku relatif $A$ $B$

Bushman, BJ, & Wang, MC (1995). Prosedur untuk menggabungkan koefisien korelasi sampel dan penghitungan suara untuk mendapatkan estimasi dan interval kepercayaan untuk koefisien korelasi populasi. Buletin Psikologis, 117 (3), 530.

Corey, DM, Dunlap, WP, dan Burke, MJ (1998). Rata-rata Korelasi: Nilai yang Diharapkan dan Bias dalam Kombinasi Pearson rs dan Fisher's z, Jurnal Psikologi Umum, 125 (3), 245-261.

Tim
sumber

Terima kasih! Ini sangat membantu. Akan memberikan hadiah saat tersedia hari ini.

Chris Wilson

@ Tim Bagaimana kovarians tertimbang dihitung dalam kasus di mana

x_{i}

$x_i$

y_{i}

$y_i$

@ Karagaratsch Saya tidak pernah melihat formula seperti itu. Ini memenuhi syarat sebagai pertanyaan yang bagus untuk ditanyakan.

Tim

Hal seperti korelasi tertimbang?

Jawaban:

Tapi...