Bagaimana regresi kuantil "bekerja"?

Saya berharap mendapatkan penjelasan intuitif dan dapat diakses dari regresi kuantil.

Katakanlah saya memiliki dataset sederhana hasil , dan prediktor . $Y$ $X_1, X_2$

Misalnya, jika saya menjalankan regresi kuantil pada 0,25, .5, .75, dan mendapatkan kembali . $\beta_{0,.25},\beta_{1,.25}...\beta_{2,.75}$

Apakah nilai ditemukan dengan hanya memesan nilai-nilai , dan melakukan regresi linier berdasarkan pada contoh-contoh yang ada di / dekat kuantil yang diberikan? $\beta$ $y$

Atau apakah semua sampel berkontribusi pada estimasi , dengan bobot menurun seiring meningkatnya jarak dari kuantil? $\beta$

Atau itu sesuatu yang sama sekali berbeda? Saya belum menemukan penjelasan yang dapat diakses.

quantile-regression Jeremy
sumber

Mengenai matematika Anda mungkin menemukan dua jawaban ini bermanfaat: stats.stackexchange.com/questions/102906/… , stats.stackexchange.com/questions/88387/…

Andy

Jawaban:

Saya merekomendasikan Koenker & Hallock (2001, Journal of Economic Perspectives) dan buku teks eponymous Koenker .

Titik awal adalah pengamatan bahwa median kumpulan data meminimalkan jumlah kesalahan absolut . Yaitu, 50% kuantil adalah solusi untuk masalah optimasi tertentu (untuk menemukan nilai yang meminimalkan jumlah kesalahan absolut).
Dari ini, mudah untuk menemukan bahwa setiap quantile adalah solusi untuk masalah minimalisasi tertentu, yaitu untuk meminimalkan jumlah kesalahan absolut tertimbang asimetris , dengan bobot yang bergantung pada . $\tau$ $\tau$
Akhirnya, untuk membuat langkah regresi, kami memodelkan solusi untuk masalah minimisasi ini sebagai kombinasi linear dari variabel prediktor, jadi sekarang masalahnya adalah menemukan bukan nilai tunggal, tetapi seperangkat parameter regresi.

Jadi intuisi Anda cukup benar: semua sampel berkontribusi pada estimasi , dengan bobot asimetris tergantung pada ile yang kami . $\beta$ $\tau$

S. Kolassa - Reinstate Monica
sumber

Mengenai poin Anda 1), bukankah ini hanya benar dengan asumsi Y didistribusikan secara simetris? Jika Y miring seperti {1, 1, 2, 4, 10}, median 2 tentu tidak akan meminimalkan kesalahan absolut. Apakah regresi kuantitatif selalu menganggap Y terdistribusi secara simetris? Terima kasih!

Ben

@ Ben: tidak, simetri tidak diperlukan. Poin kuncinya adalah median meminimalkan kesalahan absolut yang diharapkan . Jika Anda memiliki distribusi diskrit dengan nilai 1, 2, 4, 10 dan probabilitas 0,4, 0,2, 0,2, 0,2, maka ringkasan titik 2 memang meminimalkan kesalahan absolut yang diharapkan . Simulasi hanyalah beberapa baris kode R:

foo <- sample(x=c(1,2,4,10),size=1e6,prob=c(.4,.2,.2,.2),replace=TRUE); xx <- seq(1,10,by=.1); plot(xx,sapply(xx,FUN=function(yy)mean(abs(yy-foo))),type="l")

S. Kolassa - Reinstate Monica

(Dan ya, saya seharusnya lebih jelas dalam jawaban saya, alih-alih mendiskusikan "jumlah".)

S. Kolassa - Reinstate Monica

Derp. Apa yang saya pikirkan. Ini masuk akal sekarang, terima kasih.

Ben

Ide dasar regresi kuantil berasal dari fakta bahwa analis tertarik pada distribusi data, bukan hanya rata-rata data. Mari kita mulai dengan yang jahat.

$y=X\beta$ $E(Y|X=x)=x\beta$ $\arg\min_\beta (y-x\beta)'(y-X\beta)$

$\arg\min_\beta |y-X\beta|$ $|.|$

$\alpha$

Di sini Anda membuat kesalahan kecil, Q-regresi tidak seperti menemukan sejumlah data kemudian cocok dengan garis ke subset itu (atau bahkan perbatasan yang lebih menantang).

$\alpha$

{\hat{β}}_{α} = \arg min_{β} {α | y - X β | I (y > X β) + (1 - α) | y - X β | I (y < X β)} .

$\hat\beta_\alpha=\arg\min_\beta \bigg\{\alpha |y-X\beta| I(y>X\beta) + (1-\alpha) |y-X\beta|I(y<X\beta)\bigg\}.$

Seperti yang Anda lihat fungsi target pintar ini tidak lebih dari menerjemahkan kuantil ke masalah optimisasi.

$\beta_\alpha$

TPArrow
sumber

Jawaban ini sangat brilian.

Jinhua Wang