Pembenaran untuk menggunakan bobot geometrik dalam regresi linier

8

Dalam penerapan praktis, saya sering menyaksikan praktik berikut ini. Seseorang mengamati sepasang (xt,yt)lembur. Di bawah asumsi bahwa mereka terkait linier, kami mundur satu terhadap yang lain menggunakan bobot geometris daripada yang seragam, yaitu, OLS meminimalkan

t=0kt(yT-t-SebuahxT-t-b)2
untuk beberapa k(0,1). Ini sangat intuitif: pengamatan kita jauh lebih sedikit di masa lalu. Dibandingkan dengan skema pembobotan "gerbong", ia juga memiliki keuntungan menghasilkan perkiraan yang berubah dengan lancar seiring waktu, karena pengamatan tidak tiba-tiba jatuh dari jendela pengamatan. Namun, saya bertanya-tanya apakah ada model probabilistik yang mendasari hubungan antaraxt dan yt yang membenarkan pilihan ini.
gappy
sumber
Beberapa hari yang lalu seseorang di suatu tempat di salah satu situs StackExchange terkait mengomentari skema ini sebagai "filter Kalman orang miskin". Jika saya berhasil menemukan tautan, saya akan menambahkannya di sini.
Dirk Eddelbuettel
Terima kasih. Saya ingin melihat bagaimana ini dapat dibingkai ulang sebagai filter Kalman.
gappy
1
Saya ragu ada derivasi formal, oleh karena itu kutipan di sekitar versi orang miskin dari parameter adaptif.
Dirk Eddelbuettel

Jawaban:

6

"Terkait linear" biasanya berarti

yt=axt+b+εt

untuk konstan a, b dan iid kesalahan acak εt, t=0,1,,T. Salah satu alasan seseorang akan membuat estimasi OLS tertimbang secara eksponensial adalah kecurigaan itua dan bmungkin diri mereka (lambat) bervariasi dengan waktu juga. Jadi kami benar-benar berpikir model yang benar

yt=α(t)xt+β(t)+εt

untuk fungsi yang tidak diketahui α(t) dan β(t) yang bervariasi lambat (jika sama sekali) dari waktu ke waktu dan kami tertarik untuk memperkirakan nilai mereka saat ini, a=αT dan b=βT. Mari kita asumsikan fungsi-fungsi ini lancar, sehingga kita dapat menerapkan Teorema Taylor. Ini menegaskan hal itu

α(t)=α(T)+α(tα,t)(tT)

untuk beberapa tα,t,0tα,t<T, dan juga untuk β(t). Kami memikirkana dan b sebagai nilai terbaru, αT dan βTmasing-masing. Gunakan ini untuk mengekspresikan kembali residu:

yt-(Sebuahxt+b)=α(tα,t)(t-T)xt+β(tβ,t)(t-T)+εt.

Sekarang banyak melambaikan tangan perlu terjadi. Kami akan menganggap seluruh sisi kanan sebagai acak. Perbedaannya adalahεt plus xt2(t-T)2 kali varians dari α(tα,t) plus (t-T)2 kali varians dari β(tβ,t). Kedua varian tersebut sama sekali tidak diketahui, tetapi ( abracadabra ) mari kita anggap mereka sebagai hasil dari beberapa jenis proses (stokastik) di mana "kesalahan" atau "variasi" yang sistematis mungkin (bukan acak, tetapi masih tidak diketahui) diakumulasikan dari satu waktu ke yang lain. yang lain. Ini akan menyarankan perubahan eksponensial dalam varians tersebut dari waktu ke waktu. Sekarang sederhanakan ekspresi eksplisit (tetapi pada dasarnya tidak berguna) untuk sisi kanan, dan serap istilah kuadratik(t-T)2 ke eksponensial (karena kita melambaikan tangan kita begitu liar tentang hal itu), untuk mendapatkan

yt-(Sebuahxt+b)=δt

dengan varian δt sama dengan exp(κ(t-T)) untuk beberapa konstan κ. Mengabaikan kemungkinan korelasi temporal di antaraδt dan dengan asumsi mereka memiliki distribusi normal memberikan kemungkinan log untuk data proporsional

t=0Tk-t(yT-t-SebuahxT-t-b)2

(ditambah konstanta yang tidak relevan hanya bergantung pada k) dengan k=expκ. Prosedur OLS tertimbang secara eksponensial memaksimalkan kemungkinan, dengan asumsi kita tahu nilaik (jenis seperti prosedur kemungkinan profil).

Meskipun seluruh derivasi ini jelas fantastis, ia menunjukkan bagaimana, dan kira-kira pada tingkat apa, pembobotan eksponensial berupaya untuk mengatasi kemungkinan perubahan dalam parameter linear dari waktu ke waktu. Ini berkaitan dengan parameterk ke tingkat temporal perubahan parameter tersebut.

whuber
sumber
Saya setuju pada bagian melambaikan tangan ... Saya baik-baik saja dengan menyederhanakan asumsi pada bentuk yang bervariasi dari parameter regresi, selama mereka dinyatakan dengan jelas. Tentu saja merasa bebas untuk referensi literatur yang ada.
gappy
@whuber - Saya akan mengatakan bahwa regresi tertimbang secara eksponensial adalah perkiraan yang sangat kasar untuk model tertentu yang telah Anda jelaskan . Tapi itu bisa menjadi solusi tepat untuk model yang berbeda. Untuk model yang Anda gambarkan, akan lebih baik untuk memasukkan komponen heteroscedastic karena variasiα(t)(atau asumsikan tidak ada variasi, dan Anda berurusan dengan intersepsi acak). Anda membuatnya seolah-olah pembobotan geometris selalu kurang optimal, padahal sebenarnya tidak. Itu tergantung pada informasi Anda sebelumnya.
probabilityislogic
@prob Saya setuju, tapi saya belum bisa menemukan model yang tepat membenarkan pendekatan ini, jadi saya harus puas menunjukkan beberapa hal yang mungkin memerlukan model seperti itu. Saya perhatikan balasan Anda tidak membuat kemajuan dalam arah ini, baik ;-).
whuber
@whuber - dan di mana saya membuat perkiraan dalam persamaan saya agar tidak tepatnya?
probabilityislogic
@probability Anda tidak memberikan justifikasi: Anda cukup mengumumkan hasil yang sudah saya posting. Dengan kata lain, Anda mengamati bahwa ketika OLS meminimalkan ekspresi seperti itu itu benar-benar melakukan kuadrat terkecil. OK, tapi bukankah itu sangat jelas? Apa yang membenarkan pilihan bobot ini? Mereka berasal dari mana?
whuber
1

Saya pikir maksud Anda sebenarnya kt sebagai berat Anda, atau itu k>1. Jika0<k<1 dan kami ambil k-t sebagai berat itu k-=. Jadi ini sebenarnya bobot paling sedikit dari pengamatan ini. Misalnya, jika kita ambilk=0,5 kemudian k0=1,k-1=2,k-2=4,...,k-20106, dan seterusnya.

Ini hanya menyatakan sesuatu yang Anda ketahui tentang bagaimana varians berubah dengan setiap pengamatan (semakin besar saat Anda bergerak lebih jauh ke belakang dalam waktu dari waktu ke waktu). T):

(yT-t|xT-t,Sebuah,b,k,s)NHairmSebuahl(SebuahxT-t+b,s2k-t)

Mendenotasikan Y{yT,yT-1,...,y1} dan X{xT,xT-1,...,x1} kami memiliki kemungkinan log bersama:

catatan[hal(Y|X,Sebuah,b,k,s)]=-12(Tcatatan(2πs2k-t)+t=0T-1(yT-t-SebuahxT-t-b)2s2k-t)

Jadi untuk mendapatkan estimasi kemungkinan maksimum Sebuah dan b Anda memiliki fungsi tujuan berikut:

t=0T-1kt(yT-t-SebuahxT-t-b)2

Yang mana yang kamu cari

probabilityislogic
sumber