Dalam penerapan praktis, saya sering menyaksikan praktik berikut ini. Seseorang mengamati sepasang lembur. Di bawah asumsi bahwa mereka terkait linier, kami mundur satu terhadap yang lain menggunakan bobot geometris daripada yang seragam, yaitu, OLS meminimalkan
untuk beberapa . Ini sangat intuitif: pengamatan kita jauh lebih sedikit di masa lalu. Dibandingkan dengan skema pembobotan "gerbong", ia juga memiliki keuntungan menghasilkan perkiraan yang berubah dengan lancar seiring waktu, karena pengamatan tidak tiba-tiba jatuh dari jendela pengamatan. Namun, saya bertanya-tanya apakah ada model probabilistik yang mendasari hubungan antara dan yang membenarkan pilihan ini.
regression
least-squares
gappy
sumber
sumber
Jawaban:
"Terkait linear" biasanya berarti
untuk konstana , b dan iid kesalahan acak εt , t=0,1,…,T . Salah satu alasan seseorang akan membuat estimasi OLS tertimbang secara eksponensial adalah kecurigaan itua dan b mungkin diri mereka (lambat) bervariasi dengan waktu juga. Jadi kami benar-benar berpikir model yang benar
untuk fungsi yang tidak diketahuiα(t) dan β(t) yang bervariasi lambat (jika sama sekali) dari waktu ke waktu dan kami tertarik untuk memperkirakan nilai mereka saat ini, a=αT dan b=βT . Mari kita asumsikan fungsi-fungsi ini lancar, sehingga kita dapat menerapkan Teorema Taylor. Ini menegaskan hal itu
untuk beberapatα,t,0≤tα,t<T , dan juga untuk β(t) . Kami memikirkana dan b sebagai nilai terbaru, αT dan βT masing-masing. Gunakan ini untuk mengekspresikan kembali residu:
Sekarang banyak melambaikan tangan perlu terjadi. Kami akan menganggap seluruh sisi kanan sebagai acak. Perbedaannya adalahεt plus x2t( t - T)2 kali varians dari α′(tα , t) plus ( t - T)2 kali varians dari β′(tβ, t) . Kedua varian tersebut sama sekali tidak diketahui, tetapi ( abracadabra ) mari kita anggap mereka sebagai hasil dari beberapa jenis proses (stokastik) di mana "kesalahan" atau "variasi" yang sistematis mungkin (bukan acak, tetapi masih tidak diketahui) diakumulasikan dari satu waktu ke yang lain. yang lain. Ini akan menyarankan perubahan eksponensial dalam varians tersebut dari waktu ke waktu. Sekarang sederhanakan ekspresi eksplisit (tetapi pada dasarnya tidak berguna) untuk sisi kanan, dan serap istilah kuadratik( t - T)2 ke eksponensial (karena kita melambaikan tangan kita begitu liar tentang hal itu), untuk mendapatkan
dengan varianδt sama dengan exp( κ ( t - T) ) untuk beberapa konstan κ . Mengabaikan kemungkinan korelasi temporal di antaraδt dan dengan asumsi mereka memiliki distribusi normal memberikan kemungkinan log untuk data proporsional
(ditambah konstanta yang tidak relevan hanya bergantung padak ) dengan k = expκ . Prosedur OLS tertimbang secara eksponensial memaksimalkan kemungkinan, dengan asumsi kita tahu nilaik (jenis seperti prosedur kemungkinan profil).
Meskipun seluruh derivasi ini jelas fantastis, ia menunjukkan bagaimana, dan kira-kira pada tingkat apa, pembobotan eksponensial berupaya untuk mengatasi kemungkinan perubahan dalam parameter linear dari waktu ke waktu. Ini berkaitan dengan parameterk ke tingkat temporal perubahan parameter tersebut.
sumber
Saya pikir maksud Anda sebenarnyakt sebagai berat Anda, atau itu k > 1 . Jika0 < k < 1 dan kami ambil k- t sebagai berat itu k- ∞= ∞ . Jadi ini sebenarnya bobot paling sedikit dari pengamatan ini. Misalnya, jika kita ambilk = 0,5 kemudian k0= 1 ,k- 1= 2 ,k- 2= 4 , ... ,k- 20≈106 , dan seterusnya.
Ini hanya menyatakan sesuatu yang Anda ketahui tentang bagaimana varians berubah dengan setiap pengamatan (semakin besar saat Anda bergerak lebih jauh ke belakang dalam waktu dari waktu ke waktu).T ):
MendenotasikanY≡ {yT,yT- 1, ... ,y1} dan X≡ {xT,xT- 1, ... ,x1} kami memiliki kemungkinan log bersama:
Jadi untuk mendapatkan estimasi kemungkinan maksimumSebuah dan b Anda memiliki fungsi tujuan berikut:
Yang mana yang kamu cari
sumber