Apa itu penyusutan?

13

Kata susut banyak dilemparkan ke lingkaran tertentu. Tapi apa susutnya, sepertinya tidak ada definisi yang jelas. Jika saya memiliki deret waktu (atau kumpulan pengamatan dari suatu proses), apa sajakah cara saya dapat mengukur beberapa jenis penyusutan empiris pada deret tersebut? Apa saja jenis susut teoretis yang dapat saya bicarakan? Bagaimana susut dapat membantu dalam prediksi? Bisakah orang memberikan wawasan atau referensi yang bagus?

estimation predictive-models shrinkage Musim dingin
sumber
1
Steyergerg: Penerapan Teknik Penyusutan dalam Analisis Regresi Logistik: Studi Kasus dan Penyusutan dan kemungkinan hukuman sebagai metode untuk meningkatkan akurasi prediksi adalah tempat yang baik untuk memulai. Baik sumber terbuka (saya pikir) tetapi google akan menemukan artikel asli.
charles
3
Segala bentuk regularisasi estimator yang bergerak (menyusut) estimasi (umumnya menuju 0 atau nilai 'nol' / diketahui lainnya); memang, regularisasi yang menggerakkan kumpulan perkiraan satu sama lain juga merupakan semacam penyusutan (itu menggerakkan parameter yang mewakili perbedaan mereka menuju 0). Jika Anda belum melihatnya, artikel Wikipedia mungkin bisa membantu.
Glen_b -Reinstate Monica
Bagaimana dengan Penyusutan empiris. Misalkan saya memiliki deret waktu, saya cocok dengan seorang model. Bisakah saya berbicara tentang beberapa jenis penyusutan antara kecocokan sampel dan kinerja sampel?
Wintermute

Jawaban:

2

Pada tahun 1961 James dan Stein menerbitkan sebuah artikel berjudul "Estimation with Quadratic Loss" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Meskipun tidak secara spesifik memasukkan istilah penyusutan, mereka membahas penaksir minimax untuk statistik berdimensi tinggi (sebenarnya bahkan untuk 3 parameter lokasi) yang memiliki risiko lebih kecil (kehilangan yang diharapkan) daripada MLE biasa (setiap komponen rata-rata sampel) untuk data normal . Bradley Efron menyebut temuan mereka "teorema statistik matematika pasca-perang yang paling mencolok". Artikel ini telah dikutip sebanyak 3,310 kali.

Copas pada tahun 1983 menulis artikel pertama Regresi, Prediksi dan Penyusutan dengan istilah "penyusutan". Ini didefinisikan secara implisit dalam abstrak:

Kecocokan prediktor regresi terhadap data baru hampir selalu lebih buruk daripada kecocokannya dengan data asli. Mengantisipasi penyusutan ini mengarah ke prediktor tipe-Stein yang, dengan asumsi tertentu, memberikan prediksi kesalahan kuadrat rata-rata yang lebih rendah daripada kuadrat terkecil.

Dan dalam semua penelitian berturut-turut, tampaknya penyusutan mengacu pada karakteristik operasi (dan perkiraannya) untuk validitas out-of-sample prediksi dan estimasi dalam konteks menemukan penduga yang dapat diterima dan / atau minimum.

AdamO
sumber
2

Ini tentang regularisasi. Misalkan Anda ingin mencocokkan kurva dan Anda menggunakan fungsi kehilangan kuadrat (Anda dapat memilih yang berbeda). OlehfitAnda ingin memulihkan parameter yang mengatur proses yang menghasilkan kurva itu. Sekarang bayangkan Anda ingin menyesuaikan kurva ini menggunakan polinomial ke-100 (hanya misalnya). Anda kemungkinan besar akan mengenakan atau menangkap setiap ketegaran dan kebisingan kurva. Selain itu, kemampuan prediksi Anda di luar interval data pelatihan yang diberikan akan sangat buruk. Jadi, istilah regularisasi ditambahkan ke fungsi objektif dengan beberapa bobot dikalikan dengan faktor regularisasi - l_1, l_2 atau custom. Dalam kasus l_2, yang lebih mudah dipahami, ini akan berdampak bahwa nilai parameter besar akan dipaksa untuk mengurangi alias menyusut. Anda dapat menganggap regularisasi atau penyusutan sebagai penggerak algoritma Anda ke solusi yang mungkin merupakan solusi yang lebih baik.

Vladislavs Dovgalecs
sumber