Misalkan saya membuat banyak ramalan probabilistik seperti:
- 70% probabilitas bahwa pertumbuhan penjualan akan menjadi 10-15% pada Q1, probabilitas 10% bahwa pertumbuhan penjualan akan> 15%, probabilitas 20% bahwa pertumbuhan penjualan akan <10%
Mengingat data aktual, apa cara terbaik untuk mengukur atau melacak akurasi saya? Skor penghalang?
Dan dapatkah saya meratakan skor Brier untuk berbagai jenis prakiraan? (mis. Temukan skor batas untuk prediksi "ada kemungkinan 80% hujan" dan rata-rata dengan perkiraan pertumbuhan penjualan)
forecasting
scoring-rules
Emile
sumber
sumber
Jawaban:
Komentar Anda terdengar seolah-olah Anda benar-benar mencari perkiraan kepadatan daripada perkiraan poin, yaitu, Anda ingin meramalkan distribusi probabilitas penuh dari hasil mendatang. Ini ide yang sangat bagus. Peramalan kepadatan adalah umum dalam peramalan keuangan atau ekonometrik, tetapi sayangnya itu jarang dirawat di buku pelajaran dan kursus peramalan lainnya. Tay & Wallis (2000, Journal of Forecasting ) memberikan survei awal yang bermanfaat.
Cara paling umum untuk mengevaluasi perkiraan kepadatan menggunakan Probability Integral Transform (PIT). Referensi kanonik adalah Diebold, Gunther & Tay (1998, International Economic Review ) . Berkowitz (2001, Jurnal Bisnis & Statistik Ekonomi ) dan Bao, Lee & Saltoglu (2007, Jurnal Peramalan ) memberikan alternatif.
Baru-baru ini, minat meningkat dalam aturan penilaian (yang tepat) , seperti skor Brier yang Anda sebutkan. Sastra termasuk Mitchell & Wallis (2011, Journal of Applied Econometrics ) dan Gneiting, Balabdaoui & Raftery (2007, JRSS-B ) .
Akhirnya, Gneiting & Katzfuss (2014, Tinjauan Tahunan Statistik dan Penerapannya ) memberikan gambaran terkini tentang perkiraan (atau kemungkinan) peramalan, dengan fokus kembali pada aturan penilaian.
sumber