Apa yang dimaksud dengan varian * fungsi * di * Pengantar Pembelajaran Statistik *?

Pada hal. 34 dari Pengantar Pembelajaran Statistik : $\newcommand{\Var}{{\rm Var}}$

Meskipun bukti matematika adalah di luar cakupan buku ini, adalah mungkin untuk menunjukkan bahwa tes diharapkan MSE, untuk nilai yang diberikan $x_0$ , selalu dapat didekomposisi menjadi jumlah dari tiga jumlah mendasar: varians dari $\hat{f}(x_0)$ , bias kuadrat dari $\hat{f}(x_0)$ dan varians dari istilah kesalahan $\varepsilon$ . Itu adalah,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] Varians merujuk pada jumlah yang akan diubah $\hat{f}$ jika kami memperkirakannya menggunakan kumpulan data pelatihan yang berbeda.

Pertanyaan: Karena $\Var\big(\hat{f}(x_0)\big)$ tampaknya menunjukkan variasi fungsi , apa artinya ini secara formal?

Yaitu, saya akrab dengan konsep varian dari variabel acak $X$ , tetapi bagaimana dengan varian dari serangkaian fungsi? Bisakah ini dianggap hanya sebagai varian dari variabel acak lain yang nilainya mengambil bentuk fungsi?

Korespondensi Anda dengan @whuber benar.

Algoritma pembelajaran dapat dilihat sebagai fungsi tingkat yang lebih tinggi, memetakan pelatihan yang disetel ke fungsi.$\mathcal{A}$

di mana adalah ruang set latihan yang memungkinkan. Ini bisa sedikit berbulu secara konseptual, tetapi pada dasarnya setiap pelatihan individu menetapkan hasil, setelah menggunakan algoritma pelatihan model, dalam fungsi khusus yang dapat digunakan untuk membuat prediksi yang diberikan titik data . f $\mathcal{T}$$f$$x$

Jika kita melihat ruang set pelatihan sebagai ruang probabilitas, sehingga ada beberapa distribusi set data pelatihan yang mungkin, maka algoritma pelatihan model menjadi fungsi yang bernilai variabel acak, dan kita bisa memikirkan konsep statistik. Secara khusus, jika kita memperbaiki titik data tertentu , maka kita mendapatkan variabel acak bernilai numerik$x_0$

Yaitu, pertama-tama latih algoritma pada , dan kemudian evaluasi model yang dihasilkan pada . Ini hanyalah variabel acak yang lama, tetapi dibangun dengan cerdik, pada ruang probabilitas, sehingga kita dapat berbicara tentang variansnya. Ini adalah varian dalam rumus Anda dari ISL.x $T$$x_0$

Interpretasi visual menggunakan kfold berulang

Untuk memberikan interpretasi visual / intuitif pada jawaban @Matthew Drury, perhatikan contoh mainan berikut ini.

• Data dihasilkan dari kurva sinus berisik: "True noise"$f(x) \ +$
• Data dibagi antara sampel pelatihan dan pengujian (75% - 25%)
• Model linear (polinomial) disesuaikan dengan data pelatihan:$\hat f(x)$
• Proses ini diulang berkali-kali menggunakan data yang sama (yaitu pelatihan pemisahan - pengujian secara acak menggunakan Sklearm diulang kfold)
• Ini menghasilkan banyak model yang berbeda, dari mana kita menghitung mean dan varians pada setiap titik serta atas semua titik.$x=x_i$

Lihat di bawah untuk grafik yang dihasilkan untuk model polinomial derajat 2 dan derajat 6. Pada pandangan pertama, tampaknya polinomial yang lebih tinggi (berwarna merah) memiliki varian yang lebih besar.

Berargumen bahwa grafik merah memiliki varian yang lebih besar - secara eksperimen

Biarkan dan - sesuai dengan grafik hijau dan merah dan menjadi salah satu contoh grafik, berwarna hijau muda dan merah muda. Misalkan adalah jumlah titik di sepanjang sumbu dan menjadi jumlah grafik (yaitu jumlah simulasi). Di sini kita memiliki dan f r f (i)nxmn=400m=$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

Saya melihat tiga skenario utama

1. Varian dari nilai prediksi pada satu titik spesifik lebih besar yaitu$x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. Varians dalam lebih besar untuk semua poin dalam rentang { x 1 , . . . , x 400 } ( 0 , 1 $(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. Variansnya lebih besar rata-rata (mis. Mungkin lebih kecil untuk beberapa poin)

Dalam kasus contoh mainan ini, ketiga skenario berlaku pada rentang yang membenarkan argumen bahwa kecocokan polinomial orde tinggi (merah) memiliki varian lebih tinggi daripada polinomial orde rendah (berwarna hijau).$(0,1)$

Kesimpulan terbuka

Apa yang harus diperdebatkan ketika ketiga skenario di atas tidak semuanya berlaku. Misalnya, bagaimana jika varian prediksi merah lebih besar dari rata-rata, tetapi tidak untuk semua poin.

Detail label

Pertimbangkan titik$x_0 = 0.5$

• Bilah galat adalah rentang antara min dan maks$\hat f(x_0)$
• Varians dihitung pada$x_0$
• True adalah garis biru putus-putus$f(x)$