Mengapa kita harus membahas perilaku konvergensi dari penduga yang berbeda dalam topologi yang berbeda?

Dalam bab pertama buku Algebraic Geometry dan Statistical Learning Theory yang berbicara tentang konvergensi estimasi dalam ruang fungsional yang berbeda, disebutkan bahwa estimasi Bayesian sesuai dengan topologi distribusi Schwartz, sedangkan estimasi kemungkinan maksimum sesuai dengan topologi sup-norm. (di halaman 7):

Misalnya, sup-norm, $L^p$ -norm, topologi lemah ruang Hilbert $L^2$ , topologi distribusi Schwartz, dan sebagainya. Ini sangat tergantung pada topologi ruang fungsi apakah konvergensi $K_n(w)\to K(w)$ bertahan atau tidak. Estimasi Bayes sesuai dengan topologi distribusi Schwartz, sedangkan kemungkinan maksimum atau metode posteriori sesuai dengan sup-norm. Perbedaan ini sangat mempengaruhi hasil belajar dalam model tunggal.

di mana dan K ( w ) masing-masing adalah KL-divergensi empiris (penjumlahan dari pengamatan) dan KL-divergensi yang sebenarnya (integral wrt distribusi data) antara model yang benar dan model parametrik (dengan parameter w ).$K_n(w)$$K(w)$$w$

Adakah yang bisa memberikan penjelasan, atau memberi tahu saya tempat mana di buku yang memiliki justifikasi? Terima kasih.

Pembaruan : konten hak cipta dihapus.

Untuk memahami diskusi Watanabe, penting untuk menyadari apa yang ia maksudkan dengan "singularitas". Singularitas (ketat) bertepatan dengan gagasan geometrik metrik singular dalam teorinya.

hal.10 [Watanabe]: "Model statistik dikatakan teratur jika dapat diidentifikasi dan memiliki metrik pasti positif. Jika model statistik tidak teratur, maka itu disebut singular singular."$p(x\mid w)$

Dalam praktiknya, singularitas biasanya muncul ketika metrik informasi Fisher diinduksi oleh model di degenerasi pada manifold yang ditentukan oleh model, seperti kasus berpangkat rendah atau jarang dalam karya "pembelajaran mesin".

Apa yang dikatakan Watanabe tentang konvergensi divergensi KL empiris dengan nilai teoretisnya dapat dipahami sebagai berikut. Salah satu asal usul divergensi berasal dari statistik yang kuat. M-estimator, yang termasuk MLE sebagai kasus khusus dengan fungsi kontras , biasanya dibahas menggunakan topologi yang lemah. Adalah masuk akal untuk membahas perilaku konvergensi menggunakan topologi yang lemah atas ruang M ( X ) (manifold dari semua langkah yang mungkin didefinisikan pada ruang Polandia $\rho(\theta,\delta(X))=-\log p(X\mid \theta)$$M(\cal{X})$$\cal{X}$) karena kami ingin mempelajari perilaku ketahanan MLE. Teorema klasik dalam [Huber] menyatakan bahwa dengan fungsi divergensi terpisah dengan baik ( θ 0 , θ ) = E θ 0 ρ ( θ , δ ) . inf | θ - θ 0 | ≥ ϵ ( | D ( θ 0 , θ ) - D ( θ 0 , θ 0 ) | ) > $D(\theta_0,\theta)=E_{\theta_{0}}\rho(\theta,\delta)$

$$\inf_{|\theta-\theta_0|\geq\epsilon}(|D(\theta_0,\theta)-D(\theta_0,\theta_0)| )>0$$ dan pendekatan empiris yang baik dari fungsi kontras untuk divergensi, bersama dengan keteraturan, kita dapat menghasilkan konsistensi dalam arti ^ θ n :=ar $$\sup_{\theta}\left|\frac{1}{n}\sum_{i}\rho(\theta,\delta(X_i))- D(\theta_0,\theta)\right|\rightarrow 0,n\rightarrow\infty$$ akan menyatu dengan θ 0 dalam probabilitas P θ 0 . Hasil ini membutuhkan kondisi yang jauh lebih tepat jika kita dibandingkan dengan hasil Doob [Doob] dalam konsistensi yang lemah dari estimator Bayesian. $$\hat{\theta_n}:=\mathrm{arg\,min}_{\theta}\rho(\theta,\delta(X_n))$$ $\theta_0$$P_{\theta_0}$

Jadi di sini penaksir Bayesian dan MLE menyimpang. Jika kita masih menggunakan topologi yang lemah untuk membahas konsistensi penaksir Bayesian, itu tidak ada artinya karena penaksir Bayesian akan selalu (dengan probabilitas satu) konsisten dengan Doob. Oleh karena itu topologi yang lebih tepat adalah topologi distribusi Schwarz yang memungkinkan derivatif yang lemah dan teori von Mises ikut bermain. Barron memiliki laporan teknis yang sangat bagus tentang topik ini bagaimana kita dapat menggunakan teorema Schwartz untuk mendapatkan konsistensi.

$D$

"Hasil belajar singular" dipengaruhi karena, seperti yang kita lihat, teorema konsistensi Doob memastikan bahwa estimator Bayesian menjadi lemah secara konsisten (bahkan dalam model tunggal) dalam topologi yang lemah sementara MLE harus memenuhi persyaratan tertentu dalam topologi yang sama.

Hanya satu kata, [Watanabe] bukan untuk pemula. Ini memiliki beberapa implikasi mendalam pada set analitik nyata yang membutuhkan kematangan matematis lebih dari yang dimiliki kebanyakan ahli statistik, jadi mungkin bukan ide yang baik untuk membacanya tanpa bimbingan yang tepat.

$\blacksquare$ Referensi

[Watanabe] Watanabe, Sumio. Geometri aljabar dan teori pembelajaran statistik. Vol. 25. Cambridge University Press, 2009.

[Huber] Huber, Peter J. "Perilaku perkiraan kemungkinan maksimum dalam kondisi tidak standar." Prosiding simposium Berkeley kelima pada statistik matematika dan probabilitas. Vol. 1. No. 1. 1967.

[Doob] Doob, Joseph L. "Penerapan teori martingales." Mendapat perhitungan dengan aplikasi (1949): 23-27.