Pengukur bayes kebal terhadap seleksi Bias

Apakah penaksir Bayes kebal terhadap bias seleksi?

Sebagian besar makalah yang membahas estimasi dalam dimensi tinggi, misalnya, seluruh data sekuens genom, akan sering menimbulkan masalah bias seleksi. Bias seleksi muncul dari fakta bahwa, meskipun kami memiliki ribuan calon prediktor, hanya sedikit yang akan dipilih dan inferensi dilakukan pada beberapa yang dipilih. Jadi prosesnya berjalan dalam dua langkah: (1) pilih subset prediktor (2) melakukan inferensi pada set yang dipilih, misalnya, memperkirakan rasio odds. Dawid dalam makalah paradoksnya tahun 1994 berfokus pada estimator yang tidak bias dan estimator Bayes. Dia menyederhanakan masalah untuk memilih efek terbesar, yang bisa menjadi efek perawatan. Kemudian dia berkata, estimator yang tidak memihak dipengaruhi oleh bias seleksi. Dia menggunakan contoh: anggap

Z_{i} \sim N (δ_{i}, 1), i = 1, \dots, N

$Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

Z = (Z_{1}, Z_{2}, \dots, Z_{N})^{T}

$\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^T$

γ_{1} (Z) = max {Z_{1}, Z_{2}, \dots, Z_{N}}

$\gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\}$

max {δ_{1}, δ_{2}, \dots, δ_{N}}

$\max\{\delta_1,\delta_2,\ldots,\delta_N\}$

i_{max}

$i_{\max}$

δ_{i}

$\delta_i$ , kami hanya akan menggunakan

Z_{i_{max}}

$Z_{i_{\max}}$ sebagai estimatornya yang tidak bias. Tetapi karena kita tidak mengetahui hal ini, kita menggunakan

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$ sebagai gantinya yang menjadi bias (positif).

Tetapi pernyataan yang mengkhawatirkan yang dibuat oleh Dawid, Efron dan penulis lainnya adalah penaksir Bayes kebal terhadap bias seleksi. Jika sekarang saya akan meletakkan sebelum $\delta_i$ , katakan $\delta_i\sim g(.)$ , Maka penaksir Bayes dari $\delta_i$ diberikan oleh

E {δ_{i} ∣ Z_{i}} = z_{i} + \frac{d}{d z_{i}} m (z_{i})

$\text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i)$ mana

m (z_{i}) = \int φ (z_{i} - δ_{i}) g (δ_{i}) d δ_{i}

$m(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_i$ , dengan

φ (.)

$\varphi(.)$ Gaussian standar.

Jika kita mendefinisikan estimator baru sebagai apapun yang memilih untuk memperkirakan dengan , akan sama dengan jika seleksi didasarkan pada . Ini mengikuti karena adalah monoton di . Kita juga tahu bahwa menyusut ke nol dengan istilah, $\delta_{i_{\max}}$

γ_{2} (Z) = max {E {δ_{1} ∣ Z_{1}}, E {δ_{2} ∣ Z_{2}}, \dots, E {δ_{N} ∣ Z_{N}}},

$\gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\},$

i

$i$

δ_{i_{max}}

$\delta_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

i

$i$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

Z_{i}

$Z_i$

E {δ_{i} ∣ Z_{i}}

$\text{E}\{\delta_i\mid Z_i\}$

Z_{i}

$Z_i$

\frac{d}{d z_{i}} m (z_{i})

$\frac{d}{dz_i}m(z_i)$ yang mengurangi beberapa bias positif di . Tetapi bagaimana kita menyimpulkan bahwa estimator Bayes kebal terhadap seleksi bias. Saya benar-benar tidak mengerti.

Z_{i}

$Z_i$

bayesian feature-selection bias unbiased-estimator conjugate-prior Chamberlain Foncha
sumber

Mengingat bahwa Anda merujuk klaim dalam sebuah literatur, dapatkah Anda memberikan situasi lengkap dan referensi halaman, sehingga kami dapat membaca konteks lengkap klaim ini.

Ben - Pasang kembali Monica

Apakah mendefinisikan penduga sebagai maks penaksir Bayes masih merupakan penaksir Bayes?

Xi'an

Contoh 1 di koran.

Chamberlain Foncha

Jawaban:

Seperti yang diuraikan di atas, masalah muncul dengan menarik inferensi pada indeks dan nilai, (i⁰, μ⁰), dari rata-rata terbesar dari sampel rv Normal. Apa yang saya temukan mengejutkan dalam presentasi Dawid adalah bahwa analisis Bayesian tidak terdengar terlalu banyak Bayesian. Jika diberikan seluruh sampel, pendekatan Bayesian harus menghasilkan distribusi posterior pada (i⁰, μ⁰), daripada mengikuti langkah-langkah estimasi, dari memperkirakan i⁰ hingga memperkirakan rata-rata terkait. Dan jika diperlukan, estimator harus berasal dari definisi fungsi kerugian tertentu. Sebaliknya, ketika diberikan titik terbesar dalam sampel, dan hanya titik itu, distribusinya berubah, jadi saya cukup bingung dengan pernyataan bahwa tidak diperlukan penyesuaian.

Pemodelan sebelumnya juga agak mengejutkan bahwa prior pada sarana harus bersama daripada produk Normals independen, karena rata-rata ini dibandingkan dan karenanya dapat dibandingkan. Misalnya prior hierarkis tampaknya lebih tepat, dengan lokasi dan skala diperkirakan dari keseluruhan data. Menciptakan hubungan antara rata-rata ... Keberatan yang relevan terhadap penggunaan prior independen yang tidak patut adalah bahwa rata-rata maksimum μ⁰ maka tidak memiliki ukuran yang terdefinisi dengan baik. Namun, saya tidak berpikir kritik terhadap beberapa prior versus lainnya adalah serangan yang relevan pada "paradoks" ini.

Xi'an
sumber

Tampak bagi saya bahwa semua perlindungan yang diperlukan harus dikodekan dalam sebelumnya yang menghubungkan semua cara yang tidak diketahui. Jika sebelumnya membuat perbedaan besar antara sarana sangat tidak mungkin, yang akan tercermin dalam posterior membuatnya sempurna.

Frank Harrell

@ Xi'an, bisakah Anda memberi contoh bagaimana Anda akan menempatkan prioritas pada ?

(i, μ)

$(i,\mu)$

Chamberlain Foncha

@ Frank Harrel, perhatikan misalnya dan . Estimator yang tidak bias dari adalah . Estimator Bayes dari adalah . Jika adalah terbesar maka , karena penaksir Bayes adalah monoton dalam . Tidak peduli seberapa informatif sebelumnya, ini tidak akan berubah. Namun, mengurangi Bayes positif di . Tetapi jika yang salah dipilih, estimator Bayes tidak dapat memperbaikinya.

δ_{i} \sim N (a, 1)

$\delta_i \sim N(a,1)$

Z_{i} \sim N (δ_{i}, 1)

$Z_i\sim N(\delta_i,1)$

δ_{i}

$\delta_i$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

E (δ_{i} | Z_{i})

$E(\delta_i|Z_i)$

Z_{i^{0}}

$Z_{i^0}$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i^{0}}

$Z_{i^0}$

i^{0}

$i^0$

Chamberlain Foncha

@ChamberlainFoncha: Estimator Bayes hanya ketika adalah independen apriori. Sambungan sebelumnya pada dan membuat mereka benar-benar bergantung.

E [δ_{i} | Z_{i}]

$\mathbb{E}[\delta_i|Z_i]$

δ_{i}

$\delta_i$

i

$i$

μ_{i}

$\mu_i$

Xi'an

Dan setiap prior dapat diterima dari sudut pandang Bayesian, misalnya distribusi seragam pada indeks dan prior hierarkis pada .

μ_{i}

$\mu_i$

Xi'an

Sekalipun agak kontra-intuitif, pernyataan itu benar. Asumsikan untuk percobaan ini, maka posterior untuk benar-benar . Fakta kontra-intuitif ini sedikit mirip dengan Bayes yang kebal terhadap (rahasia) penghentian dini (yang juga sangat kontra-intuitif). $i^*=5$ $\mu_5$ $N(x_5,\sigma^2)$

Alasan Bayesian akan mengarah pada kesimpulan yang salah jika untuk setiap percobaan seperti itu (bayangkan Anda ulangi beberapa kali), hanya hasil untuk varietas terbaik yang akan disimpan. Akan ada pemilihan data dan metode Bayesian jelas tidak kebal terhadap pemilihan data (rahasia). Sebenarnya tidak ada metode statistik yang kebal terhadap pemilihan data.

Jika seleksi semacam itu dilakukan, penalaran Bayesian lengkap dengan mempertimbangkan pilihan ini akan dengan mudah memperbaiki ilusi.

Namun kalimat "penaksir Bayes kebal terhadap seleksi Bias" agak berbahaya. Sangat mudah untuk membayangkan situasi di mana "seleksi" berarti sesuatu yang lain, seperti misalnya pemilihan variabel penjelas, atau pemilihan data. Bayes tidak jelas kebal terhadap ini.

Benoit Sanchez
sumber