Kesimpulan bebas kemungkinan - apa artinya?

11

Baru-baru ini saya menjadi sadar akan metode 'bebas-kemungkinan' yang dibicarakan dalam literatur. Namun saya tidak jelas apa artinya inferensi atau metode optimasi menjadi bebas kemungkinan .

Dalam pembelajaran mesin, tujuannya biasanya untuk memaksimalkan kemungkinan beberapa parameter agar sesuai dengan suatu fungsi misalnya bobot pada jaringan saraf.

Jadi apa sebenarnya filosofi dari pendekatan bebas kemungkinan dan mengapa jaringan permusuhan seperti GAN termasuk dalam kategori ini?

Lembut
sumber

Jawaban:

10

Ada banyak contoh metode yang tidak didasarkan pada kemungkinan dalam statistik (saya tidak tahu tentang pembelajaran mesin). Beberapa contoh:

  1. Tes signifikansi murni Fisher . Hanya didasarkan pada hipotesis nol yang didefinisikan dengan tajam (seperti tidak ada perbedaan antara susu pertama dan susu terakhir dalam percobaan Lady Tasting Tea. Asumsi ini mengarah pada distribusi hipotesis nol, dan kemudian nilai-p. Tidak ada kemungkinan terlibat. Mesin inferensial minimal ini tidak dapat dengan sendirinya memberikan dasar untuk analisis daya (tidak ada alternatif yang ditetapkan secara formal) atau interval kepercayaan (tidak ada parameter yang ditetapkan secara formal).

  2. Terkait dengan 1. adalah uji pengacakan Perbedaan antara uji Pengacakan dan uji Permutasi , yang dalam bentuk paling dasar adalah uji signifikansi murni.

  3. Bootstrap dilakukan tanpa perlu fungsi kemungkinan. Tetapi ada koneksi ke ide kemungkinan, misalnya kemungkinan empiris .

  4. Metode berbasis peringkat biasanya tidak menggunakan kemungkinan.

  5. Banyak statistik yang kuat.

  6. Interval kepercayaan untuk median (atau kuantil lainnya) dapat didasarkan pada statistik pesanan. Tidak ada kemungkinan yang terlibat dalam perhitungan. Interval kepercayaan untuk median , Penaksir terbaik untuk varian median empiris

  7. V Vapnik memiliki ide pembelajaran transduktif yang tampaknya terkait dengan https://en.wikipedia.org/wiki/Epilogism seperti yang dibahas dalam Black Swan Taleb dan Black Swan .

  8. Dalam buku Analisis Data dan Model Perkiraan Laurie Davis membangun teori sistematis model statistik sebagai perkiraan, interval kepercayaan digantikan oleh interval perkiraan, dan tidak ada keluarga distribusi parametrik , tidak ada hanya dan seterusnya. Dan tidak ada kemungkinan.N(μ,σ2)N(9.37,2.122)

Pada saat Anda memiliki fungsi kemungkinan, ada mesin besar untuk dibangun. Bayesians tidak dapat hidup tanpa, dan sebagian besar yang lain menggunakan kemungkinan sebagian besar waktu. Tapi itu ditunjukkan dalam komentar yang bahkan orang Bayesian coba lakukan tanpa, lihat Approximate_Bayesian_computation . Bahkan ada teks baru tentang topik itu.

Tapi dari mana asalnya? Untuk mendapatkan fungsi likelihood dengan cara biasa, kita membutuhkan banyak asumsi yang sulit dibenarkan.

Sangat menarik untuk bertanya apakah kita dapat membangun fungsi kemungkinan, dalam beberapa cara, dari beberapa metode bebas kemungkinan ini. Misalnya, poin 6. di atas, dapatkah kita membangun fungsi kemungkinan untuk median dari (keluarga) interval kepercayaan yang dihitung dari statistik pesanan? Saya harus menanyakan itu sebagai pertanyaan terpisah ...

Pertanyaan terakhir Anda tentang GAN, saya harus tinggalkan untuk orang lain.

kjetil b halvorsen
sumber
7
(+1) Tetapi lihat Perkiraan perhitungan Bayesian . (Saya memiliki kesan bahwa "bebas kemungkinan" lebih banyak digunakan untuk prosedur di mana Anda berharap perlu mengerjakan fungsi kemungkinan, tetapi tidak perlu; daripada untuk tes pengacakan & sejenisnya yang jelas tidak Anda inginkan ' t.)
Scortchi
9

Khususnya, [kemungkinan baru-baru ini] metode kemungkinan adalah penulisan ulang algoritma ABC, di mana ABC singkatan dari perhitungan Bayesian perkiraan . Ini bermaksud untuk mencakup metode inferensi yang tidak memerlukan penggunaan fungsi kemungkinan bentuk tertutup, tetapi masih bermaksud untuk mempelajari model statistik tertentu. Mereka bebas dari kesulitan komputasi yang melekat dengan kemungkinan tetapi tidak dari model yang menghasilkan kemungkinan ini. Lihat misalnya

  1. Grelaud, A; Marin, JM; Robert, C; Rodolphe, F; Tally, F (2009). "Metode bebas kemungkinan untuk pilihan model di bidang acak Gibbs". Analisis Bayesian. 3: 427–442 .
  2. Ratmann, O; Andrieu, C; Wiuf, C; Richardson, S (2009). "Model kritik berdasarkan kesimpulan bebas kemungkinan, dengan aplikasi untuk evolusi jaringan protein". Prosiding Akademi Ilmu Pengetahuan Nasional Amerika Serikat. 106: 10576–10581 .
  3. Bazin, E., Dawson, KJ, & Beaumont, MA (2010). Kesimpulan kemungkinan struktur populasi dan adaptasi lokal dalam model hirarki Bayesian. Genetika, 185 (2), 587-602 .
  4. Didelot, X; Everitt, RG; Johansen, AM; Lawson, DJ (2011). "Estimasi bebas kemungkinan bukti model". Analisis Bayesian. 6: 49–76 .
  5. Gutmann, M. dan Corander, J. (2016) Bayesian optimasi untuk inferensi bebas kemungkinan model statistik berbasis simulator Journal of Machine Learning Research .
Xi'an
sumber
2

Untuk menambah litani jawaban, statistik asimptotik sebenarnya bebas dari kemungkinan.

"Kemungkinan" di sini mengacu pada model probabilitas untuk data . Saya mungkin tidak peduli tentang itu. Tetapi saya dapat menemukan beberapa penduga sederhana, seperti mean, yaitu ringkasan data yang memadai dan saya ingin melakukan inferensi tentang rata-rata distribusi (dengan asumsi itu ada, yang sering merupakan asumsi yang masuk akal).

Dengan teorema limit pusat, mean memiliki distribusi normal yang mendekati dalam N besar ketika varians juga ada. Saya dapat membuat tes yang konsisten (daya masuk ke 1 karena N pergi ke tak terhingga ketika nol adalah salah) yang berukuran benar. Sementara saya memiliki model probabilitas (yang salah) untuk distribusi sampling dari mean dalam ukuran sampel yang terbatas, saya dapat memperoleh inferensi yang valid dan estimasi yang tidak bias untuk menambah "ringkasan data yang berguna" (mean).

Perlu dicatat bahwa tes berdasarkan pada CI 95% untuk median (yaitu opsi 6 dalam jawaban @ kjetilbhalvorsen) juga bergantung pada teorema batas pusat untuk menunjukkan bahwa mereka konsisten. Jadi tidaklah gila untuk menganggap T-test sederhana sebagai tes "non-parametrik" atau "non-kemungkinan".

AdamO
sumber
1

Di sisi pembelajaran mesin: Dalam pembelajaran mesin, Anda biasanya mencoba memaksimalkan , di mana adalah target, dan adalah input (misalnya, x bisa berupa noise acak, dan y akan menjadi gambar ). Sekarang, bagaimana kita mengoptimalkan ini? Cara yang umum untuk melakukannya adalah dengan mengasumsikan bahwa . Jika kita menganggap ini, itu mengarah ke kesalahan kuadrat rata-rata. Catatan, kami anggap sebagai formulir untuk . Namun, jika kita tidak mengasumsikan distribusi tertentu, itu disebut pembelajaran bebas kemungkinan.p(y|x)xyp(y|x)=N(y|μ(x),σ)p ( y | x )p(y|x)

Mengapa GAN berada di bawah ini? Nah, fungsi Kehilangan adalah jaringan saraf, dan jaringan saraf ini tidak diperbaiki, tetapi dipelajari bersama. Oleh karena itu, kami tidak mengambil bentuk apa pun lagi (kecuali, bahwa termasuk dalam keluarga distribusi, yang dapat diwakili oleh diskriminator, tetapi demi teori kami katakan itu adalah aproksimasi fungsi universal pula.p(y|x)

Luca Thiede
sumber