Baru-baru ini saya menjadi sadar akan metode 'bebas-kemungkinan' yang dibicarakan dalam literatur. Namun saya tidak jelas apa artinya inferensi atau metode optimasi menjadi bebas kemungkinan .
Dalam pembelajaran mesin, tujuannya biasanya untuk memaksimalkan kemungkinan beberapa parameter agar sesuai dengan suatu fungsi misalnya bobot pada jaringan saraf.
Jadi apa sebenarnya filosofi dari pendekatan bebas kemungkinan dan mengapa jaringan permusuhan seperti GAN termasuk dalam kategori ini?
Ada banyak contoh metode yang tidak didasarkan pada kemungkinan dalam statistik (saya tidak tahu tentang pembelajaran mesin). Beberapa contoh:
Tes signifikansi murni Fisher . Hanya didasarkan pada hipotesis nol yang didefinisikan dengan tajam (seperti tidak ada perbedaan antara susu pertama dan susu terakhir dalam percobaan Lady Tasting Tea. Asumsi ini mengarah pada distribusi hipotesis nol, dan kemudian nilai-p. Tidak ada kemungkinan terlibat. Mesin inferensial minimal ini tidak dapat dengan sendirinya memberikan dasar untuk analisis daya (tidak ada alternatif yang ditetapkan secara formal) atau interval kepercayaan (tidak ada parameter yang ditetapkan secara formal).
Terkait dengan 1. adalah uji pengacakan Perbedaan antara uji Pengacakan dan uji Permutasi , yang dalam bentuk paling dasar adalah uji signifikansi murni.
Bootstrap dilakukan tanpa perlu fungsi kemungkinan. Tetapi ada koneksi ke ide kemungkinan, misalnya kemungkinan empiris .
Metode berbasis peringkat biasanya tidak menggunakan kemungkinan.
Banyak statistik yang kuat.
Interval kepercayaan untuk median (atau kuantil lainnya) dapat didasarkan pada statistik pesanan. Tidak ada kemungkinan yang terlibat dalam perhitungan. Interval kepercayaan untuk median , Penaksir terbaik untuk varian median empiris
V Vapnik memiliki ide pembelajaran transduktif yang tampaknya terkait dengan https://en.wikipedia.org/wiki/Epilogism seperti yang dibahas dalam Black Swan Taleb dan Black Swan .
Dalam buku Analisis Data dan Model Perkiraan Laurie Davis membangun teori sistematis model statistik sebagai perkiraan, interval kepercayaan digantikan oleh interval perkiraan, dan tidak ada keluarga distribusi parametrik , tidak ada hanya dan seterusnya. Dan tidak ada kemungkinan.
Pada saat Anda memiliki fungsi kemungkinan, ada mesin besar untuk dibangun. Bayesians tidak dapat hidup tanpa, dan sebagian besar yang lain menggunakan kemungkinan sebagian besar waktu. Tapi itu ditunjukkan dalam komentar yang bahkan orang Bayesian coba lakukan tanpa, lihat Approximate_Bayesian_computation . Bahkan ada teks baru tentang topik itu.
Tapi dari mana asalnya? Untuk mendapatkan fungsi likelihood dengan cara biasa, kita membutuhkan banyak asumsi yang sulit dibenarkan.
Sangat menarik untuk bertanya apakah kita dapat membangun fungsi kemungkinan, dalam beberapa cara, dari beberapa metode bebas kemungkinan ini. Misalnya, poin 6. di atas, dapatkah kita membangun fungsi kemungkinan untuk median dari (keluarga) interval kepercayaan yang dihitung dari statistik pesanan? Saya harus menanyakan itu sebagai pertanyaan terpisah ...
Pertanyaan terakhir Anda tentang GAN, saya harus tinggalkan untuk orang lain.
Khususnya, [kemungkinan baru-baru ini] metode kemungkinan adalah penulisan ulang algoritma ABC, di mana ABC singkatan dari perhitungan Bayesian perkiraan . Ini bermaksud untuk mencakup metode inferensi yang tidak memerlukan penggunaan fungsi kemungkinan bentuk tertutup, tetapi masih bermaksud untuk mempelajari model statistik tertentu. Mereka bebas dari kesulitan komputasi yang melekat dengan kemungkinan tetapi tidak dari model yang menghasilkan kemungkinan ini. Lihat misalnya
sumber
Untuk menambah litani jawaban, statistik asimptotik sebenarnya bebas dari kemungkinan.
"Kemungkinan" di sini mengacu pada model probabilitas untuk data . Saya mungkin tidak peduli tentang itu. Tetapi saya dapat menemukan beberapa penduga sederhana, seperti mean, yaitu ringkasan data yang memadai dan saya ingin melakukan inferensi tentang rata-rata distribusi (dengan asumsi itu ada, yang sering merupakan asumsi yang masuk akal).
Dengan teorema limit pusat, mean memiliki distribusi normal yang mendekati dalam N besar ketika varians juga ada. Saya dapat membuat tes yang konsisten (daya masuk ke 1 karena N pergi ke tak terhingga ketika nol adalah salah) yang berukuran benar. Sementara saya memiliki model probabilitas (yang salah) untuk distribusi sampling dari mean dalam ukuran sampel yang terbatas, saya dapat memperoleh inferensi yang valid dan estimasi yang tidak bias untuk menambah "ringkasan data yang berguna" (mean).
Perlu dicatat bahwa tes berdasarkan pada CI 95% untuk median (yaitu opsi 6 dalam jawaban @ kjetilbhalvorsen) juga bergantung pada teorema batas pusat untuk menunjukkan bahwa mereka konsisten. Jadi tidaklah gila untuk menganggap T-test sederhana sebagai tes "non-parametrik" atau "non-kemungkinan".
sumber
Di sisi pembelajaran mesin: Dalam pembelajaran mesin, Anda biasanya mencoba memaksimalkan , di mana adalah target, dan adalah input (misalnya, x bisa berupa noise acak, dan y akan menjadi gambar ). Sekarang, bagaimana kita mengoptimalkan ini? Cara yang umum untuk melakukannya adalah dengan mengasumsikan bahwa . Jika kita menganggap ini, itu mengarah ke kesalahan kuadrat rata-rata. Catatan, kami anggap sebagai formulir untuk . Namun, jika kita tidak mengasumsikan distribusi tertentu, itu disebut pembelajaran bebas kemungkinan.p(y|x) x y p(y|x)=N(y|μ(x),σ) p ( y | x )p(y|x)
Mengapa GAN berada di bawah ini? Nah, fungsi Kehilangan adalah jaringan saraf, dan jaringan saraf ini tidak diperbaiki, tetapi dipelajari bersama. Oleh karena itu, kami tidak mengambil bentuk apa pun lagi (kecuali, bahwa termasuk dalam keluarga distribusi, yang dapat diwakili oleh diskriminator, tetapi demi teori kami katakan itu adalah aproksimasi fungsi universal pula.p(y|x)
sumber