Apakah seorang Bayesian mengakui bahwa ada satu nilai parameter tetap?

40

Dalam analisis data Bayesian, parameter diperlakukan sebagai variabel acak. Ini berasal dari konseptualisasi subjektif subjektif Bayesian. Tetapi apakah Bayesian secara teori mengakui bahwa ada satu nilai parameter tetap yang benar di 'dunia nyata?'

Sepertinya jawaban yang jelas adalah 'ya', karena kemudian mencoba memperkirakan parameternya hampir tidak masuk akal. Kutipan akademik untuk jawaban ini akan sangat dihargai.

probability bayesian parameterization ATJ
sumber
2
Beri saya parameter itu dan saya akan menentukan distribusi untuk itu. :-)
Anne van Rossum

Jawaban:

43

IMHO "ya"! Berikut adalah salah satu kutipan favorit saya oleh Greenland (2006: 767):

Sering dikatakan (secara keliru) bahwa 'parameter diperlakukan sebagai tetap oleh frequentist tetapi sebagai acak oleh Bayesian'. Untuk frequentist dan Bayesian sama, nilai parameter mungkin telah diperbaiki sejak awal atau mungkin telah dihasilkan dari mekanisme acak secara fisik. Dalam kedua kasus, keduanya menganggap itu mengambil nilai tetap yang ingin kita ketahui. Bayesian menggunakan model probabilitas formal untuk mengekspresikan ketidakpastian pribadi tentang nilai itu. 'Keacakan' dalam model ini mewakili ketidakpastian pribadi tentang nilai parameter; ini bukan properti dari parameter (walaupun kita harus berharap itu secara akurat mencerminkan properti dari mekanisme yang menghasilkan parameter).

Greenland, S. (2006). Perspektif Bayesian untuk penelitian epidemiologi: I. Yayasan dan metode dasar. International Journal of Epidemiology , 35 (3), 765-774.

Bernd Weiss
sumber
2
Menjadi sedikit pelawan, tidak bisakah seseorang berpendapat bahwa (posisi, momentum) suatu partikel adalah "parameter" yang mungkin kita coba perkirakan? Orang mungkin berpendapat bahwa tidak ada nilai "tetap" dari parameter ini, dan bahwa kita harus benar-benar menganggapnya sebagai distribusi. Mengenai hal-hal yang tidak diketahui secara khusus sebagai distribusi dan bukan nilai-nilai tetap tampaknya merupakan apa yang dilakukan alam dalam situasi tertentu. Saya tidak berpikir alasan ini sangat menarik bagi seorang Bayesian dalam praktiknya, tetapi saya pikir untuk sepenuhnya menjawab pertanyaan OPs beberapa diskusi tentang sifat keacakan diperlukan.
pria
3
Saya tidak melihat apa yang 'tidak wajar' tentang mempertimbangkan distribusi sebagai target inferensi. Memang, pengindeksan hal-hal dengan parameter tetap opsional misalnya seseorang dapat menegaskan ketidakpastian seseorang menggunakan distribusi atas fungsi secara langsung (lihat Neal dan Williams tentang Proses Gaussian). Dan seseorang tidak perlu memiliki pandangan khusus tentang 'keacakan' untuk mewakili ketidakpastian dengan kalkulus probabilitas. Inferensi berdasarkan sampel (teori) bisa dibilang tidak perlu teori semacam itu, tetapi sejauh yang saya bisa melihat Bayesianism tidak (atau setidaknya tidak perlu.)
conjugateprior
2
Saya tidak setuju bahwa Bayesian mengasumsikan bahwa parameter memiliki nilai tetap dan hanya ketidakpastian pribadi mereka yang mendorong mereka untuk menentukan parameter sebagai distribusi daripada titik. Saya sudah mencoba untuk memperluas itu dalam jawaban saya. Ketidakpastian pribadi / teoretis Anda adalah bagian dari distribusi, tetapi bagi saya tampaknya model Anda pada dasarnya rata-rata di seluruh variabel yang tertinggal dari model dan yang menciptakan distribusi, bahkan jika prioritas pribadi Anda sangat tepat.
Wayne
29

Konsepsi Bayes tentang probabilitas tidak selalu subjektif (lih. Jaynes). Perbedaan penting di sini adalah bahwa Bayesian mencoba untuk menentukan status pengetahuannya tentang nilai parameter dengan menggabungkan distribusi sebelumnya untuk nilai yang masuk akal dengan kemungkinan yang merangkum informasi yang terkandung dalam beberapa pengamatan. Oleh karena itu, sebagai seorang Bayesian, saya akan mengatakan bahwa saya senang dengan gagasan bahwa parameter memiliki nilai sebenarnya, yang tidak diketahui secara pasti, dan tujuan dari distribusi posterior adalah untuk meringkas apa yang saya ketahui tentang nilai-nilai yang masuk akal, berdasarkan asumsi dan pengamatan saya sebelumnya.

Sekarang, ketika saya membuat model, model itu bukan kenyataan. Jadi dalam beberapa kasus, parameter yang dipermasalahkan memang ada dalam kenyataan (mis. Berat rata-rata wombat) dan dalam beberapa pertanyaan tidak (misalnya nilai sebenarnya dari parameter regresi - model regresi hanya merupakan model hasil dari hukum fisik yang mengatur sistem, yang mungkin tidak sepenuhnya ditangkap oleh model regresi). Jadi untuk mengatakan bahwa ada satu nilai parameter tetap yang benar di dunia nyata belum tentu benar.

Di sisi lain, saya akan menyarankan bahwa kebanyakan frequentist akan mengatakan ada satu nilai sebenarnya untuk statistik, tetapi mereka tidak tahu apa itu baik, tetapi mereka memiliki estimator untuk itu dan interval kepercayaan pada estimasi mereka yang (dalam arti ) mengkuantifikasi ketidakpastian mereka mengenai kemungkinan masuknya nilai yang berbeda (tetapi konsepsi probabilitas yang sering mencegah mereka untuk mengungkapkannya secara langsung).

Dikran Marsupial
sumber
Saya selalu berpikir "probabilitas subyektif" disebut subyektif karena mengacu pada properti subjek yang melakukan perhitungan (yaitu pengetahuannya) daripada properti dari realitas objektif (mis. Distribusi bobot dadu yang tidak sepenuhnya adil).
nikie
1
α
Saya tahu, tapi itu masih probabilitas subjektif, kan? Karena mereka masih menggambarkan pengetahuan subjek tentang beberapa parameter (yang, untuk yang sering, tidak akan menjadi variabel acak sama sekali)
nikie
Tidak perlu subjek. Satu set robot atau komputer semua dapat melakukan perhitungan yang sama dan sampai pada kesimpulan yang sama, apakah menggunakan pendekatan Bayesian yang sering atau objektivis. Hal ini yang status pengetahuan, terlepas dari subjek melakukan perhitungan, yang mengapa itu adalah tujuan daripada subjektif.
Dikran Marsupial
17

Untuk poin utama Anda, di Bayesian Data Analysis (edisi ke-3, 93), Gelman juga menulis

Dari perspektif analisis data Bayesian, kita sering dapat menafsirkan estimasi titik klasik sebagai ringkasan posterior yang tepat atau perkiraan berdasarkan beberapa model probabilitas penuh implisit. Dalam batas ukuran sampel besar, pada kenyataannya, kita dapat menggunakan teori asimptotik untuk membangun justifikasi Bayes teoretis untuk inferensi kemungkinan maksimum klasik.

Jadi mungkin bukan orang Bayesian yang harus "mengakui" bahwa ada, pada kenyataannya, nilai parameter nyata tunggal, tetapi sering yang harus menarik statistik Bayesian untuk membenarkan prosedur estimasi mereka! (Saya mengatakan ini dengan lidah tegas di pipi.)

Pr(θ|y)

Tetapi gagasan bahwa ada parameter tunggal di alam atau dalam sistem sosial hanyalah asumsi yang disederhanakan. Mungkin ada beberapa proses hiasan menghasilkan hasil yang dapat diamati, tetapi menemukan bahwa sistem itu sangat rumit; seandainya ada satu nilai parameter tetap menyederhanakan masalah secara dramatis. Saya pikir ini memotong inti pertanyaan Anda: Bayesian seharusnya tidak harus "mengakui" untuk membuat penyederhanaan ini lebih dari yang seharusnya dilakukan oleh kaum Frequentists.

Sycorax berkata Reinstate Monica
sumber
Maukah Anda menjelaskan mengapa Anda menolak kesimpulan Bayesian berdasarkan pada probabilitas subjektif? Teks pengantar yang pernah saya baca (Kruschke, Lynch) sepertinya membingkai seperti itu. Apakah hanya sebagian subjektif (berasal dari sebelumnya)?
ATJ
@ATJ Saya harap ini menjelaskan maksud saya. Ada argumen lain yang bisa diajukan orang, tetapi poin penting bagi saya adalah asumsi tersirat bahwa statistik Bayes bersifat subjektif dalam cara yang tidak dimiliki oleh paradigma lain. Sebagai contoh, saya akan menentang karakterisasi dalam kutipan Bernd karena tampaknya sama "pribadi" untuk mendukung metode estimasi titik yang tidak bias atas kerangka kerja variabilitas posterior.
Sycorax berkata Reinstate Monica
@ATJ, teks pengantar menceritakan kisah untuk memotivasi metode. Sesuatu seperti kisah itu mungkin awalnya memotivasi metodenya. Tetapi itu tidak berarti bahwa cerita itu memiliki banyak pengaruh pada asumsi yang dibuat orang dalam menerapkan metode-metode tersebut dalam praktik. (Dan ceritanya mungkin tidak masuk akal: Misalnya, gagasan bahwa probabilitas yang terlibat dalam statistik dapat didefinisikan dalam hal frekuensi dalam cara yang kadang-kadang dikatakan oleh teks-teks pengantar kadang-kadang tidak masuk akal - makalah "15 Argumen" Google Alan Hajek Itu tidak berarti bahwa statistik kerap kali tidak berfungsi; itu memang benar.)
Mars
9

Apakah Anda berpikir bahwa ada "parameter tetap sejati" tunggal untuk sesuatu seperti kontribusi minum susu untuk pertumbuhan anak? Atau untuk penurunan ukuran tumor berdasarkan jumlah bahan kimia X yang Anda suntikkan ke dalam tubuh pasien? Pilih model apa pun yang Anda kenal dan tanyakan pada diri Anda apakah Anda benar-benar percaya bahwa ada satu nilai yang benar, universal, tepat dan tetap untuk setiap parameter, bahkan dalam teori.

Abaikan kesalahan pengukuran, lihat saja model Anda seolah-olah semua pengukuran sangat akurat dan sangat akurat. Dengan model Anda, apakah menurut Anda setiap parameter secara realistis memiliki nilai titik tertentu?

Fakta bahwa Anda memiliki model menunjukkan bahwa Anda meninggalkan beberapa detail. Model Anda akan memiliki sejumlah ketidaktepatan karena Anda rata-rata atas parameter / variabel yang Anda tinggalkan untuk membuat model - representasi kenyataan yang disederhanakan. (Sama seperti Anda tidak membuat peta planet 1: 1, lengkapi dengan semua detail, melainkan peta 1: 10000000, atau penyederhanaan semacam itu. Peta itu adalah model.)

Karena Anda rata-rata melintasi variabel yang ditinggalkan, parameter untuk variabel yang Anda sertakan dalam model Anda akan berupa distribusi, bukan nilai titik.

Itu hanya bagian dari filosofi Bayesian - saya mengabaikan ketidakpastian teoretis, ketidakpastian pengukuran, prior, dll - tetapi bagi saya gagasan bahwa parameter Anda memiliki distribusi masuk akal, seperti halnya statistik deskriptif memiliki distribusi.

Wayne
sumber
7

Tetapi apakah Bayesian secara teori mengakui bahwa ada satu nilai parameter tetap yang benar di 'dunia nyata?'

θ0θ0

Stéphane Laurent
sumber
θ00
2

Jika kita pergi dan memasangkan Bayesianisme dengan alam semesta deterministik (sebelum Anda mengatakan apa pun dengan kata 'kuantum' di dalamnya, beri humor dan ingatlah bahwa ini bukan fisika. Pertukaran pertukaran) kita mendapatkan beberapa hasil menarik.

Membuat asumsi kami eksplisit:

  1. Kami memiliki agen Bayesian yang menjadi bagian dari dan mengamati alam deterministik.
  2. Agen memiliki sumber daya komputasi yang terbatas.

Sekarang, alam semesta deterministik mungkin satu di mana atom adalah bola bilyar kecil newton. Mungkin sepenuhnya non-kuantum. Katakan saja begitu.

Agen sekarang membalik koin yang adil. Pikirkan tentang hal itu sejenak, apa yang terbentuk dari koin yang adil di dunia deterministik? Koin yang memiliki rasio probabilitas 50/50?

Tapi itu deterministik! Dengan daya komputasi yang cukup Anda dapat menghitung dengan tepat bagaimana koin akan mendarat, murni dengan mensimulasikan model koin yang diputar dengan cara yang sama.

Dalam dunia deterministik, koin yang adil akan menjadi cakram logam dengan kerapatan seragam. Tidak ada kekuatan yang memaksanya menghabiskan lebih banyak waktu dengan satu wajah menghadap ke bawah dari yang lain (pikirkan tentang bagaimana fungsi dadu berbobot.)

Jadi agen membalik koin yang adil. Namun, agen itu tidak cukup kuat. Itu tidak memiliki mata yang cukup tajam untuk mengukur bagaimana koin berputar ketika dibalik, ia melihat tetapi kabur.

Dan begitulah katanya, "Koin ini akan mendaratkan kepala dengan probabilitas 50%." Kurangnya informasi menyebabkan kemungkinan.

Kita dapat melihat ruang fase bagaimana koin dilemparkan. Sistem koordinat multidimensi besar dengan sumbu yang berkaitan dengan arah lemparan, gaya lemparan, putaran koin, kecepatan dan arah angin, dan sebagainya. Satu titik dalam ruang ini sesuai dengan satu kemungkinan coinflip.

Jika kita meminta agen dari sebelumnya untuk mewarnai dalam sistem koordinat dengan gradien skala abu-abu yang sesuai dengan penugasan agen tentang kemungkinan kepala untuk setiap lemparan yang diberikan, itu akan paling mewarnai semua warna abu-abu yang seragam.

Jika kita secara bertahap memberikannya komputer internal yang lebih kuat yang dapat digunakan untuk menghitung probabilitas kepala, ia akan dapat membuat pewarnaan yang semakin tajam. Ketika kita akhirnya memberikannya komputer internal yang paling kuat, membuatnya mahatahu, itu akan secara efektif melukis kotak-kotak aneh.

Koin yang adil tidak terbuat dari probabilitas, mereka terbuat dari logam. Peluang hanya ada dalam struktur komputasi. Demikian kata Bayesian.

Karl Damgaard Asmussen
sumber
-3

Ada prior yang tidak tepat, misalnya Jeffreys, yang memiliki hubungan tertentu dengan matriks Informasi Fishers. Maka itu tidak subyektif.

Analis
sumber
2
Bisakah Anda menguraikan bagaimana prior Jeffreys dan hubungannya dengan matriks informasi Fisher berarti bahwa kesimpulan Bayesian tidak subyektif? Seperti yang saya pahami, alasan utama untuk menggunakan pendahuluan Jeffreys adalah bahwa hal itu tidak sesuai dengan parameterisasi alternatif dari model. Selain itu, dalam pengaturan multidimensi, prior Jeffreys ini dapat menjadi sangat informatif, dan hasilnya kontroversial (Gelman, BDA 3, hal. 53). Apakah ini merusak 'objektivitas' nya?
Sycorax berkata Reinstate Monica
@ user777, karena didasarkan pada parameter kepadatan di tangan itu objektif. Misalkan saya melipatgandakan kemungkinan dengan 1, apakah saya kemudian memiliki subjektivitas sebelum probabilitas? Karena probabilitas posterior terkait dengan kemungkinan x sebelumnya.
Analis
Dan frequentist juga harus meminta Aksioma Model Sejati jika mereka ingin menggunakan kemungkinan ... :)
Analis