Contoh sederhana yang menunjukkan keunggulan Bayesian Model Averaging (BMA)

Saya menggabungkan pendekatan Bayesian Model Averaging (BMA) dalam penelitian saya dan akan segera memberikan presentasi tentang pekerjaan saya kepada kolega saya. Namun, BMA tidak begitu terkenal di bidang saya, jadi setelah memberikan mereka semua teori dan sebelum benar-benar menerapkannya pada masalah saya, saya ingin memberikan contoh sederhana namun instruktif tentang mengapa BMA bekerja.

Saya sedang memikirkan contoh sederhana dengan dua model yang dapat dipilih, tetapi model penghasil data yang sebenarnya (DGM) ada di antara keduanya dan bukti tidak benar-benar mendukung salah satu dari mereka. Jadi jika Anda memilih salah satu dan melanjutkannya, Anda akan mengabaikan ketidakpastian model dan membuat kesalahan, tetapi BMA, meskipun model sebenarnya bukan bagian dari set model, setidaknya memberikan kepadatan posterior yang tepat dari parameter yang menarik. Misalnya, ada dua ramalan cuaca setiap hari (A dan B) dan satu ingin memprediksi cuaca terbaik, jadi dalam statistik klasik Anda pertama-tama akan mencoba untuk menemukan peramalan terbaik di antara keduanya, tetapi bagaimana jika kebenaran ada di suatu tempat di antara keduanya. (yaitu, kadang-kadang A benar, kadang-kadang B). Tetapi saya tidak bisa memformalkannya. Sesuatu seperti itu tetapi saya sangat terbuka dengan ide. Saya harap pertanyaan ini cukup spesifik!

Dalam literatur, saya belum menemukan contoh bagus dari apa yang saya baca sejauh ini:

• Kruschke (2011) , sementara pengantar yang bagus untuk statistik Bayesian, tidak benar-benar fokus pada BMA dan contoh lemparan koin yang dia miliki di bab 4 sangat bagus untuk memperkenalkan statistik Bayesian, tetapi tidak benar-benar meyakinkan rekan peneliti untuk menggunakan BMA. ("Mengapa lagi saya memiliki tiga model, satu mengatakan koin itu adil dan dua mengatakan itu bias di kedua arah?")
• Semua hal lain yang saya baca ( Koop 2003 , Koop / Poirier / Tobias (2007) , Hoeting et al. (1999) dan banyak lainnya) adalah referensi yang bagus, tetapi saya belum menemukan contoh mainan sederhana di dalamnya.

Tapi mungkin saya melewatkan sumber yang bagus di sini.

Jadi, adakah yang punya contoh bagus yang ia gunakan untuk memperkenalkan BMA? Mungkin dengan bahkan menunjukkan kemungkinan dan posisi karena saya pikir itu akan sangat instruktif.

Saya melakukan sesuatu yang serupa baru-baru ini. Tidak banyak berusaha meyakinkan orang lain, tetapi melakukan proyek kecil yang memungkinkan saya untuk mendapatkan sedikit rasa BMA. Apa yang saya lakukan adalah membuat dataset dengan respons biner, tiga variabel independen yang berpengaruh pada respons dan tujuh variabel yang tidak memiliki efek pada respons. Saya kemudian membandingkan hasil BMA dengan perkiraan sering dalam regresi logistik. Saya pikir setidaknya dalam hal ini pendekatan BMA tampaknya cukup baik. Jika Anda ingin membuatnya lebih mudah diakses, Anda selalu dapat memberi nama variabel atau sesuatu daripada menyebutnya variabel generik dan .$X$$y$

Kode R yang saya gunakan untuk ini disajikan di bawah ini. Semoga ini bisa menginspirasi Anda!

# The sample size
n <- 100

# The 'true' coefficient vector
Beta <- cbind(c(-1.5, 0.45, -3))

# Generate the explanatory variables which have an effect on the outcome
set.seed(1)
X <- cbind(rnorm(n, 0, 1), rnorm(n, 4, 2), rnorm(n, 0.5, 1))

# Convert this into probabilities
prob <- 1/(1+exp(-X %*% Beta))

# Generate some uniform numbers. If the elements are smaller than the corresponding elements in the prob vector, then return 1.
set.seed(2)
runis <- runif(n, 0, 1)
y <- ifelse(runis < prob, 1, 0)

# Add the nonsense variables
X <- cbind(X, rpois(n, 3))        # Redundant variable 1 (x4)
X <- cbind(X, rexp(n, 10))        # Redundant variable 2 (x5)
X <- cbind(X, rbeta(n, 3, 10))    # Redundant variable 3 (x6)
X <- cbind(X, rbinom(n, 10, 0.5)) # Redundant variable 4 (x7)
X <- cbind(X, rpois(n, 40))       # Redundant variable 5 (x8)
X <- cbind(X, rgamma(n, 10, 20))  # Redundant variable 6 (x9)
X <- cbind(X, runif(n, 0, 1))     # Redundant variable 7 (x10)


# The BMA
library(BMA)
model <- bic.glm(X, y,  glm.family="binomial", factor.type=FALSE, thresProbne0 = 5, strict = FALSE)

# The frequentist model
model2 <- glm(y~X, family = "binomial")

old.par <- par()
par(mar=c(3,2,3,1.5))
plot(model, mfrow=c(2,5))
par(old.par)

summary(model)
summary(model2)

Sumber yang bagus untuk ini adalah:
Bayesian Model Averaging with BMS oleh Stefan Zeugner (2012)

Ini adalah menggunakan R-paket BMS , info lebih lanjut dapat ditemukan di sini:
http://bms.zeugner.eu/

Dua tutorial praktis untuk mereproduksi contoh dunia nyata dengan paket dapat ditemukan di sini:

• http://bms.zeugner.eu/tutorials/fls/
• http://bms.zeugner.eu/tutorials/fat/

Pengantar motivasi dan metode Bayesian yang lebih umum adalah makalah berikut ini:

Waktunya telah tiba: Metode Bayesian untuk Analisis Data dalam Ilmu Organisasi oleh John K. Kruschke, Herman Aguinis dan Harry Joo