Apa perbedaan matematika antara efek acak dan tetap?

Saya telah menemukan banyak hal di internet mengenai interpretasi efek acak dan tetap. Namun saya tidak bisa mendapatkan sumber yang menjelaskan hal berikut:

Apa perbedaan matematika antara efek acak dan tetap?

Maksud saya formulasi matematis dari model dan parameter cara diperkirakan.

Model paling sederhana dengan efek acak adalah model ANOVA satu arah dengan efek acak, yang diberikan oleh pengamatan dengan asumsi distribusi: ( y i j ∣ μ i ) ∼ iid N ( μ i , σ 2 w ) $y_{ij}$

Di sini efek acak adalah . Mereka adalah variabel acak, sedangkan mereka adalah bilangan tetap dalam model ANOVA dengan efek tetap.$\mu_i$

Misalnya masing-masing dari tiga teknisi di laboratorium mencatat serangkaian pengukuran, dan adalah pengukuran ke- dari teknisi . Sebut "nilai rata-rata sebenarnya" dari seri yang dihasilkan oleh teknisi ; ini adalah parameter sedikit buatan, Anda dapat melihat sebagai nilai rata-rata yang teknisi akan diperoleh jika ia / dia telah mencatat serangkaian besar pengukuran.y i j j i μ i i μ i$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Jika Anda tertarik untuk mengevaluasi , , (misalnya untuk menilai bias di antara operator), maka Anda harus menggunakan model ANOVA dengan efek tetap.μ 2 μ $\mu_1$$\mu_2$$\mu_3$

Anda harus menggunakan model ANOVA dengan efek acak ketika Anda tertarik dengan varians dan mendefinisikan model, dan total varian (lihat di bawah). Varians adalah varians dari rekaman yang dihasilkan oleh satu teknisi (diasumsikan sama untuk semua teknisi), dan disebut varians antar-teknisi. Mungkin idealnya, teknisi harus dipilih secara acak. σ 2 b σ 2 b + σ 2 w σ 2 w σ 2 $\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$$\sigma^2_b$

Model ini mencerminkan dekomposisi formula varian untuk sampel data:

Varians total = varians rata-rata -rata intra-varians$+$

yang tercermin oleh model ANOVA dengan efek acak:

Memang, distribusi ditentukan oleh distribusi kondisionalnya diberikan dan oleh distribusi . Jika seseorang menghitung distribusi "tanpa syarat" dari maka kita menemukan . ( y i j ) μ i μ i y i j y i j ∼ N ( μ , σ 2 b + σ 2 w$y_{ij}$$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Lihat slide 24 dan slide 25 di sini untuk gambar yang lebih baik (Anda harus menyimpan file pdf untuk menghargai overlay, jangan menonton versi online).

Pada dasarnya, apa yang saya pikirkan adalah perbedaan yang paling berbeda jika Anda memodelkan faktor secara acak, adalah bahwa efeknya dianggap diambil dari distribusi normal yang umum.

Misalnya, jika Anda memiliki semacam model mengenai nilai dan Anda ingin memperhitungkan data siswa Anda yang berasal dari sekolah yang berbeda dan Anda menjadikan sekolah model sebagai faktor acak, ini berarti Anda berasumsi bahwa rata-rata berdasarkan sekolah didistribusikan secara normal. Itu berarti dua sumber variasi adalah pemodelan: variabilitas siswa di sekolah dan variabilitas di antara sekolah.

Ini menghasilkan sesuatu yang disebut pooling parsial . Pertimbangkan dua hal ekstrem:

1. Sekolah tidak memiliki efek (antara variabilitas sekolah adalah nol). Dalam hal ini model linier yang tidak memperhitungkan sekolah akan optimal.
2. Variabilitas sekolah lebih besar daripada variabilitas siswa. Maka pada dasarnya Anda perlu bekerja di tingkat sekolah alih-alih tingkat siswa (kurang # sampel). Ini pada dasarnya adalah model di mana Anda menghitung sekolah menggunakan efek tetap. Ini bisa menjadi masalah jika Anda memiliki beberapa sampel per sekolah.

Dengan memperkirakan variabilitas pada kedua level, model campuran membuat kompromi yang cerdas antara kedua pendekatan ini. Terutama jika Anda memiliki siswa yang tidak terlalu besar per sekolah, ini berarti Anda akan mendapatkan penyusutan efek untuk masing-masing sekolah seperti yang diperkirakan oleh model 2 terhadap rata-rata keseluruhan model 1.

Itu karena model mengatakan bahwa jika Anda memiliki satu sekolah dengan dua siswa termasuk yang lebih baik dari apa yang "normal" untuk populasi sekolah maka kemungkinan bahwa bagian dari efek ini dijelaskan oleh sekolah yang beruntung dalam pilihan dari dua siswa memandang. Itu tidak membuat ini secara membabi buta, itu tergantung pada perkiraan variabilitas dalam sekolah. Ini juga berarti bahwa tingkat efek dengan sampel lebih sedikit lebih kuat ditarik ke arah rata-rata keseluruhan daripada sekolah besar.

Yang penting adalah Anda membutuhkan kemampuan tukar pada level faktor acak. Itu berarti dalam hal ini sekolah-sekolah (dari pengetahuan Anda) dapat ditukar dan Anda tidak tahu apa pun yang membuat mereka berbeda (selain semacam ID). Jika Anda memiliki informasi tambahan, Anda dapat memasukkan ini sebagai faktor tambahan, cukup bahwa sekolah dapat ditukar tergantung pada informasi lain yang diperhitungkan.

Sebagai contoh, masuk akal untuk mengasumsikan bahwa orang dewasa berusia 30 tahun yang tinggal di New York dapat ditukar dengan persyaratan gender. Jika Anda memiliki lebih banyak informasi (umur, etnis, pendidikan), masuk akal untuk memasukkan informasi itu juga.

OTH jika Anda telah belajar dengan satu kelompok kontrol dan tiga kelompok penyakit yang sangat berbeda, tidak masuk akal untuk memodelkan kelompok sebagai acak karena penyakit tertentu tidak dapat ditukar. Namun, banyak orang menyukai efek penyusutan dengan baik sehingga mereka masih akan berdebat untuk model efek acak tapi itu cerita lain.

Saya perhatikan saya tidak terlalu banyak ke matematika, tetapi pada dasarnya perbedaannya adalah bahwa model efek acak memperkirakan kesalahan yang terdistribusi normal baik pada tingkat sekolah dan pada tingkat siswa sedangkan model efek tetap memiliki kesalahan hanya pada tingkat siswa. Terutama ini berarti bahwa setiap sekolah memiliki level sendiri yang tidak terhubung ke level lain oleh distribusi umum. Ini juga berarti bahwa model tetap tidak memungkinkan ekstrapolasi ke siswa sekolah tidak termasuk dalam data asli sementara model efek acak melakukannya, dengan variabilitas yang merupakan jumlah dari tingkat siswa dan variabilitas tingkat sekolah. Jika Anda secara khusus tertarik dengan kemungkinan kami dapat mengatasinya.

Di tanah ekon, efek tersebut adalah intersep (atau konstanta) spesifik individu yang tidak teramati, tetapi dapat diperkirakan menggunakan data panel (pengamatan berulang pada unit yang sama dari waktu ke waktu). Metode estimasi efek tetap memungkinkan untuk korelasi antara intersep unit-spesifik dan variabel penjelas independen. Efek acak tidak. Biaya menggunakan efek tetap yang lebih fleksibel adalah Anda tidak dapat memperkirakan koefisien pada variabel yang invarian-waktu (seperti jenis kelamin, agama, atau ras).

NB Bidang lain memiliki terminologi sendiri, yang bisa agak membingungkan.

Dalam paket perangkat lunak standar (misalnya R lmer), perbedaan dasarnya adalah:

• efek tetap diperkirakan dengan kemungkinan maksimum (kuadrat terkecil untuk model linier)
• efek acak diperkirakan oleh Bayes empiris (kuadrat terkecil dengan beberapa susut untuk model linier, di mana parameter susut dipilih oleh kemungkinan maksimum)

Jika Anda menjadi Bayesian (mis. WinBUGS), maka tidak ada perbedaan nyata.

@ Lelucon Model efek tetap menyiratkan bahwa efek-ukuran yang dihasilkan oleh penelitian (atau percobaan) adalah tetap yaitu pengukuran berulang untuk intervensi ternyata efek-ukuran yang sama. Mungkin, kondisi eksternal dan internal untuk percobaan tidak berubah. Jika Anda memiliki sejumlah percobaan dan atau studi di bawah kondisi yang berbeda, Anda akan memiliki ukuran efek yang berbeda. Estimasi parametrik rata-rata dan varians untuk satu set efek-ukuran dapat diwujudkan dengan baik dengan menganggap bahwa ini adalah efek-tetap atau ini adalah efek-acak (diwujudkan dari populasi super). Saya pikir itu adalah masalah yang dapat diselesaikan dengan bantuan statistik matematika.