Tes statistik umum sebagai model linier

(PEMBARUAN: Saya mempelajari lebih dalam tentang ini dan memposting hasilnya di sini )

Daftar tes statistik bernama sangat besar. Banyak tes umum mengandalkan inferensi dari model linier sederhana, misalnya uji satu sampel hanya y = β + ε yang diuji terhadap model nol y = μ + ε yaitu β = μ di mana μ adalah beberapa nol nilai - biasanya μ = 0.

Saya menemukan ini menjadi sedikit lebih instruktif untuk tujuan pengajaran daripada model pembelajaran hafalan bernama, kapan harus menggunakannya, dan asumsi mereka seolah-olah mereka tidak ada hubungannya dengan satu sama lain. Pendekatan yang dipromosikan tidak mempromosikan pemahaman. Namun, saya tidak dapat menemukan sumber yang bagus untuk mengumpulkan ini. Saya lebih tertarik pada kesetaraan antara model yang mendasarinya daripada metode inferensi dari mereka. Meskipun, sejauh yang saya bisa lihat, uji rasio kemungkinan pada semua model linier ini menghasilkan hasil yang sama dengan inferensi "klasik".

Berikut adalah persamaan yang telah saya pelajari sejauh ini, dengan mengabaikan istilah kesalahan dan dengan asumsi bahwa semua hipotesis nol adalah tidak adanya efek:$\varepsilon \sim \mathcal N(0, \sigma^2)$

Uji satu sampel: .$y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Uji-berpasangan-sampel: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Ini identik dengan uji-satu sampel pada perbedaan berpasangan.

Uji-t dua sampel: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

di mana x adalah indikator (0 atau 1).

Korelasi Pearson: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Perhatikan kemiripan dengan uji-t dua sampel yang hanya regresi pada sumbu x biner.

Korelasi Spearman: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Ini identik dengan korelasi Pearson pada pangkat-bertransformasi x dan y.

ANOVA satu arah: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

di mana adalah indikator yang memilih relevan (satu adalah 1; yang lain adalah 0). Model ini mungkin bisa ditulis dalam bentuk matriks sebagai sebagai .$x_i$$\beta$$x$$Y = \beta * X$

ANOVA dua arah: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

untuk dua faktor dua tingkat. Di sini adalah vektor beta di mana seseorang dipilih oleh vektor indikator . The ditampilkan di sini adalah efek interaksi.$\beta_i$$X_i$$\mathcal{H}_0$

Bisakah kita menambahkan lebih banyak "tes bernama" ke daftar model linier ini? Misalnya, regresi multivariat, tes "non-parametrik" lainnya, tes binomial, atau RM-ANOVA?

PEMBARUAN: pertanyaan telah diajukan dan dijawab tentang ANOVA dan uji-t sebagai model linier di SO. Lihat pertanyaan ini dan tandai pertanyaan terkait .

Bukan daftar lengkap tetapi jika Anda memasukkan model linier umum , cakupan masalah ini menjadi jauh lebih besar.

Contohnya:

$p \times k$

Juga uji-t untuk varian yang tidak sama didekati dengan baik dengan menggunakan estimasi kesalahan kuat Huber White.