Mengapa distribusi T digunakan untuk pengujian hipotesis koefisien regresi linier?

Dalam praktiknya, menggunakan uji-T standar untuk memeriksa signifikansi koefisien regresi linier adalah praktik umum. Mekanisme perhitungannya masuk akal bagi saya.

Mengapa distribusi-T dapat digunakan untuk memodelkan statistik uji standar yang digunakan dalam pengujian hipotesis regresi linier? Statistik uji standar yang saya maksud di sini:

Untuk memahami mengapa kita menggunakan t-distribusi, Anda perlu tahu apa adalah distribusi yang mendasari β dan dari jumlah sisa kuadrat ( R S S ) sebagai dua put bersama-sama ini akan memberi Anda t-distribusi.$\widehat{\beta}$$RSS$

Bagian mudah adalah distribusi β yang merupakan distribusi normal - untuk melihat catatan ini bahwa β = ( X T X ) - 1 X T Y sehingga merupakan fungsi linier dari Y di mana Y ~ N ( X β , σ 2 I n ) . Akibatnya ia juga terdistribusi normal, β ~ N ( β , σ 2 ( X T X ) -$\widehat{\beta}$$\widehat{\beta}$$(X^{T}X)^{-1}X^{T}Y$$Y$$Y\sim N(X\beta, \sigma^{2}I_{n})$- beritahu saya jika Anda membutuhkan bantuan berasal distribusi β .$\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$$\widehat{\beta}$

Selain itu, , di mana n adalah jumlah pengamatan dan p adalah jumlah parameter yang digunakan dalam regresi Anda. Buktinya sedikit lebih terlibat, tetapi juga langsung diturunkan (lihat buktinya di sini. Mengapa RSS didistribusikan chi square kali np? ).$RSS \sim \sigma^{2}\chi^{2}_{n-p}$$n$$p$

Sampai titik ini saya telah dianggap segalanya dalam matriks / vektor notasi, tapi mari kita untuk digunakan kesederhanaan β i dan menggunakan distribusi normal yang akan memberi kita: β i - β i$\widehat{\beta}_{i}$

Selain itu, dari distribusi chi-squared dari kita memiliki bahwa: ( n - p ) s $RSS$

Ini hanyalah penataan ulang dari ekspresi chi-squared pertama dan tidak bergantung pada . Selain itu, kami mendefinisikan s 2 = R S $N(0,1)$ , yang merupakan penaksir tidak bias untukσ2. Dengan definisi definisitn-pbahwa membagi distribusi normal dengan chi-kuadrat independen (lebih dari derajat kebebasannya) memberi Anda distribusi-t (untuk buktinya lihat:Normal dibagi dengan√$s^{2}=\frac{RSS}{n-p}$$\sigma^{2}$$t_{n-p}$ memberi Anda distribusi-t - bukti$\sqrt{\chi^2(s)/s}$) Anda mendapatkan bahwa:

$s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Beri tahu saya jika ini masuk akal.

The answer is actually very simple: you use t-distribution because it was pretty much designed specifically for this purpose.

Ok, the nuance here is that it wasn't designed specifically for the linear regression. Gosset came up with distribution of sample that was drawn from the population. For instance, you draw a sample $x_1,x_2,\dots,x_n$, and calculate its mean $\bar x=\sum_{i=1}^n x_i/n$. What is the distribution of a sample mean $\bar x$?

If you knew the true (population) standard deviation $\sigma$, then you'd say that the variable $\xi=(\bar x-\mu)\sqrt n/\sigma$ is from the standard normal distribution $\mathcal N(0,1)$. The trouble's that you usually do not know $\sigma$, and can only estimate it $\hat\sigma$. So, Gosset figured out the distribution when you substitute $\sigma$ with $\hat\sigma$ in the denominator, and the distribution is now called after his pseduonym "Student t".

The technicalities of linear regression lead to a situation where we can estimate the standard error $\hat\sigma_\beta$ of the coefficient estimate $\hat\beta$, but we do not know the true $\sigma$, therefore Student t distribution is applied here too.