Latar Belakang
Misalkan kita memiliki model Ordinary Least Squares di mana kita memiliki koefisien dalam model regresi kita,
di mana adalah vektor dari koefisien, adalah matriks desain yang didefinisikan oleh
Kami meminimalkan jumlah kesalahan kuadrat dengan menetapkan taksiran kami untuk menjadi
Estimator yang tidak bias dari adalah
Kovarians diberikan oleh
Pertanyaan
Bagaimana saya bisa membuktikannya untuk , mana adalah distribusi t dengan derajat kebebasan , dan kesalahan standar diperkirakan oleh . β i-βitn-k(n-k) β is β i=s
Usaha saya
Saya tahu bahwa untuk variabel acak yang diambil dari , Anda dapat menunjukkan bahwa dengan menulis ulang LHS sebagai dan menyadari bahwa numertor adalah distribusi normal standar, dan penyebutnya adalah akar kuadrat dari distribusi Chi-square dengan df = (n-1) dan dibagi dengan (n- 1) ( ref ). Dan karena itu mengikuti distribusi-t dengan df = (n-1) ( ref ).x ∼ N ( μ , σ 2 ) ˉ x - μ( ˉ x -μ
Saya tidak dapat memperpanjang bukti ini untuk pertanyaan saya ...
Ada ide? Saya mengetahui pertanyaan ini , tetapi mereka tidak secara eksplisit membuktikannya, mereka hanya memberikan aturan praktis, dengan mengatakan "setiap prediktor memberi Anda tingkat kebebasan".
Jawaban:
Karena kita tahu bahwa dan dengan demikian kita tahu bahwa untuk setiap komponen dari , mana adalah elemen diagonal dari . Dengan demikian, kita tahu bahwa β -β~N(0,σ2(XTX)-1)k β β k-βk~N(0,σ2Skk)Skkkth(XTX
Perhatikan pernyataan Teorema untuk Distribusi Bentuk Kuadrat Idempoten dalam Vektor Normal Standar (Teorema B.8 di Greene):
Misalkan menunjukkan vektor residual regresi dan biarkan yang merupakan matriks pembuat residu (yaitu ) . Sangat mudah untuk memverifikasi bahwa simetris dan idempoten . M=In-X(XTX)-1XT,My= ε Mε^
Mari menjadi estimator untuk .
Kita kemudian perlu melakukan beberapa aljabar linier. Perhatikan tiga sifat aljabar linier ini:
Jadi
Kemudian
Menerapkan Teorema untuk Distribusi Bentuk Kuadrat Idempoten dalam Vektor Normal Standar (dinyatakan di atas), kita tahu bahwa .V∼χ2n−p
Karena Anda berasumsi bahwa terdistribusi secara normal, maka tidak tergantung dari , dan karena adalah fungsi dari , maka juga independen dari . Dengan demikian, dan tidak tergantung satu sama lain.ε β^ ε^ s2 ε^ s2 β^ zk V
Kemudian, adalah rasio dari distribusi Normal standar dengan akar kuadrat dari distribusi Chi-squared dengan derajat kebebasan yang sama (yaitu ), yang merupakan karakterisasi dari distribusi . Oleh karena itu, statistik memiliki distribusi dengan derajat kebebasan .
Kemudian dapat dimanipulasi secara aljabar menjadi bentuk yang lebih akrab.
sumber
Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector
, bukankah kita juga membutuhkan agar simetris? Sayangnya, saya tidak memiliki Greene, jadi saya tidak bisa melihat buktinya walaupun saya melihat bahwa Wikipedia memiliki bentuk yang sama dengan Anda . Namun, contoh penghitung tampaknya menjadi matriks idempoten yang mengarah ke yang bukan Chi-Kuadrat karena dapat mengambil nilai negatif. ..