Apakah masuk akal untuk menambahkan istilah kuadratik tetapi bukan istilah linear untuk model?

57

Saya memiliki model (campuran) di mana salah satu prediktor saya harus apriori hanya terkait secara kuadratik dengan prediktor (karena manipulasi eksperimental). Oleh karena itu, saya hanya ingin menambahkan istilah kuadrat ke model. Dua hal yang membuat saya tidak melakukannya:

  1. Saya pikir saya membaca di mana Anda harus selalu menyertakan polinomial urutan rendah ketika memasang polinomial tingkat tinggi. Saya lupa di mana saya menemukannya dan dalam literatur saya melihat (misalnya, Faraway, 2002; Fox, 2002) saya tidak dapat menemukan penjelasan yang baik.
  2. Ketika saya menambahkan keduanya, istilah linear dan kuadratik, keduanya signifikan. Ketika saya menambahkan hanya satu dari mereka, mereka tidak signifikan. Namun, hubungan linier prediktor dan data tidak dapat ditafsirkan.

Konteks pertanyaan saya secara khusus menggunakan model campuran lme4, tetapi saya ingin mendapatkan jawaban yang dapat menjelaskan mengapa itu atau mengapa tidak baik untuk memasukkan polinomial orde tinggi dan bukan polinomial orde bawah.

Jika perlu saya bisa memberikan data.

Henrik
sumber
5
Saya pikir jawaban untuk pertanyaan ini mungkin bisa membantu.
6
Ya saya setuju dengan Penunda, dan pertanyaan interaksi pada dasarnya adalah pertimbangan yang sama. Kami memiliki beberapa pertanyaan yang sangat penting pada topik ini. Selain saran Pro, lihat juga Apakah semua istilah interaksi memerlukan istilah masing-masing dalam model regresi? dan Bagaimana jika interaksi menghapus efek langsung saya dalam regresi? .
Andy W
Terima kasih atas pengingat pertanyaan-pertanyaan ini. Dari jawaban yang diberikan di sana tampaknya itu adalah strategi yang oke jika Anda memiliki alasan apriori yang baik untuk hanya memasukkan istilah kuadratik dan tidak salah per se. Pertanyaan yang tersisa adalah pertanyaan tentang skalabilitas (lihat: stats.stackexchange.com/a/27726/442 ). Haruskah saya memusatkan variabel saya sebelum pas ketika hanya menggunakan istilah kuadrat?
Henrik
1
@ Henrik - jawaban saya di tautan yang Anda posting terkait dengan bagaimana inferensi model bergantung pada perubahan sewenang-wenang dalam nilai prediktor (seperti rata-rata keterpusatan) - tidak diinginkan untuk memiliki kesimpulan substantif tergantung pada sesuatu yang sangat sewenang-wenang yang mengapa jawaban saya untuk Anda pertanyaannya adalah 'tidak', karena alasan yang sama.
Makro
2
Masalah kuadrat vs linier secara konseptual berbeda dari interaksi yang saya pikir ini tidak boleh dianggap duplikat.
gung - Pasang kembali Monica

Jawaban:

66

1. Mengapa termasuk istilah linear?

Sangat menarik untuk memperhatikan bahwa hubungan kuadratik dapat ditulis dalam dua cara:

y=a0+a1x+a2x2=a2(xb)2+c

(di mana, menyamakan koefisien, kami menemukan dan ). Nilai sesuai dengan ekstrum global hubungan (secara geometris, ia menempatkan verteks parabola).2a2b=a1a2b2+c=a0x=b

Jika Anda tidak menyertakan istilah linear , kemungkinan dikurangi menjadia1x

y=a0+a2x2=a2(x0)2+c

(Di mana sekarang, jelas, dan diasumsikan model berisi konstanta ). Artinya, Anda memaksa .c=a0a0b=0

Sehubungan dengan ini, pertanyaan # 1 turun ke apakah Anda yakin bahwa ekstrem global harus terjadi pada . Jika ya, maka Anda dapat dengan aman menghilangkan istilah linear . Kalau tidak, Anda harus memasukkannya.x=0a1x

2. Bagaimana memahami perubahan signifikansi saat istilah dimasukkan atau dikecualikan?

Ini dibahas dengan sangat rinci dalam utas terkait di https://stats.stackexchange.com/a/28493 .

Dalam kasus ini, signifikansi menunjukkan ada kelengkungan dalam hubungan dan signifikansi menunjukkan bahwa adalah nol: sepertinya Anda perlu memasukkan kedua istilah (dan juga konstanta, tentu saja).a2a1b

whuber
sumber
1
Terimakasih Jawaban yang bagus Jadi jika saya memusatkan teori ekstrem pada 0 (sebenarnya adalah minimum) saya baik-baik saja dengan menghilangkan istilah linear. Ini sebenarnya mengarah ke prediktor kuadratik yang sangat signifikan (tanpa yang linear).
Henrik
jika istilah linear dan kuadrat dari suatu variabel berkorelasi, dapatkah saya memasukkan keduanya dalam suatu model, atau haruskah saya mengecualikannya (yang saya anggap sebagai kuadrat)?
mtao
@Teresa Tidak ada alasan umum untuk menghilangkan istilah berkorelasi dalam regresi. (Jika itu yang terjadi, sebagian besar model regresi yang pernah dibuat akan berada dalam kesulitan!) Istilah yang sangat berkorelasi yang bersama-sama berkontribusi tidak ada yang berarti bagi kecocokan model dibandingkan dengan masing-masing istilah saja dapat dikurangi menjadi subset dari istilah-istilah tersebut.
whuber
@whuber, terima kasih banyak! Juga, untuk model regresi logistik, saya menggunakan rasio odds untuk memperkirakan ukuran efek, tetapi hanya dengan istilah linear. Ketika saya memiliki linear dan kuadrat, dapatkah saya menggunakan pendekatan yang sama dan menginterpretasikan hasilnya dengan cara yang sama?
mtao
Tidak terlalu. Alasannya adalah bahwa Anda tidak dapat secara terpisah mengubah istilah linear dan kuadratik. Anda harus mempertimbangkan bagaimana respons akan berubah ketika Anda sedikit mengubah variabel asli.
whuber
22

@whuber telah memberikan jawaban yang sangat bagus di sini. Saya hanya ingin menambahkan poin gratis kecil. Pertanyaannya menyatakan bahwa "hubungan linier prediktor dan data tidak dapat ditafsirkan". Ini mengisyaratkan kesalahpahaman yang umum, meskipun saya biasanya mendengarnya di ujung yang lain ('apa interpretasi dari istilah [kubik, dll] kuadrat?').

Ketika kita memiliki model dengan banyak kovariat yang berbeda , masing-masing [istilah] beta umumnya dapat diberikan interpretasinya sendiri. Misalnya, jika:

GPA^college=β0+β1GPAhighschool+β2class rank+β3SAT,

(IPK berarti nilai rata-rata poin;
peringkat adalah urutan IPK siswa relatif terhadap siswa lain di sekolah menengah yang sama; &
SAT berarti 'tes bakat skolastik', ujian nasional untuk siswa yang melanjutkan ke universitas)

maka kita dapat menetapkan interpretasi terpisah untuk setiap beta / istilah. Misalnya, jika IPK sekolah menengah atas siswa 1 poin lebih tinggi - semuanya sama - kita harapkan IPK perguruan tinggi mereka menjadi poin lebih tinggi. β1

Penting untuk dicatat, bahwa tidak selalu diizinkan untuk menafsirkan model dengan cara ini. Satu kasus yang jelas adalah ketika ada interaksi di antara beberapa variabel, karena tidak mungkin untuk istilah individu berbeda dan masih memiliki semua yang lain tetap konstan - kebutuhan, istilah interaksi akan berubah juga. Jadi, ketika ada interaksi, kami tidak menafsirkan efek utama tetapi hanya efek sederhana , seperti yang dipahami dengan baik.

Situasi dengan istilah kekuasaan secara analog, tetapi sayangnya, tampaknya tidak dipahami secara luas. Pertimbangkan model berikut: (Dalam situasi ini, dimaksudkan untuk mewakili kovariat berkelanjutan prototipikal.) Tidak mungkin bagi untuk berubah tanpa juga berubah, dan sebaliknya. Sederhananya, ketika ada istilah polinomial dalam model, berbagai istilah berdasarkan kovariat yang sama tidak diberikan interpretasi yang terpisah. Istilah ( , , dll.) Tidak memiliki arti independen. Fakta bahwa

y^=β0+β1x+β2x2
xxx2x2xx17p-Kekuatan polinomial 'signifikan' dalam model menunjukkan bahwa ada 'tikungan' dalam fungsi yang berhubungan dengan dan . Sangat disayangkan, tetapi tidak dapat dihindari, bahwa ketika kelengkungan ada, interpretasi menjadi lebih rumit, dan mungkin kurang intuitif. Untuk menilai perubahan sebagai perubahan, kita harus menggunakan kalkulus. Turunan dari model di atas adalah: yang merupakan tingkat perubahan sesaat dalam nilai yang diharapkan dari sebagai perubahan, semuanya sama. Ini tidak sebersih interpretasi model paling atas; penting, tingkat perubahan instan dip1xyy^x
dydx=β1+2β2x
yxy tergantung pada tingkat dari mana perubahan tersebut dinilaix . Lebih jauh lagi, tingkat perubahan dalam adalah tingkat sesaat; artinya, ia sendiri terus berubah sepanjang interval dari ke . Ini hanyalah sifat dari hubungan yang melengkung. yxoldxnew
gung - Reinstate Monica
sumber
1
Respon luar biasa! Ini mengingatkan saya pada beberapa respons luar biasa yang telah diberikan pengguna pada interpretasi efek interaksi . Dia memberikan referensi artikel dalam tanggapan ini, Apa praktik terbaik dalam mengidentifikasi efek interaksi? . Dan memberikan contoh yang bagus dari interaksi menampilkan grafik menggunakan coplots dalam respons ini, Apakah interaksi mungkin antara dua variabel kontinu? .
Andy W
1
Untuk jawaban Gung, saya hanya ingin mengatakan bahwa pemodelan statistik melibatkan noise yang dapat menyamarkan detail dalam model regresi polinomial. Saya berpikir bahwa isu keterpusatan yang diangkat oleh Bill Huber adalah masalah greta karena dalam satu forma istilah linear tidak ada dan yang lainnya muncul dengan istilah kuadratik. Kekuatan kelengkungan dalam sinyal menentukan kebutuhan akan istilah yang lebih tinggi daripada orde pertama, tetapi benar-benar tidak memberi tahu kita tentang perlunya istilah linier juga.
Michael Chernick
7

@ whuber jawaban di atas tepat pada target dalam menunjukkan bahwa menghilangkan istilah linear adalah model kuadratik "biasa" setara dengan mengatakan, "Saya benar-benar yakin bahwa ekstrem berada pada "x=0

Namun, Anda juga perlu memeriksa apakah perangkat lunak yang Anda gunakan memiliki "gotcha". Beberapa perangkat lunak dapat secara otomatis memusatkan data saat memasang polinomial dan menguji koefisiennya kecuali jika Anda mematikan polinomial centering. Artinya, ini mungkin cocok dengan persamaan yang terlihat seperti mana adalah rata-rata dari s Anda. Itu akan memaksa ekstrem berada di . Y=b0+b2(xx¯)2x¯xx=x¯

Pernyataan Anda bahwa istilah linear dan kuadratik penting ketika keduanya dimasukkan perlu klarifikasi. Sebagai contoh, SAS dapat melaporkan tes Tipe I dan / atau Tipe III untuk contoh tersebut. Tipe I menguji linear sebelum memasukkan kuadratik. Tipe III menguji linear dengan kuadrat dalam model.

Emil Friedman
sumber
2
Ini adalah poin yang masuk akal, tetapi hanya b / c data dipusatkan sebelum membuat tidak berarti Anda dapat "benar-benar yakin bahwa ekstrem berada di ". Mengatakan bahwa sekarang setara dengan mengatakan "ekstrem ada di " sebelumnya . Dalam kedua kasus Anda bertaruh ketidakberpihakan model Anda pada kemampuan Anda untuk menentukan nilai x dari nilai ekstrim dengan ketelitian tak terbatas. Perbedaan b / t Tipe I & Tipe III tes juga merupakan tambahan yang berpotensi menarik, tetapi nb, mereka hanya akan berbeda jika & berkorelasi, yaitu, jika pemusatan tidak terjadi. x2x=0x=x¯xx2
Gong - Pasang kembali Monica
Pada catatan yang berbeda, Anda dapat merujuk pada kontribusi pengguna dengan menyebutkan nama pengguna mereka, mungkin dengan simbol 'at'. Misalnya, dalam kasus ini, '@ whuber jawaban tepat sasaran ...' (Sebuah sentimen yang saya setujui.)
gung - Reinstate Monica
1
Terima kasih, Emil, atas kontribusi pengingat-pengingat itu: keduanya patut diingat.
whuber
3

Brambor, Clark dan Golder (2006) (yang dilengkapi dengan lampiran internet ) memiliki pandangan yang sangat jelas tentang bagaimana memahami model interaksi dan bagaimana menghindari perangkap umum, termasuk mengapa Anda harus (hampir) selalu memasukkan persyaratan tingkat rendah ( "istilah konstitutif") dalam model interaksi.

Analis harus memasukkan semua istilah konstitutif ketika menentukan model interaksi multiplikasi kecuali dalam keadaan yang sangat jarang. Dengan istilah konstitutif, yang kami maksud adalah setiap elemen yang membentuk istilah interaksi. [..]

Namun, pembaca harus memperhatikan bahwa model interaksi multiplikatif dapat mengambil berbagai bentuk dan mungkin melibatkan istilah kuadratik seperti atau istilah interaksi tingkat tinggi seperti . Tidak peduli apa bentuk dari istilah interaksi, semua istilah konstitutif harus dimasukkan. Jadi, harus dimasukkan ketika istilah interaksi adalah dan , , , , , dan harus dimasukkan ketika istilah interaksi adalah .X2XZJXX2XZJXZXJZJXZJ

Kegagalan untuk melakukannya dapat menghasilkan model yang kurang spesifik yang akan mengarah pada perkiraan yang bias. Ini dapat menyebabkan kesalahan inferensial.

Jika ini masalahnya dan berkorelasi dengan (atau ) seperti yang akan terjadi dalam hampir semua keadaan ilmu sosial, maka menghilangkan istilah konstitutif akan menghasilkan estimasi yang bias (dan tidak konsisten) dari , , dan . Meskipun tidak selalu diakui demikian, ini merupakan kasus langsung dari bias variabel yang dihilangkan (Greene 2003, hlm. 148-149).ZXZXZβ0β1β3

Landroni
sumber