Apa artinya (secara intuitif) untuk mempertahankan variabel lain konstan dalam regresi?

Saya mencari penjelasan 1) mekanis dan 2) intuitif untuk bagaimana efek dari variabel individu ditentukan memegang variabel lain konstan.

Dalam contoh menggunakan data survei, apa sebenarnya artinya mengatakan:

"Dengan usia, jenis kelamin, dan penghasilan yang konstan, pengaruh pendidikan adalah ___"

Pemahaman saya adalah bahwa dengan regresi kami berusaha untuk menciptakan kembali pengaturan eksperimental, dan dalam contoh di atas mencoba untuk membandingkan sub-populasi dengan usia, jenis kelamin, pendapatan, dll yang sama, tetapi dengan tingkat pendidikan yang berbeda, dan memperkirakan perbedaan dalam berarti dari subpopulasi tersebut. Pertanyaan:

1. Apakah intuisi ini benar?
2. Apakah subpopulasi ini tentu ada? Bagaimana jika survei tidak mengandung responden dengan nilai yang persis sama pada kontrol?
3. Bagaimana ketidakpastian tentang perkiraan subpopulasi ini ditentukan?

Intuisi adalah subjek yang rumit, tergantung pada latar belakang orang tersebut. Sebagai contoh, saya belajar statistik setelah mempelajari fisika matematika. Bagi saya intuisi adalah turunan parsial. Pertimbangkan model regresi

$$y_i=a+b_x x_i+b_z z_i+\varepsilon_i$$ Ini dapat dinyatakan kembali sebagai $$y_i=f(x_i,z_i)+\varepsilon_i,$$ dimana $f(x,z)=b_x x + b_z z$

Ambil turunan total dari fungsi$f()$:

$$df=\frac{\partial f}{\partial x}dx+\frac{\partial f}{\partial z}dz$$

Ini adalah bagaimana turunan parsial wrt $x$ didefinisikan:

$$\frac{\partial f}{\partial x}=\lim_{\Delta x\to 0} \frac{f(x+\Delta x,z)-f(x,z)}{\Delta x}$$ Anda memegang $z$ konstan, dan menjauh dari $x$. Derivatif parsial memberitahu Anda seberapa sensitif$f$ untuk perubahan $x$. Anda dapat melihat bahwa beta (koefisien) adalah kemiringan pada variabel yang diminati: $$\frac{\partial f}{\partial x}=b_x$$

Dengan kata lain, dalam model linier sederhana koefisien Anda adalah turunan parsial (kemiringan) berkaitan dengan variabel. Itulah arti "memegang konstan" bagi saya secara intuitif.

1. Intuisi itu benar pada dasarnya. Saya akan mencoba menjawab dengan cara yang singkat dan intuitif juga-
2. Sub populasi tersebut pasti ada karena Anda menahannya secara konstan dengan: (a) mengambil sampel subjek Anda berkenaan dengan kovariat berspekulasi Anda ATAU (b) Anda memberi batasan pada variabilitasnya (yaitu varians = 0). Ini dilakukan dengan mengambil 1 kelompok (mis. Pria saja, berambut pirang, dll.) Jika variabel kategorinya atau dengan mengambil rata-rata kovariat yang diberikan (usia, pendidikan, pendapatan, dan sebagainya).

Ketika user122677 menjawab, intuisi itu benar: Dalam regresi linier, setiap koefisien adalah jumlah perubahan dalam hasil ketika satu nilai variabel ditingkatkan oleh satu unit sementara semua variabel lainnya tetap konstan. Dengan kata lain, koefisien adalah turunan parsial dari prediksi model terhadap masing-masing variabel.

Bagaimanapun, berhati-hatilah bahwa jika model kita memasukkan variabel interaksi tidak dapat diubah tanpa mengubah interaksi dan karenanya interpretasi satu koefisien ini tidak masuk akal sebagai perubahan nyata. Hal yang sama terjadi dengan regresi polinomial, di mana tidak ada istilah yang dapat berubah tanpa mengubah istilah lainnya.

Tentang keberadaan sub-populasi itu, mereka tidak perlu ada. Dalam beberapa desain eksperimental mereka bisa ada, tetapi dalam studi observasional dengan variabel kontinu mereka sangat tidak mungkin ada. Sebagai contoh:

• Dalam desain lengkap eksperimen dengan variabel biner (atau diskrit hingga) semua kombinasi nilai variabel ada dalam sampel.
• Dalam penelitian observasional dengan variabel kontinu, setiap observasi sangat mungkin untuk mendapatkan nilai unik untuk semua variabel dan karenanya tidak mungkin ada dua elemen dengan semua variabel sama kecuali satu.