Apa hubungan antara kuadrat terkecil parsial, regresi peringkat berkurang, dan regresi komponen utama?

Apakah penurunan regresi peringkat dan regresi komponen utama hanyalah kasus khusus dari kuadrat terkecil parsial?

Tutorial ini (Halaman 6, "Perbandingan Tujuan") menyatakan bahwa ketika kita melakukan kuadrat terkecil parsial tanpa memproyeksikan X atau Y (yaitu, "tidak parsial"), itu menjadi penurunan peringkat peringkat atau regresi komponen utama, sesuai.

Pernyataan serupa dibuat di halaman dokumentasi SAS ini , Bagian "Reduced Rank Regression" dan "Hubungan antara Metode".

Pertanyaan lanjutan yang lebih mendasar adalah apakah mereka memiliki model probabilistik mendasar yang serupa.

Ini adalah tiga metode yang berbeda, dan tidak satupun dari mereka dapat dilihat sebagai kasus khusus dari yang lain.

Secara formal, jika dan Y yang berpusat prediktor ( n × p ) dan respon ( n × q ) dataset dan jika kita mencari pasangan pertama dari sumbu, w ∈ R p untuk X dan v ∈ R q untuk Y , maka metode ini maksimalkan jumlah berikut:$\mathbf X$$\mathbf Y$$n \times p$$n\times q$$\mathbf w \in \mathbb R^p$$\mathbf X$$\mathbf v \in \mathbb R^q$$\mathbf Y$

$$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$$

(Saya menambahkan analisis korelasi kanonik ke dalam daftar ini.)

---

Saya menduga bahwa kebingungan mungkin karena di SAS ketiga metode tampaknya diimplementasikan melalui fungsi yang sama PROC PLSdengan parameter yang berbeda. Jadi mungkin tampak bahwa ketiga metode adalah kasus khusus PLS karena itulah fungsi SAS dinamai. Namun, ini hanya penamaan yang tidak menguntungkan. Pada kenyataannya, PLS, RRR, dan PCR adalah tiga metode berbeda yang kebetulan diimplementasikan dalam SAS dalam satu fungsi yang karena alasan tertentu disebut PLS.

Kedua tutorial yang Anda tautkan sebenarnya sangat jelas tentang hal itu. Halaman 6 dari presentasi tutorial menyatakan tujuan dari ketiga metode dan tidak mengatakan PLS "menjadi" RRR atau PCR, bertentangan dengan apa yang Anda klaim dalam pertanyaan Anda. Demikian pula, dokumentasi SAS menjelaskan bahwa tiga metode berbeda, memberikan rumus dan intuisi:

[P] komponen rincipal regresi memilih faktor-faktor yang menjelaskan variasi prediktor sebanyak mungkin, regresi peringkat yang dikurangi memilih faktor-faktor yang menjelaskan sebanyak mungkin variasi respons, dan kuadrat terkecil parsial menyeimbangkan kedua tujuan, mencari faktor-faktor yang menjelaskan variasi respons dan prediksi. .

$x_1$$x_2$$y$$X$$y$$X$

Seseorang dapat menambahkan penalti punggungan ke fungsi RRR yang hilang untuk mendapatkan regresi pangkat rendah ridge, atau RRRR. Ini akan menarik sumbu regresi ke arah PC1, agak mirip dengan apa yang dilakukan PLS. Namun, fungsi biaya untuk RRRR tidak dapat ditulis dalam bentuk PLS, sehingga mereka tetap berbeda.

$y$