Dalam regresi parsial kuadrat terkecil (PLSR) atau pemodelan persamaan struktural kuadrat terkecil parsial (PLS-SEM), apa merujuk istilah "parsial"?
16
Dalam regresi parsial kuadrat terkecil (PLSR) atau pemodelan persamaan struktural kuadrat terkecil parsial (PLS-SEM), apa merujuk istilah "parsial"?
Jawaban:
Saya ingin menjawab pertanyaan ini, sebagian besar didasarkan pada perspektif sejarah , yang cukup menarik. Herman Wold, yang menemukan pendekatan partial least square (PLS) , belum mulai menggunakan istilah PLS (atau bahkan menyebutkan istilah parsial ) segera. Selama periode awal (1966-1969), ia menyebut pendekatan ini sebagai NILES - singkatan dari istilah dan judul makalah awal tentang topik ini Estimasi Nonlinier oleh Prosedur Kuadrat Terkecil Iteratif , yang diterbitkan pada tahun 1966.
Seperti yang dapat kita lihat, prosedur yang nantinya akan disebut parsial, telah disebut sebagai iteratif , dengan fokus pada sifat iteratif dari prosedur estimasi bobot dan variabel laten (LVs). Istilah "kuadrat terkecil" berasal dari penggunaan regresi kuadrat terkecil (OLS) untuk memperkirakan parameter model yang tidak diketahui lainnya (Wold, 1980). Tampaknya istilah "parsial" berakar pada prosedur NILES, yang menerapkan "gagasan membagi parameter model menjadi himpunan bagian sehingga mereka dapat diperkirakan dalam bagian-bagian" (Sanchez, 2013, hlm. 216; penekanan tambang) .
Penggunaan pertama dari istilah PLS telah terjadi dalam makalah Prosedur estimasi parsial kuadrat terkecil Nonlinear , yang publikasi menandai periode berikutnya dari sejarah PLS - periode pemodelan NIPALS . 1970-an dan 1980-an menjadi periode pemodelan lunak , ketika, dipengaruhi oleh pendekatan LISREL Karl Joreskog ke SEM, Wold mengubah pendekatan NIPALS menjadi pemodelan lunak, yang pada dasarnya telah membentuk inti dari pendekatan PLS modern (istilah PLS menjadi arus utama pada akhir 1970-an). ). 1990-an, periode berikutnya dalam sejarah PLS, yang disebut Sanchez (2013) sebagai periode "gap", ditandai oleh menurunnya penggunaannya. Untungnya, mulai dari tahun 2000-an ( periode konsolidasi), PLS menikmati kembalinya sebagai pendekatan yang sangat populer untuk analisis SEM, terutama dalam ilmu sosial.
UPDATE (sebagai tanggapan atas komentar amuba):
UPDATE 2 (klarifikasi lebih lanjut):
Menanggapi kekhawatiran, yang dinyatakan dalam jawaban amuba, saya ingin mengklarifikasi beberapa hal. Sepertinya saya bahwa kita perlu membedakan penggunaan kata "parsial" antara NIPALS dan PLS. Itu menciptakan dua pertanyaan terpisah tentang 1) arti "parsial" dalam NIPALS dan 2) arti "parsial" dalam PLS (itulah pertanyaan asli oleh Phil2014). Meskipun saya tidak yakin tentang yang pertama, saya dapat menawarkan klarifikasi lebih lanjut tentang yang pertama.
Menurut Wold, Sjöström dan Eriksson (2001),
Dengan kata lain, "parsial" berasal dari fakta bahwa dekomposisi data oleh algoritma NIPALS untuk PLS mungkin tidak mencakup semua komponen , karenanya "parsial". Saya menduga bahwa alasan yang sama berlaku untuk NIPALS secara umum, jika memungkinkan untuk menggunakan algoritma pada data "parsial". Itu akan menjelaskan "P" di NIPALS.
Dalam hal menggunakan kata "nonlinear" dalam definisi NIPALS (jangan bingung dengan PLS nonlinear , yang mewakili varian nonlinier dari pendekatan PLS!), Saya pikir itu merujuk bukan pada algoritma itu sendiri , tetapi untuk model nonlinear , yang dapat berupa dianalisis, menggunakan NIPALS berbasis regresi linier.
UPDATE 3 (penjelasan Herman Wold):
Sementara makalah Herman Wold tahun 1969 tampaknya merupakan makalah yang paling awal tentang NIPALS, saya telah berhasil menemukan makalah yang paling awal tentang topik ini. Itu adalah sebuah makalah oleh Wold (1974), di mana "bapak" PLS menyajikan alasannya untuk menggunakan kata "parsial" dalam definisi NIPALS (hlm. 71):
Referensi
Rosipal, R. (2011). Kuadrat terkecil parsial nonlinier: Tinjauan umum. Dalam Lodhi H. dan Yamanishi Y. (Eds.), Chemoinformatics dan Perspektif Pembelajaran Mesin Lanjutan: Metode Komputasi Kompleks dan Teknik Kolaborasi , hal. 169-189. ACCM, IGI Global. Diperoleh dari http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf
Sanchez, G. (2013). Pemodelan jalur PLS dengan R. Berkeley, CA: Edisi Trowchez. Diperoleh dari http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf
Wold, H. (1974). Aliran kausal dengan variabel laten: Parting cara dalam terang pemodelan NIPALS. Tinjauan Ekonomi Eropa, 5 , 67-86. Penerbitan Holland Utara.
Wold, H. (1980). Konstruksi model dan evaluasi ketika pengetahuan teoretis langka: Teori dan penerapan kuadrat terkecil parsial. Dalam J. Kmenta dan JB Ramsey (Eds.), Evaluasi model ekonometrik , hlm. 47-74. New York: Academic Press. Diperoleh dari http://www.nber.org/chapters/c11693
Wold, S., Sjöström, M., & Eriksson, L. (2001). PLS-regression: Alat dasar chemometrics. Chemometrics dan Sistem Laboratorium Cerdas, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Diperoleh dari http://www.libpls.net/publication/PLS_basic_2001.pdf
sumber
Dalam eksposisi PLS modern tidak ada yang "parsial": PLS mencari kombinasi linier antara variabel dalam dan di antara variabel dalam yang memiliki kovarians maksimal. Ini adalah masalah vektor eigen yang mudah. Itu dia. Lihat Elemen Pembelajaran Statistik , Bagian 3.5.2, atau misalnya Rosipal & Krämer, 2005, Gambaran Umum dan Kemajuan-Kemajuan Baru-Baru Ini di Kotak Kuadrat Sebagian .X Y
Namun, secara historis, seperti yang dijelaskan oleh @Aleksandr (+1), PLS diperkenalkan oleh Wold yang menggunakan algoritma NIPALS untuk mengimplementasikannya; NIPALS singkatan dari "kuadrat terkecil parsial nonlinier", jadi jelas P dalam PLS baru saja sampai di sana dari NIPALS.
Selain itu, NIPALS (seingat saya membaca di tempat lain) pada awalnya tidak dikembangkan untuk PLS; itu diperkenalkan untuk PCA. Sekarang, NIPALS untuk PCA adalah algoritma yang sangat sederhana. Saya bisa menyajikannya di sini. Biarkan menjadi matriks data terpusat dengan pengamatan dalam baris. Tujuannya adalah untuk menemukan sumbu utama pertama (vektor eigen dari matriks kovarians) dan komponen utama pertama (proyeksi dari data ke ). Kami menginisialisasi secara acak dan kemudian iterate langkah-langkah berikut hingga konvergensi:X v p v p
Itu dia! Jadi pertanyaan sebenarnya adalah mengapa Wold menyebut algoritma ini "parsial"? Jawaban (seperti akhirnya saya mengerti setelah @Aleksandr membuat pembaruan ketiga) adalah bahwa Wold dilihat dan sebagai dua [set] parameter, bersama-sama pemodelan data matriks . Algoritme memperbarui parameter-parameter ini secara berurutan (langkah # 1 dan # 3), yaitu hanya memperbarui satu bagian dari parameter sekaligus! Karenanya "parsial".v p X
(Mengapa dia menyebutnya "nonlinier" Saya masih tidak mengerti.)
Istilah ini sangat menyesatkan, karena jika ini "parsial" maka setiap algoritma maksimalisasi harapan juga "parsial" (pada kenyataannya, NIPALS dapat dilihat sebagai bentuk primitif EM, lihat Roweis 1998 ). Saya pikir PLS adalah kandidat yang bagus untuk kontes Term Machine yang Menyesatkan dalam Pembelajaran. Sayangnya, itu tidak mungkin berubah, terlepas dari upaya Wold Jr (lihat komentar @ Momo di atas).
sumber