Apa sebenarnya perbedaan antara model parametrik dan non-parametrik?

Saya bingung dengan definisi model non-parametrik setelah membaca tautan ini Model parametrik vs Nonparametrik dan Menjawab komentar dari pertanyaan saya yang lain .

Awalnya saya pikir "parametrik vs non-parametrik" berarti jika kita memiliki asumsi distribusi pada model (mirip dengan pengujian hipotesis parametrik atau non-parametrik). Tetapi kedua sumber daya mengklaim "parametrik vs non-parametrik" dapat ditentukan oleh jika jumlah parameter dalam model tergantung pada jumlah baris dalam matriks data.

Untuk estimasi kepadatan kernel (non-parametrik) definisi seperti itu dapat diterapkan. Tetapi di bawah definisi ini bagaimana jaringan saraf dapat menjadi model non-parametrik, karena jumlah parameter dalam model tergantung pada struktur jaringan saraf dan bukan pada jumlah baris dalam matriks data?

Apa sebenarnya perbedaan antara model parametrik dan non-parametrik?

Dalam model parametrik, jumlah parameter ditetapkan sehubungan dengan ukuran sampel. Dalam model nonparametrik, jumlah (efektif) parameter dapat tumbuh dengan ukuran sampel.

Dalam regresi OLS, jumlah parameter akan selalu menjadi panjang , ditambah satu untuk varians. $\beta$

Jaring saraf dengan arsitektur tetap dan tidak ada pembusukan berat akan menjadi model parametrik.

Tetapi jika Anda memiliki pembusukan berat, maka nilai parameter peluruhan yang dipilih oleh validasi silang umumnya akan semakin kecil dengan lebih banyak data. Ini dapat diartikan sebagai peningkatan jumlah efektif parameter dengan peningkatan ukuran sampel.

Saya pikir jika model didefinisikan sebagai seperangkat persamaan (dapat berupa sistem persamaan bersamaan atau satu), dan kita mempelajari parameternya, maka adalah parametrik. Itu termasuk persamaan diferensial, dan bahkan persamaan Navier-Stokes. Model didefinisikan secara deskriptif, terlepas dari bagaimana mereka dipecahkan, termasuk dalam kategori nonparametrik. Dengan demikian, OLS akan menjadi parametrik, dan bahkan regresi kuantil, meskipun termasuk dalam domain statistik nonparametrik, adalah model parametrik.

Di sisi lain, ketika kita menggunakan SEM (pemodelan persamaan struktural) untuk mengidentifikasi model, itu akan menjadi model nonparametrik - sampai kita menyelesaikan SEM. PCA akan menjadi parametrik, karena persamaannya didefinisikan dengan baik, tetapi CCA bisa nonparametrik, karena kami mencari korelasi di semua variabel, dan jika ini adalah korelasi Spearman, kami memiliki model nonparametrik. Dengan korelasi Pearson, kami menyiratkan model parametrik (linier). Saya pikir algoritma pengelompokan akan menjadi nonparametrik, kecuali jika kita mencari cluster dengan bentuk tertentu.

Dan kemudian kita memiliki regresi nonparametrik, yaitu nonparametrik, dan regresi LOESS, yang bersifat parametrik, tetapi memiliki tujuan yang sama: kita mendefinisikan persamaan dan jendela.

Model parametrik dapat dihasilkan menggunakan persamaan, seperti model regresi logistik, $logodds(G)=int + ax_1 + bx_2 + ...$. Model non-parametrik adalah algoritma kotak hitam seperti hutan acak, pohon keputusan. Tidak ada persamaan yang dapat menggambarkan hubungan atribut di belakang model.