Apakah polinomial ortogonal multivariat yang dihitung dalam R?

Polinomial ortogonal dalam set titik univariat adalah polinomial yang menghasilkan nilai pada titik-titik tersebut dengan cara yang mana produk titiknya dan korelasi berpasangannya nol. R dapat menghasilkan polinomial ortogonal dengan fungsi poli .

Fungsi yang sama memiliki varian polim yang menghasilkan polinomial ortogonal pada set titik multivariat. Bagaimanapun polinomial yang dihasilkan tidak ortogonal dalam arti memiliki korelasi nol berpasangan. Faktanya, karena polinomial orde pertama dianggap hanya variabel asli, polinomial orde pertama tidak akan ortogonal kecuali variabel asli tidak berkorelasi.

Lalu, pertanyaan saya adalah:

• Apa polinomial ortogonal multivariat yang dihitung oleh polim dalam R? Apakah mereka hanya produk dari polinomial ortogonal univariat? Untuk apa mereka digunakan?
• Dapatkah ada polinomial ortogonal multivariat sejati? Apakah ada cara mudah untuk memproduksinya? Dalam R? Apakah mereka sebenarnya digunakan dalam regresi?

Memperbarui

Menanggapi komentar Superpronker, saya memberikan satu contoh tentang apa yang saya maksud dengan polinomial yang tidak berkorelasi:

> x<-rnorm(10000)
> cor(cbind(poly(x,degree=3)))
              1             2             3
1  1.000000e+00 -6.809725e-17  2.253577e-18
2 -6.809725e-17  1.000000e+00 -2.765115e-17
3  2.253577e-18 -2.765115e-17  1.000000e+00

Fungsi poli mengembalikan polinomial ortogonal yang dievaluasi dalam poin x (di sini 10.000 poin untuk setiap polinomial). Korelasi antara nilai pada polinomial yang berbeda adalah nol (dengan beberapa kesalahan numerik).

Saat menggunakan polinomial multivarian, korelasi berbeda dari nol:

> x<-rnorm(1000)
> y<-rnorm(1000)
> cor(cbind(polym(x,y,degree=2)))
              1.0           2.0           0.1         1.1           0.2
1.0  1.000000e+00  2.351107e-17  2.803716e-02 -0.02838553  3.802363e-02
2.0  2.351107e-17  1.000000e+00 -1.899282e-02  0.10336693 -8.205039e-04
0.1  2.803716e-02 -1.899282e-02  1.000000e+00  0.05426440  5.974827e-17
1.1 -2.838553e-02  1.033669e-01  5.426440e-02  1.00000000  8.415630e-02
0.2  3.802363e-02 -8.205039e-04  5.974827e-17  0.08415630  1.000000e+00

Karena itu, saya tidak mengerti dalam arti apa polinomial bivariat itu ortogonal.

Perbarui 2

Saya ingin memperjelas arti "polinomial ortogonal" yang digunakan dalam regresi karena konteks ini dapat menyesatkan ketika menerapkan ide-ide dari polinomial ortogonal dalam interval yang terhubung - seperti dalam komentar Superpronker terakhir.

Saya mengutip Praktis Regresi dan Anova Julian J. Faraway menggunakan R halaman 101 dan 102:

Polinomial ortogonal menyelesaikan masalah ini dengan mendefinisikan dll di mana koefisien a, b, c ... dipilih sehingga saat . Z disebut polinomial ortogonal.

$$z_1=a_1+b_1x$$ $$z_2= a_2+b_2x+c_2x^2$$ $$z_3= a_3+b_3x+c_3x^2+d_3x^3$$ $z_i^T·z_j=0$$i \neq j$

Dengan sedikit penyalahgunaan bahasa, di sini penulis menggunakan baik untuk polinomial (sebagai fungsi) maupun untuk vektor nilai-nilai yang diambil polinomial di titik-titik himpunan . Atau mungkin itu bahkan bukan penyalahgunaan bahasa sama sekali karena sejak awal buku telah menjadi prediktor (misalnya serangkaian nilai yang diambil oleh prediktor).$z_i$$x$$x$

Arti polinomial ortogonal ini sebenarnya tidak berbeda dengan polinom ortogonal pada suatu interval. Kita dapat mendefinisikan polinomial ortogonal dengan cara biasa (menggunakan integral) atas setiap set yang dapat diukur dengan fungsi ukuran apa pun. Di sini kita memiliki himpunan terbatas ( ) dan kita menggunakan produk titik alih-alih integral, tapi itu masih polinomial ortogonal jika kita mengambil fungsi ukuran kita sebagai delta Dirac di titik himpunan terbatas kita.$x$

Dan sehubungan dengan korelasi: titik produk vektor ortogonal dalam (sebagai gambar vektor ortogonal pada himpunan terbatas). Jika titik produk dari dua vektor adalah nol, kovarians adalah nol, dan jika kovarians adalah nol, korelasi adalah nol. Dalam konteks model linear sangat berguna untuk menghubungkan "ortogonal" dan "tidak berkorelasi", seperti dalam "desain eksperimen ortogonal".$R^n$

Mari kita jelajahi apa yang terjadi. Saya yakin Anda sudah mengetahui sebagian besar materi berikut, tetapi untuk menetapkan notasi dan definisi serta memperjelas ide-ide, saya akan membahas dasar-dasar regresi polinomial sebelum menjawab pertanyaan. Jika Anda suka, lompat ke tajuk "Apa Rartinya" sekitar dua pertiga dari jalan ke pos ini, dan kemudian lewati kembali untuk definisi yang mungkin Anda butuhkan.

Pengaturan

Kami sedang mempertimbangkan model matriks dari variabel penjelas potensial dalam beberapa jenis regresi. Ini berarti kami memikirkan kolom sebagai vektor dan kami akan membentuk kombinasi linearnya, untuk memprediksi atau memperkirakan respons. $n\times k$$\mathbb X$$\mathbb X$$n$$X_1, X_2, \ldots, X_k$$\beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k,$

Kadang-kadang regresi dapat ditingkatkan dengan memperkenalkan kolom tambahan yang dibuat dengan mengalikan berbagai kolom satu sama lain, koefisien dengan koefisien. Produk semacam itu disebut "monomial" dan dapat ditulis seperti$X$

$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$$

di mana setiap "kekuatan" adalah nol atau lebih besar, mewakili berapa kali setiap muncul dalam produk. Perhatikan bahwa adalah vektor- dari koefisien konstan ( ) dan itu sendiri. Dengan demikian, monomial (sebagai vektor) menghasilkan ruang vektor yang mencakup ruang kolom asli Kemungkinan bahwa itu mungkin ruang vektor yang lebih besar memberikan prosedur ini ruang lingkup yang lebih besar untuk memodelkan respons dengan kombinasi linear.$d_i$$X_1$$X^0$$n$$1$$X^1=X$$\mathbb X.$

Kami bermaksud untuk mengganti model matriks asli dengan koleksi kombinasi monomial. Ketika tingkat setidaknya satu dari monomial ini melebihi ini disebut regresi polinomial.$\mathbb X$$1,$

Gradasi polinomial

The gelar dari monomial adalah jumlah dari kekuasaannya, Derajat kombinasi linear dari monomial (a "polinomial") adalah derajat terbesar di antara istilah monomial dengan koefisien bukan nol. Derajat memiliki makna intrinsik, karena ketika Anda mengubah dasar ruang vektor asli, setiap vektor baru diwakili oleh kombinasi linear dari semua vektor; monomial dengan demikian menjadi polinomial dengan derajat yang sama; dan akibatnya tingkat setiap polinomial tidak berubah.$d_1+d_2+\ldots+d_k.$X i X d 1 1 X d 2 2 ⋯ X d k k$X_i$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$

Derajat menyediakan "gradasi" alami untuk aljabar polinomial ini: ruang vektor yang dihasilkan oleh semua kombinasi linear monomial dalam derajat hingga dan termasuk disebut "polinomial tingkat [atau hingga] derajat di "memperluas ruang vektor polinomial hingga derajat dalam$X$$d+1,$$d+1$$X,$$d$$X.$

Penggunaan regresi polinomial

Seringkali, regresi polinomial adalah eksplorasi dalam arti bahwa kita tidak tahu pada awalnya monomial mana yang akan dimasukkan. Proses membuat matriks model baru dari monomial dan menyesuaikan regresi mungkin perlu diulang berkali-kali, mungkin sejumlah astronomi kali dalam beberapa pengaturan pembelajaran mesin.

Masalah utama dengan pendekatan ini adalah

1. Monomial sering memperkenalkan jumlah bermasalah "multikolinieritas" dalam matriks model baru, terutama karena kekuatan variabel tunggal cenderung sangat linier. (Collinearity antara kekuatan dua variabel yang berbeda tidak dapat diprediksi, karena itu tergantung pada bagaimana variabel-variabel tersebut terkait, dan karena itu kurang dapat diprediksi.)

2. Mengubah hanya satu kolom dari matriks model, atau memperkenalkan yang baru, atau menghapus, mungkin memerlukan "cold restart" dari prosedur regresi, yang berpotensi memakan waktu lama untuk perhitungan.

Gradasi aljabar polinomial menyediakan cara untuk mengatasi kedua masalah.

Polinomial ortogonal dalam satu variabel

Diberikan vektor kolom tunggal satu set "polinomial ortogonal" untuk adalah urutan vektor kolom dibentuk sebagai kombinasi linear dari monomial di saja-- yaitu, sebagai kekuatan dengan properti berikut:$X,$$X$$p_0(X), p_1(X), p_2(X),\ldots$$X$$X$

1. Untuk setiap derajat vektor menghasilkan ruang vektor yang sama dengan (Perhatikan bahwa adalah vektor- dan hanya itu sendiri.)$d=0, 1, 2, \ldots,$$p_0(X), p_1(X), \ldots, p_d(X)$$X^0, X^1, \ldots, X^d.$$X^0$$n$$X^1$$X$

2. The yang saling orthogonal dalam arti bahwa untuk$p_i(X)$$i\ne j,$

   $$p_i(X)^\prime p_j(X) = 0.$$

Biasanya, matriks model pengganti dibentuk dari monomial ini dipilih ortonormal dengan menormalkan kolomnya ke satuan panjang: Karena kebalikan dari muncul di sebagian besar persamaan regresi dan kebalikan dari matriks identitas itu sendiri, ini merupakan keuntungan komputasi yang sangat besar.

$$\mathbb{P} = \pmatrix{p_0(X) & p_1(X) & \cdots & p_d(X)}$$ $$\mathbb{P}^\prime \mathbb{P} = \mathbb{I}_{d+1}.$$ $\mathbb{P}^\prime \mathbb{P}$$\mathbb{I}_{d+1}$

Orthonormality sangat menentukan Anda dapat melihat ini dengan konstruksi:$p_i(X).$

• Polinomial pertama, harus merupakan kelipatan dari -vektor dari satuan panjang. Hanya ada dua pilihan, Merupakan kebiasaan untuk memilih akar kuadrat positif.$p_0(X),$$n$$\mathbf{1}=(1,1,\ldots,1)^\prime$$\pm \sqrt{1/n}\mathbf{1}.$

• Polinomial kedua, harus ortogonal untuk Ini dapat diperoleh dengan melakukan regresi terhadap yang solusinya adalah vektor nilai rata-rata Jika residual tidak identik nol, mereka memberikan hanya dua solusi yang mungkin$p_1(X),$$\mathbf{1}.$$X$$\mathbf{1},$$\hat X = \bar{X}\mathbf{1}.$$\epsilon = X - \hat X$$p_1(X) = \pm \left(1/||\epsilon||\right)\,\epsilon.$

...

• Secara umum, diperoleh dengan melakukan regresi terhadap dan mengubah residu menjadi vektor unit panjangnya. Ada dua pilihan tanda ketika residual tidak semuanya nol. Kalau tidak, prosesnya berakhir: akan sia-sia untuk melihat kekuatan lebih tinggi (Ini adalah teorema yang bagus tapi buktinya tidak perlu mengganggu kita di sini.)$p_{d+1}(X)$$X^{d+1}$$p_0(X), p_1(X), \ldots, p_d(X)$$X.$

Ini adalah proses Gram-Schmidt yang diterapkan pada urutan intrinsik vektor Biasanya itu dihitung menggunakan dekomposisi QR, yang merupakan hal yang hampir sama tetapi dihitung secara stabil secara numerik.$X^0, X^1, \ldots, X_d, \ldots.$

Konstruksi ini menghasilkan urutan kolom tambahan untuk dipertimbangkan termasuk dalam matriks model. Regresi polinomial dalam satu variabel karena itu biasanya dilanjutkan dengan menambahkan elemen dari urutan ini satu per satu, secara berurutan, sampai tidak ada perbaikan lebih lanjut dalam regresi yang diperoleh. Karena setiap kolom baru ortogonal dengan yang sebelumnya, termasuk tidak mengubah salah satu dari perkiraan koefisien sebelumnya. Hal ini menjadikan prosedur yang efisien dan mudah diinterpretasikan.

Polinomial dalam banyak variabel

Regresi eksplorasi (dan juga pemasangan model) biasanya dimulai dengan terlebih dahulu mempertimbangkan variabel (asli) mana yang akan dimasukkan dalam model; kemudian menilai apakah variabel-variabel itu dapat ditambah dengan memasukkan berbagai transformasi dari mereka, seperti monomial; dan kemudian memperkenalkan "interaksi" yang terbentuk dari produk dari variabel-variabel ini dan ekspresi ulang mereka.

Maka, melaksanakan program semacam itu akan dimulai dengan membentuk polinomial ortogonal univariat dalam kolom secara terpisah. $\mathbb X$ Setelah memilih gelar yang sesuai untuk setiap kolom, Anda kemudian akan memperkenalkan interaksi.

Pada titik ini, bagian-bagian dari program univariat mogok. Urutan interaksi apa yang akan Anda terapkan, satu per satu, hingga model yang sesuai diidentifikasi? Terlebih lagi, sekarang setelah kita benar-benar memasuki bidang analisis multivariabel, jumlah opsi yang tersedia dan kompleksitasnya yang semakin besar menunjukkan bahwa mungkin ada pengembalian yang semakin berkurang dalam membangun urutan polinomial ortogonal multivariat. Namun, jika Anda memiliki urutan seperti itu dalam pikiran, Anda dapat menghitungnya menggunakan dekomposisi QR.

---

Apa Ryang

Perangkat lunak untuk regresi polinomial cenderung berfokus pada komputasi urutan polinomial ortogonal univariat . Merupakan karakteristik untuk Rmemperluas dukungan tersebut secara otomatis ke kelompok polinomial univariat. Ini apa poly. (Pendampingnya polympada dasarnya adalah kode yang sama, dengan lonceng dan peluit yang lebih sedikit; dua fungsi melakukan hal yang sama.)

Secara khusus, polyakan menghitung urutan polinomial ortogonal univariat ketika diberi vektor tunggal berhenti pada derajat yang ditentukan (Jika terlalu besar - dan bisa sulit untuk memprediksi seberapa besar terlalu besar - sayangnya melempar kesalahan.) Ketika diberi satu set vektor dalam bentuk matriks itu akan kembali$X,$$d.$$d$$X_1, \ldots, X_k$$\mathbb X,$

1. Urutan polinomial ortonormal untuk setiap ke tingkat maksimum yang diminta (Karena vektor konstan adalah umum untuk semua variabel dan sangat sederhana - biasanya ditampung oleh intersep dalam regresi - tidak repot-repot untuk memasukkannya.)$p_1(X_j), p_2(X_j), \ldots, p_d(X_j)$$j$$d.$$p_0(X_i)$R

2. Semua interaksi di antara polinomial ortogonal hingga dan termasuk yang dari derajat$d.$

Langkah (2) melibatkan beberapa kehalusan. Biasanya dengan "interaksi" di antara variabel yang kami maksud adalah "semua produk yang mungkin," tetapi beberapa produk yang mungkin akan memiliki derajat lebih besar dari Misalnya, dengan variabel dan menghitung$d.$$2$$d=2,$ R

$$p_1(X_1),\quad p_2(X_1),\quad p_1(X_2),\quad p_1(X_1)p_1(X_2),\quad p_2(X_2).$$

Rtidak tidak termasuk interaksi yang lebih tinggi derajat (polinomial derajat 3) atau (polinomial derajat 4). (Ini bukan batasan serius karena Anda dapat dengan mudah menghitung sendiri produk-produk ini atau menentukannya dalam objek regresi .)$p_2(X_1)p_1(X_2),$ $p_1(X_1)p_2(X_2)$$p_1(X_2)p_2(X_2)$formula

Kehalusan lainnya adalah tidak ada jenis normalisasi yang diterapkan pada produk multivarian apa pun. Dalam contoh tersebut, satu-satunya produk tersebut adalah Namun, tidak ada jaminan bahkan bahwa rata-rata akan menjadi nol dan hampir pasti tidak akan memiliki norma satuan. Dalam pengertian ini, ini adalah "interaksi" sejati antara dan dan dengan demikian dapat diartikan sebagai interaksi yang biasanya dalam model regresi.$p_1(X_1)p_1(X_2).$$p_1(X_1)$$p_1(X_2)$

Sebuah contoh

Mari kita lihat sebuah contoh. Saya telah membuat matriks Untuk membuat perhitungan lebih mudah diikuti, semuanya dibulatkan menjadi dua angka penting untuk ditampilkan.

$$\mathbb{X} = \pmatrix{1 & 3 \\ 5 & 6 \\ 2 & 4}.$$

Urutan polinomial ortonormal untuk kolom pertama dimulai dengan menormalkan dengan satuan panjang, memberikanLangkah selanjutnya termasuk itu sendiri. Untuk membuatnya ortogonal ke mundur terhadap dan set sama dengan residu dari regresi itu, diubah kembali untuk memiliki panjang unit. Hasilnya adalah standardisasi biasa dari diperoleh dengan memasukkan kembali dan membagi dengan deviasi standarnya,$X_1 = (1,5,2)^\prime$$X_1^0= (1,1,1)^\prime$$p_0(X_1) = (1,1,1)^\prime/\sqrt{3} \approx(0.58,0.58,0.58)^\prime.$$X_1^1 = X_1$$p_0(X_1),$$X_1$$p_0(X_1)$$p_1(X_1)$$X_1$$p_1(X_1) = (-0.57,0.79,-0.23)^\prime.$ Akhirnya, mengalami kemunduran terhadap dan dan residu-residual tersebut dihitung ulang menjadi satuan panjang. Kami tidak dapat melangkah lebih jauh karena kekuatan tidak dapat menghasilkan ruang vektor lebih dari dimensi. (Kami sampai sejauh ini karena polinomial minimum dari koefisien yaitu memiliki derajat menunjukkan bahwa semua monomial derajat atau lebih besar adalah kombinasi linear dari yang lebih rendah kekuatan dan kekuatan yang lebih rendah itu bebas linear.)$X_1^2 = (1,25,4)$$p_0(X_1)$$p_1(X_1)$$X_1$$n=3$$X_1,$$(t-1)(t-5)(t-4),$$3,$$3$

Matriks yang dihasilkan mewakili urutan polinomial ortonormal untuk adalah$X_1$

$$\mathbb{P_1} = \pmatrix{0.58 & -0.57 & 0.59 \\ 0.58 & 0.79 & 0.20 \\ 0.58 & -0.23 & -0.78}$$

(untuk dua angka penting).

Dengan cara yang sama, matriks polinomial ortonormal untuk adalah$X_2$

$$\mathbb{P_2} = \pmatrix{0.58 & -0.62 & 0.53 \\ 0.58 & 0.77 & 0.27 \\ 0.58 & -0.15 & -0.80}.$$

Istilah interaksi adalah produk dari kolom tengah dari matriks ini, sama dengan Matriks lengkap yang dibuat oleh atau , kemudian, adalah$(0.35, 0.61, 0.035)^\prime.$polypolym

$$\mathbb{P} = \pmatrix{-0.57 & 0.59 & -0.62 & 0.35 & 0.53 \\ 0.79 & 0.20&0.77& 0.61& 0.27 \\ -0.23 & -0.78 & -0.15 & 0.035 & -0.80}.$$

Perhatikan urutan di mana kolom diletakkan: polinomial ortonormal non-konstan untuk ada di kolom 1 dan 2 sedangkan yang untuk ada di kolom 3 dan 5. Dengan demikian, satu-satunya ortogonalitas yang dijamin dalam output ini adalah di antara ini dua pasang kolom. Ini tercermin dalam perhitungan yang akan memiliki nol di posisi dan (ditunjukkan dengan warna merah di bawah), * tetapi mungkin bukan nol di tempat lain, dan akan ada yang di posisi dan (ditampilkan dalam warna biru di bawah), tetapi kemungkinan tidak memiliki satu di posisi diagonal lainnya ($X_1$$X_2$$\mathbb{P}^\prime\mathbb{P},$$(1,2), (2,1), (3,5),$$(5,3)$$(1,1), (2,2), (3,3),$$(5,5)$$(4,4)$dalam contoh ini). Memang,

$$\mathbb{P}^\prime\,\mathbb{P} = \pmatrix{\color{blue}{\bf 1} & \color{red}{\bf 0} & 1 & 0.28 & 0.091 \\ \color{red}{\bf 0} & \color{blue}{\bf 1} & -0.091 & 0.3 & 1 \\ 1 & -0.091 & \color{blue}{\bf 1} & 0.25 & \color{red}{\bf 0} \\ 0.28 & 0.3 & 0.25 & 0.5 & 0.32 \\ 0.091 & 1 & \color{red}{\bf 0} & 0.32 & \color{blue}{\bf 1}}.$$

Ketika Anda memeriksa matriks ditunjukkan dalam pertanyaan, dan mengenali bahwa kelipatan benar-benar nol, Anda akan mengamati bahwa pola nol ini di posisi merah berlaku. Ini adalah arti di mana polinomial bivariat itu "ortogonal."$\mathbb P$$10^{-17}$