Analisis komponen utama fungsional (FPCA): tentang apa semua ini?

Analisis komponen utama fungsional (FPCA) adalah sesuatu yang saya temui dan tidak pernah mengerti. Tentang apa semua ini?

Lihat "Sebuah survei analisis komponen utama fungsional" oleh Shang, 2011 , dan saya mengutip:

PCA mengalami kesulitan serius dalam menganalisis data fungsional karena "kutukan dimensi" (Bellman 1961). "Kutukan dimensi" berasal dari sparsitas data dalam ruang dimensi tinggi. Bahkan jika sifat geometrik PCA tetap valid, dan bahkan jika teknik numerik memberikan hasil yang stabil, matriks kovarian sampel kadang-kadang merupakan estimasi yang buruk dari matriks kovarians populasi. Untuk mengatasi kesulitan ini, FPCA menyediakan cara yang jauh lebih informatif untuk memeriksa struktur kovarians sampel daripada PCA [...]

Saya tidak mengerti. Apa kekurangan dari makalah ini? Bukankah PCA seharusnya menjadi metode terbaik untuk menangani situasi seperti "kutukan dimensi"?

Tepat, seperti yang Anda nyatakan dalam pertanyaan dan seperti yang dimasukkan oleh @tdc dalam jawabannya, dalam kasus dimensi yang sangat tinggi bahkan jika properti geometris PCA tetap valid, matriks kovarians tidak lagi merupakan perkiraan yang baik dari kovarians populasi nyata.

Ada makalah yang sangat menarik "Analisis Komponen Utama Fungsional dari Data fMRI" ( pdf ) di mana mereka menggunakan PCA fungsional untuk memvisualisasikan varians:

... Seperti dalam teknik eksplorasi lainnya, tujuannya adalah memberikan penilaian awal yang akan memberikan data kesempatan "untuk berbicara sendiri" sebelum model yang sesuai dipilih. [...]

Dalam makalah mereka menjelaskan bagaimana tepatnya mereka melakukannya, dan juga memberikan alasan teoretis:

Keuntungan yang menentukan dari pendekatan ini terdiri dari kemungkinan menentukan seperangkat asumsi dalam pemilihan set fungsi dasar dan dalam kesalahan fungsional diminimalkan oleh fit. Asumsi-asumsi ini akan lebih lemah daripada spesifikasi fungsi hemodinamik yang telah ditentukan dan serangkaian peristiwa atau kondisi seperti dalam F-masking, sehingga menjaga karakter eksplorasi dari prosedur; Namun, asumsi tersebut mungkin tetap cukup ketat untuk mengatasi kesulitan PCA biasa.

Saya menemukan "PCA fungsional" gagasan membingungkan yang tidak perlu. Ini bukan hal yang terpisah sama sekali, ini adalah PCA standar yang diterapkan pada deret waktu.

$n$$t$$n \times t$$t\gg n$$20$$1000$$t$

Seseorang pasti dapat menerapkan PCA standar di sini. Rupanya, dalam kutipan Anda, penulis khawatir bahwa eigen-time-series yang dihasilkan akan terlalu berisik. Ini memang bisa terjadi! Dua cara yang jelas untuk mengatasinya adalah (a) untuk memperlancar eigen-time-series yang dihasilkan setelah PCA, atau (b) untuk memuluskan seri waktu asli sebelum melakukan PCA.

$k$$t$$k$

Tutorial tentang FPCA biasanya membahas panjang lebar tentang bagaimana cara menggeneralisasi PCA ke ruang fungsional berdimensi tak terbatas, tetapi relevansi praktisnya benar-benar di luar jangkauan saya , karena dalam praktiknya, data fungsional selalu didiskritkan untuk memulainya.

Berikut adalah sebuah ilustrasi yang diambil dari Ramsay dan Silverman "Analisis Data Fungsional" buku teks, yang tampaknya menjadi yang monografi definitif tentang "analisis data fungsional" termasuk FPCA:

Orang dapat melihat bahwa melakukan PCA pada "data yang didiskritisasi" (poin) menghasilkan secara praktis hal yang sama seperti melakukan FPCA pada fungsi terkait dalam basis Fourier (garis). Tentu saja orang pertama dapat melakukan PCA diskrit dan kemudian memasukkan fungsi dalam basis Fourier yang sama; itu akan menghasilkan hasil yang kurang lebih sama.

$t=12$$n>t$

Saya bekerja selama beberapa tahun dengan Jim Ramsay di FDA, jadi saya mungkin dapat menambahkan beberapa klarifikasi ke jawaban @ amoeba. Saya pikir pada level praktis, @amoeba pada dasarnya benar. Setidaknya, itulah kesimpulan yang akhirnya saya raih setelah mempelajari FDA. Namun, kerangka kerja FDA memberikan wawasan teoretis yang menarik tentang mengapa meratakan vektor eigen lebih dari sekadar kludge. Ternyata optmisasi dalam ruang fungsi, tunduk pada produk dalam yang berisi penalti kelancaran, memberikan solusi dimensi terbatas dari splines basis. FDA menggunakan ruang fungsi dimensi tak terbatas, tetapi analisis tidak memerlukan jumlah dimensi tak terbatas. Ini seperti trik kernel dalam proses Gaussian atau SVM. Sebenarnya ini sangat mirip dengan trik kernel.

Karya asli Ramsay membahas situasi di mana cerita utama dalam data jelas: fungsinya lebih atau kurang linier, atau lebih atau kurang berkala. Vektor eigen dominan PCA standar hanya akan mencerminkan tingkat keseluruhan fungsi dan tren linier (atau fungsi sinus), pada dasarnya memberi tahu kita apa yang sudah kita ketahui. Fitur yang menarik terletak pada residual, yang sekarang beberapa vektor eigen dari daftar teratas. Dan karena masing-masing vektor eigen berikutnya harus ortogonal dengan yang sebelumnya, konstruksi ini semakin bergantung pada artefak analisis dan lebih sedikit pada fitur yang relevan dari data. Dalam analisis faktor, rotasi faktor miring bertujuan untuk menyelesaikan masalah ini. Ide Ramsay bukan untuk memutar komponen, melainkan mengubah definisi ortogonalitas dengan cara yang lebih mencerminkan kebutuhan analisis. Ini berarti bahwa jika Anda khawatir dengan komponen periodik, Anda akan memuluskannya$D^3-D$$D^2$

Orang mungkin keberatan bahwa akan lebih mudah untuk menghapus tren dengan OLS dan memeriksa residu dari operasi itu. Saya tidak pernah yakin bahwa nilai tambah FDA sebanding dengan kompleksitas metode ini. Namun dari sudut pandang teoretis, ada baiknya mempertimbangkan masalah yang terlibat. Segala yang kami lakukan untuk data mengacaukan segalanya. Sisa dari OLS berkorelasi, bahkan ketika data asli independen. Smoothing a time series memperkenalkan autokorelasi yang tidak ada dalam seri mentah. Gagasan FDA adalah untuk memastikan bahwa residu yang kami dapatkan dari detrending awal cocok untuk analisis yang menarik.

Anda harus ingat bahwa FDA berasal pada awal 80-an ketika fungsi spline sedang dalam studi aktif - pikirkan Grace Wahba dan timnya. Banyak pendekatan untuk data multivariat telah muncul sejak saat itu - seperti SEM, analisis kurva pertumbuhan, proses Gaussian, perkembangan lebih lanjut dalam teori proses stokastik, dan banyak lagi. Saya tidak yakin bahwa FDA tetap menjadi pendekatan terbaik untuk pertanyaan yang dialaminya. Di sisi lain, ketika saya melihat aplikasi apa yang dimaksudkan sebagai FDA, saya sering bertanya-tanya apakah penulis benar-benar memahami apa yang coba dilakukan FDA.

Saya tidak yakin tentang FPCA, tetapi satu hal yang perlu diingat, adalah bahwa dalam dimensi yang sangat tinggi, ada lebih banyak "ruang", dan titik-titik dalam ruang mulai terlihat terdistribusi secara seragam (yaitu semuanya jauh dari yang lain). Pada titik ini, matriks kovarians akan mulai terlihat seragam secara esensial, dan akan sangat sensitif terhadap kebisingan. Karena itu, ini menjadi perkiraan buruk tentang kovarians "benar". Mungkin FPCA menyelesaikan ini entah bagaimana, tapi saya tidak yakin.