Apakah metode yang kuat benar-benar lebih baik?

Saya memiliki dua kelompok subjek, A, dan B, masing-masing dengan ukuran sekitar 400, dan sekitar 300 prediktor. Tujuan saya adalah untuk membangun model prediksi untuk variabel respons biner. Pelanggan saya ingin melihat hasil penerapan model yang dibangun dari A pada B. (Dalam bukunya, "Strategi Pemodelan Regresi", @FrankHarrell menyebutkan bahwa lebih baik untuk menggabungkan dua set data dan membangun model pada itu, karena hal itu menambah kekuatan dan presisi --- lihat halaman 90, Validasi Eksternal. Saya cenderung setuju dengannya, mengingat mengumpulkan jenis data yang saya miliki sangat mahal dan memakan waktu. Tapi saya tidak punya pilihan tentang apa yang diinginkan pelanggan .) Banyak prediktor saya sangat berkorelasi dan juga sangat miring. Saya menggunakan regresi logistik untuk membangun model prediksi saya.

Prediktor saya terutama berasal dari mekanik. Sebagai contoh, total waktu subjek berada di bawah tekanan lebih tinggi dari ambang untuk periode waktu [ t 1 , t 2 ] , untuk berbagai nilai α > 0 dan 0 ≤ t 1 < t 2 . Jelas bahwa hanya dari definisi mereka, banyak dari total waktu ini secara aljabar saling terkait. Banyak prediktor yang tidak terkait secara aljabar terkait karena sifatnya: subjek yang berada di bawah tekanan tinggi selama periode waktu [ t 1 , t 2$\alpha$$[t_1, t_2]$$\alpha > 0$$0 \leq t_1 < t_2$$[t_1, t_2]$cenderung berada di bawah tekanan tinggi selama periode waktu , bahkan jika [ t 1 , t 2 ] ∩ [ t 3 , t 4 ] = ∅ . Untuk mengurangi dimensi data, saya mengelompokkan prediktor terkait bersama-sama (misalnya, semua waktu stres total bersama-sama) dan menggunakan analisis komponen utama untuk mewakili masing-masing cluster. Karena variabel miring, saya mencoba dua jalur alternatif:$[t_3,t_4]$$[t_1,t_2] \cap [t_3,t_4] = \emptyset$

• Sebelum melakukan PCA, saya menggunakan transformasi logaritmik untuk mengurangi kemiringan dalam variabel.
• Saya menggunakan algoritma ROBPCA Mia Hubert, seperti yang diterapkan oleh paket rrcov di R, (PcaHubert), untuk menemukan komponen utama yang kuat.

Saya menggunakan bentuk keseluruhan kurva ROC, bentuk kurva presisi-recall, dan area di bawah kurva ROC (AUC) sebagai ukuran kinerja saya, dan saya ingin mendapatkan hasil yang serupa untuk kedua set data A dan B Saya mengharapkan untuk mendapatkan hasil yang lebih baik dari menggunakan komponen utama yang kuat, tetapi yang mengejutkan saya, metode pertama melakukan lebih baik: nilai AUC yang lebih baik untuk kedua set data A dan B, lebih banyak persamaan antara kurva ROC, dan lebih banyak lagi penarikan presisi yang serupa. kurva.

Apa penjelasan untuk ini? Dan bagaimana saya bisa menggunakan komponen utama yang kuat, alih-alih mencoba membuat data saya terlihat normal? Apakah ada metode PCA kuat tertentu yang Anda rekomendasikan daripada ROBPCA?

Singkatnya, dan dari deskripsi Anda, Anda membandingkan apel dengan jeruk .... dalam dua cara.

$\log$

Pertimbangkan contoh ini:

library("MASS")
library("copula")
library("rrcov")
p<-2;n<-100;

eps<-0.2
l1<-list()
l3<-list(rate=1)
#generate assymetric data
model<-mvdc(claytonCopula(1,dim=p),c("unif","exp"),list(l1,l3));
x1<-rMvdc(ceiling(n*(1-eps)),model);
#adding 20% of outliers at the end:
x1<-rbind(x1,mvrnorm(n-ceiling(n*(1-eps)),c(7,3),1/2*diag(2))) 

Sekarang, paskan kedua model (ROBPCA dan pca klasik pada log data):

x2<-log(x1)
v0<-PcaClassic(x2)
v1<-PcaHubert(x2,mcd=FALSE,k=2)

Sekarang, perhatikan sumbu variasi terkecil yang ditemukan oleh masing-masing metode (di sini, untuk kenyamanan, saya memplotnya pada ruang log-transformed tetapi Anda akan mendapatkan kesimpulan yang sama pada ruang asli).

Jelas, ROBPCA melakukan pekerjaan yang lebih baik dalam menangani bagian data yang tidak terkontaminasi (titik-titik hijau):

Tapi sekarang, saya sampai pada poin kedua.

$H_u$$z_i$$w_i$

Anda memilikinya (ini terlihat tenang di plot di atas):

Tetapi Anda tampaknya terkejut bahwa:

--Dengan cara Anda menggambarkan prosedur pengujian, Anda menghitung kriteria penilaian kecocokan pada seluruh dataset, sehingga kriteria evaluasi Anda adalah fungsi monoton dari (2) di mana Anda harus menggunakan fungsi monoton dari (1) -

Dengan kata lain, jangan berharap kecocokan kuat untuk memiliki jumlah residu ortogonal kuadrat yang lebih kecil daripada prosedur tidak kuat pada dataset lengkap Anda: estimator non robust sudah menjadi minimizer unik dari SSOR pada dataset lengkap.