Meningkatkan klasifikasi diabetes SVM

Saya menggunakan SVM untuk memprediksi diabetes. Saya menggunakan set data BRFSS untuk tujuan ini. Kumpulan data memiliki dimensi dan miring. Persentase s dalam variabel target adalah sedangkan s merupakan sisa 89 \% .$432607 \times 136$Y$11\%$N$89\%$

Saya hanya menggunakan 15dari 136variabel independen dari set data. Salah satu alasan untuk mengurangi kumpulan data adalah untuk memiliki lebih banyak sampel pelatihan saat baris yang mengandung NAs dihilangkan.

15Variabel - variabel ini dipilih setelah menjalankan metode statistik seperti pohon acak, regresi logistik dan mencari tahu variabel mana yang signifikan dari model yang dihasilkan. Sebagai contoh, setelah menjalankan regresi logistik kami menggunakan p-valueuntuk memesan variabel yang paling signifikan.

Apakah metode saya melakukan pemilihan variabel sudah benar? Setiap saran sangat disambut.

Berikut ini adalah Rimplementasi saya .

library(e1071) # Support Vector Machines

#--------------------------------------------------------------------
# read brfss file (huge 135 MB file)
#--------------------------------------------------------------------
y <- read.csv("http://www.hofroe.net/stat579/brfss%2009/brfss-2009-clean.csv")
indicator <- c("DIABETE2", "GENHLTH", "PERSDOC2", "SEX", "FLUSHOT3", "PNEUVAC3", 
    "X_RFHYPE5", "X_RFCHOL", "RACE2", "X_SMOKER3", "X_AGE_G", "X_BMI4CAT", 
    "X_INCOMG", "X_RFDRHV3", "X_RFDRHV3", "X_STATE");
target <- "DIABETE2";
diabetes <- y[, indicator];

#--------------------------------------------------------------------
# recode DIABETE2
#--------------------------------------------------------------------
x <- diabetes$DIABETE2;
x[x > 1]  <- 'N';
x[x != 'N']  <- 'Y';
diabetes$DIABETE2 <- x; 
rm(x);

#--------------------------------------------------------------------
# remove NA
#--------------------------------------------------------------------
x <- na.omit(diabetes);
diabetes <- x;
rm(x);

#--------------------------------------------------------------------
# reproducible research 
#--------------------------------------------------------------------
set.seed(1612);
nsamples <- 1000; 
sample.diabetes <- diabetes[sample(nrow(diabetes), nsamples), ]; 

#--------------------------------------------------------------------
# split the dataset into training and test
#--------------------------------------------------------------------
ratio <- 0.7;
train.samples <- ratio*nsamples;
train.rows <- c(sample(nrow(sample.diabetes), trunc(train.samples)));

train.set  <- sample.diabetes[train.rows, ];
test.set   <- sample.diabetes[-train.rows, ];

train.result <- train.set[ , which(names(train.set) == target)];
test.result  <- test.set[ , which(names(test.set) == target)];

#--------------------------------------------------------------------
# SVM 
#--------------------------------------------------------------------
formula <- as.formula(factor(DIABETE2) ~ . );
svm.tune <- tune.svm(formula, data = train.set, 
    gamma = 10^(-3:0), cost = 10^(-1:1));
svm.model <- svm(formula, data = train.set, 
    kernel = "linear", 
    gamma = svm.tune$best.parameters$gamma, 
    cost  = svm.tune$best.parameters$cost);

#--------------------------------------------------------------------
# Confusion matrix
#--------------------------------------------------------------------
train.pred <- predict(svm.model, train.set);
test.pred  <- predict(svm.model, test.set);
svm.table <- table(pred = test.pred, true = test.result);
print(svm.table);

Saya berlari dengan $1000$ (pelatihan = $700$ dan menguji = $300$ ) sampel karena lebih cepat di laptop saya. Matriks kebingungan untuk data uji ( $300$ sampel) yang saya dapatkan cukup buruk.

    true
pred   N   Y
   N 262  38
   Y   0   0

Saya perlu meningkatkan prediksi saya untuk Ykelas. Bahkan, saya harus seakurat mungkin dengan Ybahkan jika saya berkinerja buruk dengan N. Setiap saran untuk meningkatkan akurasi klasifikasi akan sangat dihargai.

Saya punya 4 saran:

1. Bagaimana Anda memilih variabel untuk dimasukkan dalam model Anda? Mungkin Anda kehilangan beberapa indikator utama dari dataset yang lebih besar.
2. Hampir semua indikator yang Anda gunakan (seperti jenis kelamin, perokok, dll.) Harus diperlakukan sebagai faktor. Memperlakukan variabel ini sebagai numerik salah, dan mungkin berkontribusi terhadap kesalahan dalam model Anda.
3. Mengapa Anda menggunakan SVM? Apakah Anda mencoba metode yang lebih sederhana, seperti analisis diskriminan linier atau bahkan regresi linier? Mungkin pendekatan sederhana pada dataset yang lebih besar akan menghasilkan hasil yang lebih baik.
4. Coba paket caret . Ini akan membantu Anda memvalidasi silang keakuratan model, itu diparalelkan yang akan membuat Anda bekerja lebih cepat, dan membuatnya mudah untuk mengeksplorasi berbagai jenis model.

Berikut ini beberapa contoh kode untuk caret:

library(caret)

#Parallize
library(doSMP)
w <- startWorkers()
registerDoSMP(w)

#Build model
X <- train.set[,-1]
Y <- factor(train.set[,1],levels=c('N','Y'))
model <- train(X,Y,method='lda')

#Evaluate model on test set
print(model)
predY <- predict(model,test.set[,-1])
confusionMatrix(predY,test.set[,1])
stopWorkers(w)

Model LDA ini mengalahkan SVM Anda, dan saya bahkan tidak memperbaiki faktor Anda. Saya yakin jika Anda menghitung ulang Seks, Perokok, dll. Sebagai faktor, Anda akan mendapatkan hasil yang lebih baik.

Jika Anda menggunakan kernel linear, maka dimungkinkan bahwa pemilihan fitur adalah ide yang buruk, dan regularisasi dapat mencegah pemasangan yang lebih efektif daripada pemilihan fitur. Perhatikan bahwa batas kinerja yang mengimplementasikan SVM tidak tergantung pada dimensi ruang fitur, yang merupakan salah satu nilai jual SVM.

Saya mengalami masalah ini baru-baru ini dan menemukan beberapa hal yang membantu. Pertama, coba model Naive Bayes (paket klaR) yang terkadang memberi Anda hasil yang lebih baik ketika kelas minoritas dalam masalah klasifikasi kecil. Juga, jika Anda memilih untuk tetap menggunakan SVM, Anda mungkin ingin mencoba oversampling kelas minoritas. Pada dasarnya Anda akan ingin memasukkan lebih banyak contoh kelas minoritas atau secara sintetis membuat kasus untuk kelas minoritas

Makalah ini: http: //www.it.iitb.ac.in/~kamlesh/Page/Reports/highlySkewed.pdf

Adakah beberapa diskusi dan contoh teknik ini diimplementasikan di Weka, tetapi memungkiri mereka sendiri di R juga dimungkinkan.

Selain apa yang telah disebutkan, Anda memperbaiki model terbaik Anda untuk menggunakan kernel linear. Anda harus memprediksi menggunakan model terbaik yang disetel, termasuk kernel yang sama yang digunakan / ditemukan pada tahap tuning Anda (yang saya asumsikan adalah RBF karena Anda menyetel gamma).