Tampaknya ada banyak kebingungan dalam perbandingan menggunakan di glmnet
dalam caret
untuk mencari lambda yang optimal dan menggunakan cv.glmnet
untuk melakukan tugas yang sama.
Banyak pertanyaan diajukan, misalnya:
Klasifikasi model train.glmnet vs. cv.glmnet?
Apa cara yang tepat untuk menggunakan glmnet dengan caret?
Validasi silang `glmnet` menggunakan` caret`
tetapi tidak ada jawaban yang diberikan, yang mungkin disebabkan oleh kemampuan reproduksi pertanyaan itu. Mengikuti pertanyaan pertama, saya memberikan contoh yang sangat mirip tetapi memiliki pertanyaan yang sama: Mengapa perkiraan lambda begitu berbeda?
library(caret)
library(glmnet)
set.seed(849)
training <- twoClassSim(50, linearVars = 2)
set.seed(849)
testing <- twoClassSim(500, linearVars = 2)
trainX <- training[, -ncol(training)]
testX <- testing[, -ncol(testing)]
trainY <- training$Class
# Using glmnet to directly perform CV
set.seed(849)
cvob1=cv.glmnet(x=as.matrix(trainX),y=trainY,family="binomial",alpha=1, type.measure="auc", nfolds = 3,lambda = seq(0.001,0.1,by = 0.001),standardize=FALSE)
cbind(cvob1$lambda,cvob1$cvm)
# best parameter
cvob1$lambda.mi
# best coefficient
coef(cvob1, s = "lambda.min")
# Using caret to perform CV
cctrl1 <- trainControl(method="cv", number=3, returnResamp="all",classProbs=TRUE,summaryFunction=twoClassSummary)
set.seed(849)
test_class_cv_model <- train(trainX, trainY, method = "glmnet", trControl = cctrl1,metric = "ROC",
tuneGrid = expand.grid(alpha = 1,lambda = seq(0.001,0.1,by = 0.001)))
test_class_cv_model
# best parameter
test_class_cv_model$bestTune
# best coefficient
coef(test_class_cv_model$finalModel, test_class_cv_model$bestTune$lambda)
Sebagai rangkuman, lambda optimal diberikan sebagai:
0,055 dengan menggunakan
cv.glmnet()
0,001 dengan menggunakan
train()
Saya tahu bahwa menggunakan standardize=FALSE
dalam cv.glmnet()
tidak disarankan, tetapi saya benar-benar ingin membandingkan kedua metode menggunakan prasyarat yang sama. Sebagai penjelasan utama, saya pikir pendekatan pengambilan sampel untuk setiap lipatan mungkin menjadi masalah - tetapi saya menggunakan benih yang sama dan hasilnya sangat berbeda.
Jadi saya benar-benar terjebak pada mengapa kedua pendekatan itu sangat berbeda, sementara mereka harus sangat mirip? - Saya harap masyarakat memiliki ide apa masalahnya di sini
sumber