Saya membaca tentang pertukaran ini metode heuristik untuk memperkirakan gamma untuk kernel rbf di SVM. Saya bertanya-tanya apakah seseorang mungkin bisa menjelaskannya kepada saya dengan sedikit lebih detail? Saya percaya Anda memilih 1000 (atau sejumlah besar) pasang titik data dari dataset kemudian menghitung norma untuk perbedaan masing-masing pasangan. Rupanya, kebalikan dari .1, .9 kuantil dan median adalah kandidat yang baik untuk gamma yang cocok untuk kernel rbf.
Terima kasih
Jawaban:
Pertama-tama, tidak ada alasan-kecuali biaya komputasi-untuk tidak menggunakan seluruh dataset Anda. Selama Anda tidak menggunakan informasi label, tidak ada alasan untuk tidak menggunakan semua informasi yang dapat Anda peroleh dari data Anda.
Mengapa kuantil jarak adalah heuristik yang baik? Solusi dari masalah SVM adalah kombinasi linear dari kernel RBF yang berada di vektor dukungan . Selama fase pembelajaran, optimisasi mengadaptasi untuk memaksimalkan margin sambil mempertahankan klasifikasi yang benar.∑iyiαiexp(−γ||x−xi||2) αi
Sekarang, ada dua kasus ekstrem untuk pilihan :γ
Untuk melihat bahwa heuristik adalah pilihan yang baik, kita harus menyadari bahwa nilai tertentu dari menentukan batas untuk kernel RBF di mana kernel akan lebih besar dari nilai tertentu (seperti parameter-a- kuantil untuk Normal). distribusi). Dengan memilih sesuai dengan kuantil pada jarak berpasangan Anda memastikan bahwa persentase tertentu dari titik data terletak di dalam batas itu. Oleh karena itu, jika Anda mengubah untuk datapoint, Anda sebenarnya hanya akan memengaruhi fungsi keputusan untuk persentase tertentu dari datapoint yang Anda inginkan. Bagaimana persentase itu harus dipilih tergantung pada masalah belajar, tetapi Anda menghindari mengubah fungsi keputusan untuk semua atauγ σ γ αi hanya satu titik data.
sumber
Ya! Anda menggambarkan apa yang disebut "trik median".
Saya sangat suka intuisi di balik jawaban di atas. Saya juga berpikir lebih mudah untuk memahami masalah memilih dengan menganggapnya sebagai kebalikan dari varian RBF, à la sehingga RBF menjadiγ
Sekarang sudah jelas bahwa masalah mencari yang baik pada dasarnya sama dengan mencari varian yang bagus untuk fungsi Gaussian (minus faktor penskalaan).γ
Untuk melakukan ini, kita beralih ke penaksir varians, tetapi alih-alih menghitung varians melalui jarak kuadrat rata-rata dari beberapa seperti , kita menghitung kuantil pada jarak kuadrat itu.xi E[(x−xi)2]
Seperti yang dikatakan oleh poster di atas, menggunakan kuantil memberi kita kendali atas berapa banyak titik data yang berada dalam satu (atau dua, atau tiga ..) standar deviasi fungsi Gaussian kita.
sumber