Gagasan statistik 'mendasar' untuk memperkirakan parameter adalah kemungkinan maksimum . Saya bertanya-tanya apa ide yang sesuai dalam pembelajaran mesin. Qn 1. Apakah adil untuk mengatakan bahwa ide 'mendasar' dalam pembelajaran mesin untuk memperkirakan parameter adalah: 'Kehilangan...
Saya mencoba untuk memahami apa tujuan dari fungsi kerugian dan saya tidak bisa memahaminya. Jadi, sejauh yang saya mengerti fungsi kerugian adalah untuk memperkenalkan semacam metrik bahwa kita dapat mengukur "biaya" dari keputusan yang salah. Jadi katakanlah saya memiliki dataset 30 objek, saya...
Saya bekerja di domain masalah di mana orang sering melaporkan ROC-AUC atau AveP (presisi rata-rata). Namun, saya baru-baru ini menemukan makalah yang mengoptimalkan Kehilangan Log , sementara yang lain melaporkan Kehilangan Engsel . Sementara saya mengerti bagaimana metrik ini dihitung, saya...
Dengan flat sebelumnya, estimator ML (frequentist - maximum likelihood) dan MAP (Bayesian - maximum a posteriori) bersamaan. Namun, secara lebih umum, saya berbicara tentang penduga titik yang diturunkan sebagai pengoptimal beberapa fungsi kerugian. Yaitu (Bayesian) x
Saya mencoba untuk mendapatkan perspektif global tentang beberapa ide penting dalam pembelajaran mesin, dan saya bertanya-tanya apakah ada perawatan komprehensif dari berbagai konsep kerugian (kuadrat, log, engsel, proksi, dll.). Saya sedang memikirkan sesuatu yang sejalan dengan presentasi formal...
Saya mencoba menggunakan kuadrat kerugian untuk melakukan klasifikasi biner pada kumpulan data mainan. Saya menggunakan mtcarskumpulan data, menggunakan mil per galon dan berat untuk memprediksi jenis transmisi. Plot di bawah ini menunjukkan dua jenis data tipe transmisi dalam warna berbeda, dan...
Saya mencoba memahami fungsi kehilangan Yolo
Saya mencoba untuk lebih memahami kehilangan log dan bagaimana cara kerjanya tetapi satu hal yang sepertinya tidak bisa saya temukan adalah memasukkan nomor kehilangan log ke dalam semacam konteks. Jika model saya memiliki kehilangan log 0,5, apakah itu bagus? Apa yang dianggap sebagai skor baik...
Tensorflow memiliki contoh tutorial tentang mengklasifikasikan CIFAR-10 . Pada tutorial, rata-rata kehilangan entropi silang di seluruh batch diminimalkan. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits...
Saya tahu k-means biasanya dioptimalkan menggunakan Expectation Maximization . Namun kami dapat mengoptimalkan fungsi kerugiannya dengan cara yang sama kami mengoptimalkan lainnya! Saya menemukan beberapa makalah yang benar-benar menggunakan keturunan gradien stokastik untuk k-means skala besar,...
Kehilangan engsel dapat didefinisikan menggunakan dan kehilangan log dapat didefinisikan sebagaimaks ( 0 , 1 - ysayawTxsaya)maks(0,1-ysayawTxsaya)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - ysayawTxsaya) )catatan(1+exp(-ysayawTxsaya))\text{log}(1 +
Dalam bagian 3.2 dari Pengenalan Pola Uskup dan Pembelajaran Mesin , dia membahas dekomposisi bias-varians, yang menyatakan bahwa untuk fungsi kerugian kuadrat, kerugian yang diharapkan dapat didekomposisi menjadi istilah bias kuadrat (yang menggambarkan seberapa jauh rata-rata prediksi dari yang...
Saya mencoba untuk melatih jaringan saraf untuk klasifikasi, tetapi label yang saya miliki agak bising (sekitar 30% dari label salah). Kehilangan lintas-entropi memang berhasil, tetapi saya bertanya-tanya apakah ada alternatif yang lebih efektif dalam kasus ini? atau apakah kerugian lintas-entropi...
Klasifikasi Naive Bayes adalah pengklasifikasi yang menetapkan item ke kelas berdasarkan pada memaksimalkan posterior untuk keanggotaan kelas, dan mengasumsikan bahwa fitur dari item tersebut independen.xxxCCCP(C|x)P(C|x)P(C|x) Kehilangan 0-1 adalah kerugian yang menyebabkan hilangnya klasifikasi...
Dalam buku Deep Learning Ian Goodfellow , tertulis itu Terkadang, fungsi kerugian yang benar-benar kita pedulikan (katakanlah, kesalahan klasifikasi) bukan salah satu yang dapat dioptimalkan secara efisien. Misalnya, meminimalkan kerugian yang diharapkan 0-1 yang diharapkan biasanya tidak dapat...
Saya akan mengajukan pertanyaan terkait dengan ini . Saya menemukan contoh penulisan fungsi kehilangan kustom untuk xgboost di sini : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <-...
Saya mulai belajar tentang jaringan saraf dengan tutorial neuralnetworksanddeeplearning dot com. Khususnya di bab ke - 3 ada bagian tentang fungsi cross entropy, dan mendefinisikan cross entropy loss sebagai: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjlnajL+(1−yj)ln(1−ajL))C = -\frac{1}{n}...
Solusi untuk masalah ini: minmE[|m−X|]minmE[|m−X|] \min_{m} \; E[|m-X|] dikenal sebagai median XXX , tetapi seperti apa fungsi kerugian untuk persentil lainnya? Contoh: persentil X ke-25 adalah solusi untuk: minmE[L(m,X)]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ] Apa LLL dalam kasus...
Dalam buku Goodfellow (2016) tentang pembelajaran yang mendalam, ia berbicara tentang kesetaraan dari berhenti dini untuk regularisasi L2 ( https://www.deeplearningbook.org/contents/regularization.html halaman 247). Perkiraan kuadrat dari fungsi biaya jjj diberikan
Saya ingin menggunakan pembelajaran mendalam untuk melatih deteksi biner wajah / non-wajah, kerugian apa yang harus saya gunakan, saya pikir itu adalah SigmoidCrossEntropyLoss atau Hinge-loss . Apakah itu benar, tetapi saya juga bertanya-tanya apakah saya harus menggunakan softmax tetapi hanya...