Saya melatih jaringan saraf untuk mengklasifikasikan satu set objek menjadi n-kelas. Setiap objek dapat menjadi milik beberapa kelas sekaligus (multi-class, multi-label). Saya membaca bahwa untuk masalah multi-kelas umumnya direkomendasikan untuk menggunakan softmax dan entropi lintas kategorikal...
Dalam pikiran saya, perbedaan KL dari distribusi sampel ke distribusi sebenarnya hanyalah perbedaan antara cross entropy dan entropy. Mengapa kita menggunakan cross entropy untuk menjadi fungsi biaya dalam banyak model pembelajaran mesin, tetapi menggunakan Kullback-Leibler divergence dalam t-sne?...
Pertama-tama, saya menyadari jika saya perlu melakukan prediksi biner, saya harus membuat setidaknya dua kelas melalui melakukan satu-hot-encoding. Apakah ini benar? Namun, apakah binary cross entropy hanya untuk prediksi dengan hanya satu kelas? Jika saya menggunakan kerugian entropi lintas...
Dalam 5,5, Deep Learning (oleh Ian Goodfellow, Yoshua Bengio dan Aaron Courville), itu menyatakan itu Setiap kerugian yang terdiri dari log-likelihood negatif adalah entropi silang antara distribusi empiris yang ditentukan oleh set pelatihan dan distribusi probabilitas yang ditentukan oleh...
Saat melatih jaringan saraf segmentasi piksel, seperti jaringan konvolusional penuh, bagaimana Anda membuat keputusan untuk menggunakan fungsi kehilangan lintas-entropi versus fungsi kerugian koefisien-dadu? Saya menyadari ini adalah pertanyaan singkat, tetapi tidak yakin informasi apa yang...
Kedua Cross-entropy dan KL divergence adalah alat untuk mengukur jarak antara dua distribusi probabilitas. Apa bedanya? H( P, Q ) = -∑xP( x ) logQ ( x )H(P,Q)=−∑xP(x)logQ(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL ( P| Q)=∑xP( x ) logP( x )Q ( x )KL(P|Q)=∑xP(x)logP(x)Q(x) KL(P | Q) = \sum_{x}...
Saya bereksperimen sedikit autoencoder, dan dengan tensorflow saya membuat model yang mencoba merekonstruksi dataset MNIST. Jaringan saya sangat sederhana: X, e1, e2, d1, Y, di mana e1 dan e2 adalah lapisan pengkodean, d2 dan Y adalah lapisan decoding (dan Y adalah output yang direkonstruksi). X...
Apakah biaya lintas-entropi masuk akal dalam konteks regresi (berlawanan dengan klasifikasi)? Jika demikian, dapatkah Anda memberikan contoh mainan melalui TensorFlow? Jika tidak, mengapa tidak? Saya membaca tentang cross-entropy di Neural Networks dan Deep Learning oleh Michael Nielsen dan...
Saya mulai belajar tentang jaringan saraf dengan tutorial neuralnetworksanddeeplearning dot com. Khususnya di bab ke - 3 ada bagian tentang fungsi cross entropy, dan mendefinisikan cross entropy loss sebagai: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjlnajL+(1−yj)ln(1−ajL))C = -\frac{1}{n}...
Saya mengerti bahwa diberikan satu set pengamatan independen yang Maximum Likelihood Estimator (atau, sama, MAP dengan datar / seragam sebelumnya) yang mengidentifikasi parameter yang menghasilkan distribusi Model p_ {Model} \ kiri (\, \ cdot \,; \ mathbf {θ} \ kanan) yang paling cocok dengan...
Untuk dua distribusi diskrit dan , cross entropy didefinisikan sebagaipppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)logq(x).H(p,q)=-\sum_x p(x)\log q(x). Saya bertanya-tanya mengapa ini akan menjadi ukuran intuitif jarak antara dua distribusi probabilitas? Saya melihat bahwa adalah entropi dari ,...
Saya telah mencoba membuat program untuk melatih Neural Networks di komputer saya. Untuk Jaringan yang dimaksud, saya telah memutuskan untuk menggunakan fungsi Cross Entropy Error: E=−∑jtjlnojE=−∑jtjlnojE = -\sum_jt_j\ln o_j Di mana adalah output target untuk Neuron , dan adalah output dari...