Secara khusus, saya kira saya bertanya-tanya tentang pernyataan ini:
Versi utama masa depan TensorFlow akan memungkinkan gradien mengalir ke input label pada backprop secara default.
Yang ditampilkan saat saya gunakan tf.nn.softmax_cross_entropy_with_logits
. Dalam pesan yang sama ia mendesak saya untuk melihatnya tf.nn.softmax_cross_entropy_with_logits_v2
. Saya melihat melalui dokumentasi tetapi hanya menyatakan bahwa untuk tf.nn.softmax_cross_entropy_with_logits_v2
:
Backpropagation akan terjadi pada log dan label. Untuk melarang backpropagation ke label, berikan tensor label melalui stop_gradients sebelum memasukkannya ke fungsi ini.
sebagai lawan tf.nn.softmax_cross_entropy_with_logits
dari:
Backpropagation hanya akan terjadi pada log.
Menjadi sangat baru untuk subjek (saya mencoba untuk membuat jalan melalui beberapa tutorial dasar) pernyataan itu tidak begitu jelas. Saya memiliki pemahaman dangkal tentang backpropagation tetapi apa arti pernyataan sebelumnya sebenarnya? Bagaimana backpropagation dan label terhubung? Dan bagaimana hal ini mengubah cara saya bekerja tf.nn.softmax_cross_entropy_with_logits_v2
dibandingkan dengan yang asli?
sumber
softmax_..._with_logits_v2
akan berfungsi seperti apasoftmax_with_logits
? (Atau saya mungkin menggunakan tf.stop_gradient pada variabel label.)