Saya sedang melakukan kursus Machine Learning Stanford di Coursera.
Dalam bab tentang Regresi Logistik, fungsi biaya adalah sebagai berikut:
Saya mencoba mendapatkan turunan dari fungsi biaya tetapi saya mendapatkan sesuatu yang sama sekali berbeda.
Bagaimana derivatif diperoleh?
Apa langkah perantara?
regression
logistic
gradient-descent
derivative
oktavian
sumber
sumber
Jawaban:
Diadaptasi dari catatan dalam kursus, yang saya tidak melihat tersedia (termasuk derivasi ini) di luar catatan yang dikontribusikan oleh siswa dalam halaman kursus Pembelajaran Mesin Coursera Andrew Ng .
Dalam apa yang berikut, superscript menunjukkan pengukuran individu atau "contoh" pelatihan.(i)
Turunan dari fungsi sigmoid adalah
sumber
Untuk menghindari kesan kompleksitas yang berlebihan dari masalah ini, mari kita lihat struktur solusinya.
Dengan penyederhanaan dan beberapa penyalahgunaan notasi, misalkan menjadi istilah dalam jumlah , dan adalah fungsi dari : J ( θ ) h = 1 / ( 1 + e - z )G ( θ ) J( θ ) h = 1 / ( 1 + e- z) z( θ ) = x θ
Kita dapat menggunakan aturan rantai: dan menyelesaikannya dengan satu ( dan adalah konstanta).dGdθ= dGdhdhdzdzdθ x y
Akhirnya, .dzdθ= x
Menggabungkan hasil bersama-sama memberikan ekspresi yang dicari: Harapan yang membantu.
sumber
Penghargaan untuk jawaban ini diberikan kepada Antoni Parellada dari komentar, yang menurut saya layak mendapat tempat yang lebih menonjol di halaman ini (karena itu membantu saya ketika banyak jawaban lain tidak). Juga, ini bukan derivasi penuh tetapi lebih merupakan pernyataan yang jelas dari . (Untuk derivasi penuh, lihat jawaban lain).∂J( θ )∂θ
dimana
Juga, implementasi Python bagi mereka yang ingin menghitung gradien sehubungan dengan .J θ
sumber
Bagi kita yang tidak begitu kuat dalam kalkulus, tetapi ingin bermain-main dengan menyesuaikan fungsi biaya dan perlu menemukan cara untuk menghitung derivatif ... jalan pintas untuk mempelajari kembali kalkulus adalah alat online ini untuk secara otomatis menyediakan derivasi, dengan penjelasan langkah demi langkah dari aturan.
https://www.derivative-calculator.net
sumber