Pertanyaan yang diberi tag gradient-descent

Gradient Descent adalah algoritma untuk mencari nilai minimum suatu fungsi. Ini secara berulang menghitung turunan parsial (gradien) dari fungsi dan turun dalam langkah-langkah yang sebanding dengan turunan parsial tersebut. Salah satu aplikasi utama Gradient Descent adalah menyesuaikan model berparameter ke sekumpulan data: fungsi yang akan diminimalkan adalah fungsi kesalahan untuk model.

Scikit-belajar: Mendapatkan SGDClassifier untuk memprediksi serta Regresi Logistik

Cara untuk melatih Regresi Logistik adalah dengan menggunakan keturunan gradien stokastik, yang scikit-belajar menawarkan antarmuka. Apa yang ingin saya lakukan adalah mengambil scikit-belajar ini SGDClassifier dan memilikinya skor yang sama sebagai Regresi Logistik di sini . Namun, saya harus...

Apa perbedaan antara Gradient Descent dan Stochastic Gradient Descent?

Apa perbedaan antara Gradient Descent dan Stochastic Gradient Descent? Saya tidak terlalu terbiasa dengan ini, dapatkah Anda menggambarkan perbedaannya dengan contoh

machine-learning neural-network deep-learning gradient-descent

Apakah gradient descent selalu menyatu ke optimal?

Saya bertanya-tanya apakah ada skenario di mana gradient descent tidak menyatu ke minimum. Saya sadar bahwa gradient descent tidak selalu dijamin akan menyatu dengan global optimal. Saya juga sadar bahwa itu mungkin berbeda dari optimal jika, katakanlah, ukuran langkah terlalu besar. Namun, bagi...

machine-learning neural-network deep-learning optimization gradient-descent

Mengapa ReLU lebih baik daripada fungsi aktivasi lainnya

Di sini jawabannya mengacu pada gradien menghilang dan meledak yang telah di- sigmoidfungsi aktivasi tetapi, saya kira, Relumemiliki kelemahan dan itu adalah nilai yang diharapkan. tidak ada batasan untuk output Reludan nilai yang diharapkan tidak nol. Saya ingat waktu sebelum popularitas Reluyang...

machine-learning neural-network deep-learning gradient-descent activation-function

Jendela geser mengarah ke overfitting di LSTM?

Apakah saya akan mengenakan LSTM saya jika saya melatihnya melalui pendekatan sliding-window? Mengapa orang tampaknya tidak menggunakannya untuk LSTM? Untuk contoh yang disederhanakan, asumsikan bahwa kita harus memprediksi urutan karakter: A B C D E F G H I J K L M N O P Q R S T U V W X Y...

lstm backpropagation mini-batch-gradient-descent

Apakah Gradient Descent penting bagi setiap pengoptimal?

Saya ingin tahu apakah keturunan Gradient adalah algoritma utama yang digunakan dalam pengoptimal seperti Adam, Adagrad, RMSProp dan beberapa pengoptimal lainnya.

machine-learning neural-network deep-learning optimization gradient-descent

Berapa banyak sel LSTM yang harus saya gunakan?

Apakah ada aturan praktis (atau aturan aktual) yang berkaitan dengan jumlah sel LSTM minimum, maksimum, dan "wajar" yang harus saya gunakan? Secara khusus saya berhubungan dengan BasicLSTMCell dari TensorFlow dan num_unitsproperti. Harap asumsikan bahwa saya memiliki masalah klasifikasi yang...

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

Keturunan gradien stokastik berdasarkan pada operasi vektor?

mari kita asumsikan bahwa saya ingin melatih algoritma regresi penurunan gradien stokastik menggunakan dataset yang memiliki sampel N. Karena ukuran dataset sudah diperbaiki, saya akan menggunakan kembali data T kali. Pada setiap iterasi atau "zaman", saya menggunakan masing-masing sampel pelatihan...

python gradient-descent regression

Seberapa fleksibel hubungan antara fungsi tujuan dan fungsi aktivasi lapisan keluaran?

Tampaknya standar dalam banyak paket jaringan saraf untuk memasangkan fungsi tujuan yang akan diminimalkan dengan fungsi aktivasi di lapisan output. Sebagai contoh, untuk lapisan output linier yang digunakan untuk regresi adalah standar (dan seringkali hanya pilihan) untuk memiliki fungsi tujuan...

neural-network gradient-descent

Mengapa ini mempercepat gradient descent jika fungsinya halus?

Saya sekarang membaca buku berjudul "Pembelajaran Mesin Langsung dengan Scikit-Learn dan TensorFlow" dan pada bab 11, ia memiliki deskripsi berikut tentang penjelasan ELU (Exponential ReLU). Ketiga, fungsinya halus di mana-mana, termasuk di sekitar z = 0, yang membantu mempercepat Gradient...

deep-learning gradient-descent

Memahami dropout dan gradient descent

Saya melihat bagaimana menerapkan dropout pada jaringan saraf yang dalam, dan saya menemukan sesuatu yang berlawanan secara intuitif. Dalam fase maju, topeng aktivasi putus dengan tensor acak 1s dan 0s untuk memaksa net mempelajari rata-rata bobot. Ini membantu jaring untuk menggeneralisasi dengan...

neural-network deep-learning gradient-descent

Mengapa laju pembelajaran menyebabkan bobot jaringan saraf saya meroket?

Saya menggunakan tensorflow untuk menulis jaringan saraf sederhana untuk sedikit riset dan saya punya banyak masalah dengan bobot 'nan' saat pelatihan. Saya mencoba banyak solusi berbeda seperti mengubah pengoptimal, mengubah kehilangan, ukuran data, dll. Tetapi tanpa hasil. Akhirnya, saya...

machine-learning python tensorflow optimization gradient-descent

Dapatkah overfitting terjadi dalam algoritma Pengoptimalan Lanjutan?

saat mengambil kursus online tentang pembelajaran mesin oleh Andrew Ng tentang coursera, saya menemukan topik yang disebut overfitting . Saya tahu ini dapat terjadi ketika gradient descent digunakan dalam regresi linier atau logistik tetapi dapatkah hal ini terjadi ketika algoritma Optimasi...

machine-learning regression optimization gradient-descent overfitting

Memahami matematika dari AdaGrad dan AdaDelta

Saya telah membangun beberapa model untuk sebuah proyek, tetapi saya tidak dapat membungkus kepala saya dengan matematika dari algoritma Adagrad dan Adadelta. Saya mengerti bagaimana cara kerja gradient descent vanilla dan saya telah menulis kode untuk membuatnya bekerja dengan sukses. Saya akan...

machine-learning gradient-descent