Pertanyaan yang diberi tag hyperparameter

78

Contoh: regresi LASSO menggunakan glmnet untuk hasil biner

Saya mulai mencoba-coba penggunaan glmnetdengan LASSO Regression di mana hasil yang saya minati menjadi dikotomis. Saya telah membuat bingkai data mock kecil di bawah ini: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...

r self-study lasso regression interpretation anova statistical-significance survey conditional-probability independence naive-bayes graphical-model r time-series forecasting arima r forecasting exponential-smoothing bootstrap outliers r regression poisson-distribution zero-inflation genetic-algorithms machine-learning feature-selection cart categorical-data interpretation descriptive-statistics variance multivariate-analysis covariance-matrix r data-visualization generalized-linear-model binomial proportion pca matlab svd time-series correlation spss arima chi-squared curve-fitting text-mining zipf probability categorical-data distance group-differences bhattacharyya regression variance mean data-visualization variance clustering r standard-error association-measure somers-d normal-distribution integral numerical-integration bayesian clustering python pymc nonparametric-bayes machine-learning svm kernel-trick hyperparameter poisson-distribution mean continuous-data univariate missing-data dag python likelihood dirichlet-distribution r anova hypothesis-testing statistical-significance p-value rating data-imputation censoring threshold

41

Optimasi hyperparameter praktis: Pencarian acak vs. kisi

Saat ini saya sedang mencari Bengio dan Bergsta's Random Search untuk Hyper-Parameter Optimization [1] di mana penulis mengklaim pencarian acak lebih efisien daripada pencarian grid dalam mencapai sekitar kinerja yang sama. Pertanyaan saya adalah: Apakah orang-orang di sini setuju dengan klaim...

machine-learning hyperparameter optimization

38

Pedoman untuk memilih hyperparameters di Deep Learning

Saya mencari makalah yang dapat membantu dalam memberikan pedoman tentang bagaimana memilih hyperparameter arsitektur yang mendalam, seperti auto-encoders stacked atau jaringan deep trust. Ada banyak hiperparameter dan saya sangat bingung bagaimana memilihnya. Juga menggunakan validasi silang bukan...

machine-learning deep-learning deep-belief-networks hyperparameter

24

Apa alasan bahwa Pengoptimal Adam dianggap kuat dengan nilai parameter hipernya?

Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning karya Bengio, Goodfellow dan Courville: Adam umumnya dianggap cukup kuat untuk memilih parameter hiper, meskipun tingkat pembelajaran kadang-kadang perlu diubah dari standar yang...

neural-networks deep-learning optimization hyperparameter adam

21

Interpretasi alami untuk hiperparameter LDA

Adakah yang bisa menjelaskan interpretasi alami untuk hiperparameter LDA? ALPHAdan BETAmerupakan parameter dari distribusi Dirichlet untuk masing-masing topik (per dokumen) dan (per topik) kata. Namun bisakah seseorang menjelaskan apa artinya memilih nilai yang lebih besar dari hiperparameter ini...

interpretation prior topic-models hyperparameter

20

Seberapa burukkah penyetelan hyperparameter di luar validasi silang?

Saya tahu bahwa melakukan penyetelan hyperparameter di luar validasi silang dapat menyebabkan estimasi bias eksternal yang tinggi, karena dataset yang Anda gunakan untuk mengukur kinerja adalah sama dengan yang Anda gunakan untuk menyetel fitur. Yang saya pikirkan adalah seberapa buruk masalah ini...

cross-validation validation hyperparameter

19

Apakah menyetel hyperparameter pada sampel dataset adalah ide yang buruk?

Saya memiliki dataset 140000 contoh dan 30 fitur yang saya latih beberapa pengklasifikasi untuk klasifikasi biner (SVM, Regresi Logistik, Hutan Acak dll) Dalam banyak kasus, penyetelan hyperparameter pada keseluruhan dataset menggunakan pencarian Grid atau Random terlalu memakan waktu. Saya mulai...

machine-learning cross-validation hyperparameter

19

Apa namanya: hyperparameters

Jadi dalam distribusi normal, kami memiliki dua parameter: mean dan variance . Dalam buku Pattern Recognition dan Machine Learning , tiba-tiba muncul hyperparameter dalam istilah regularisasi fungsi kesalahan.μμ\muσ2σ2\sigma^2λλ\lambda Apa itu hiperparameter? Mengapa mereka dinamai demikian? Dan...

terminology definition parameterization hyperparameter

18

Keuntungan dari Particle Swarm Optimization daripada Bayesian Optimization untuk penyetelan hyperparameter?

Ada penelitian kontemporer substansial tentang Bayesian Optimization (1) untuk menyetel hiperparameter ML. Motivasi mengemudi di sini adalah bahwa jumlah minimal titik data diperlukan untuk membuat pilihan berdasarkan informasi tentang poin apa yang layak untuk dicoba (panggilan fungsi obyektif itu...

hyperparameter bayesian-optimization optunity

17

Bagaimana membangun model akhir dan menyetel ambang probabilitas setelah validasi silang bersarang?

Pertama, permintaan maaf karena memposting pertanyaan yang telah dibahas panjang lebar di sini , di sini , di sini , di sini , di sini, dan untuk memanaskan kembali topik lama. Saya tahu @DikranMarsupial telah menulis tentang topik ini secara panjang lebar di posting dan makalah jurnal, tapi saya...

machine-learning cross-validation model-selection glmnet hyperparameter

16

Bagaimana cara mendapatkan parameter hiper dalam validasi lintas bersarang?

Saya telah membaca posting berikut untuk validasi silang bersarang dan masih belum 100% yakin apa yang harus saya lakukan dengan pemilihan model dengan validasi silang bersarang: Validasi silang bersarang untuk pemilihan model Pemilihan model dan validasi silang: Cara yang benar Untuk...

cross-validation scikit-learn hyperparameter

14

Penyetelan parameter hiper: Pencarian acak vs optimisasi Bayesian

Jadi, kita tahu bahwa pencarian acak berfungsi lebih baik daripada pencarian kisi, tetapi pendekatan yang lebih baru adalah optimasi Bayesian (menggunakan proses gaussian). Saya telah mencari perbandingan antara keduanya, dan tidak menemukan apa pun. Saya tahu bahwa di cs231n Stanford mereka hanya...

bayesian hyperparameter

14

Bagaimana seharusnya Seleksi Fitur dan optimasi Hyperparameter dipesan dalam pipa pembelajaran mesin?

Tujuan saya adalah mengklasifikasikan sinyal sensor. Konsep solusi saya sejauh ini adalah: i) Fitur teknik dari sinyal mentah ii) Memilih fitur yang relevan dengan ReliefF dan pendekatan pengelompokan iii) Menerapkan NN, Random Forest dan SVM Namun saya terjebak dalam dilema. Dalam ii) dan iii),...

feature-selection hyperparameter optimization

13

Tuning Hyperparameter dalam Regresi Proses Gaussian

Saya mencoba untuk menyetel hyperparameter dari algoritma regresi proses gaussian yang telah saya terapkan. Saya hanya ingin memaksimalkan kemungkinan marginal log yang diberikan oleh rumus mana K adalah matriks kovarians dengan elemen K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2}...

regression optimization gaussian-process hyperparameter

13

Apakah ambang keputusan hiperparameter dalam regresi logistik?

Kelas yang diprediksi dari regresi logistik (biner) ditentukan dengan menggunakan ambang pada probabilitas keanggotaan kelas yang dihasilkan oleh model. Seperti yang saya pahami, biasanya 0,5 digunakan secara default. Tetapi memvariasikan ambang akan mengubah klasifikasi yang diprediksi. Apakah...

machine-learning logistic scikit-learn hyperparameter

13

Memilih ukuran minibatch yang sesuai untuk stochastic gradient descent (SGD)

Apakah ada literatur yang meneliti pilihan ukuran minibatch saat melakukan stochastic gradient descent? Dalam pengalaman saya, ini tampaknya menjadi pilihan empiris, biasanya ditemukan melalui validasi silang atau menggunakan berbagai aturan praktis. Apakah ide yang baik untuk secara perlahan...

machine-learning gradient-descent hyperparameter deep-learning

11

Kepadatan hyperprior untuk model Gamma-Poisson hierarkis

Dalam model hirarki data mana y ∼ Poisson ( λ ) λ ∼ Gamma ( α , β ) , dalam praktiknya biasanya memilih nilai-nilai ( α , β ) sedemikian rupa sehingga rata-rata dan varian distribusi gamma kira-kira sama dengan rerata dan ragam data y (mis., Clayton dan Kaldor, 1987 "Perkiraan Bayes Empiris dari...

poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

11

Mengapa kita tidak mempelajari parameter hiper?

Saya menerapkan makalah yang cukup populer " MENJELAJAHI DAN MEMANTAU CONTOH ADVERSARIAL " dan di dalam makalah itu, ia melatih fungsi tujuan yang berlawanan. J '' (θ) = αJ (θ) + (1 - α) J '(θ). Ini memperlakukan α sebagai hyperparameter. α dapat 0,1, 0,2, 0,3, dll. Terlepas dari makalah khusus...

machine-learning neural-networks deep-learning hyperparameter

10

Hubungan antara tingkat pembelajaran dan jumlah lapisan tersembunyi?

Apakah ada aturan praktis antara kedalaman jaringan saraf dan tingkat pembelajaran? Saya telah memperhatikan bahwa semakin dalam jaringannya, semakin rendah tingkat pembelajarannya. Jika itu benar, mengapa

neural-networks deep-learning hyperparameter rule-of-thumb

10

Nested cross-validation - apa bedanya dengan pemilihan model melalui kfold CV pada set pelatihan?

Saya sering melihat orang-orang membicarakan validasi silang 5x2 sebagai kasus khusus validasi silang bersarang . Saya berasumsi angka pertama (di sini: 5) mengacu pada jumlah lipatan di loop dalam dan nomor kedua (di sini: 2) mengacu pada jumlah lipatan di loop luar? Jadi, bagaimana hal ini...

machine-learning cross-validation hyperparameter