Pertanyaan yang diberi tag optimization

9

Hitung kurva ROC untuk data

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6...

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

9

Referensi tentang optimasi numerik untuk ahli statistik

Saya sedang mencari referensi yang solid (atau referensi) pada teknik optimasi numerik yang ditujukan untuk ahli statistik, yaitu, itu akan menerapkan metode ini untuk beberapa masalah inferensial standar (misalnya MAP / MLE dalam model umum). Hal-hal seperti gradient descent (lurus dan stokastik),...

estimation references optimization

9

Keuntungan mendekati masalah dengan merumuskan fungsi biaya yang dapat dioptimalkan secara global

Ini adalah pertanyaan yang agak umum (yaitu tidak harus spesifik untuk statistik), tetapi saya telah memperhatikan tren dalam pembelajaran mesin dan literatur statistik di mana penulis lebih suka mengikuti pendekatan berikut: Pendekatan 1 : Dapatkan solusi untuk masalah praktis dengan merumuskan...

optimization function

9

Optimalisasi penurunan gradien

Saya mencoba memahami optimasi gradient descent dalam algoritma ML (pembelajaran mesin). Saya mengerti bahwa ada fungsi biaya — di mana tujuannya adalah untuk meminimalkan kesalahan . Dalam skenario di mana bobot sedang dioptimalkan untuk memberikan kesalahan minimum, dan turunan parsial digunakan,...

optimization gradient-descent

9

Bagaimana saya bisa memperkirakan interval kepercayaan 95% menggunakan profil untuk parameter yang diestimasi dengan memaksimalkan fungsi log-likelihood menggunakan optim di R?

Bagaimana saya bisa memperkirakan interval kepercayaan 95% menggunakan profil untuk parameter yang diestimasi dengan memaksimalkan fungsi log-likelihood menggunakan optim di R? Saya tahu saya dapat secara asimtotik memperkirakan matriks kovarians dengan membalik goni , tetapi saya khawatir bahwa...

r confidence-interval maximum-likelihood optimization profile-likelihood

9

Apa perbedaan antara Memaksimalkan Kemungkinan Bersyarat (Log) atau Kemungkinan Gabungan (Log) saat memperkirakan parameter model?

Pertimbangkan respon y dan data matriks X . Misalkan saya membuat model formulir - y ~ g (X, )θθ\theta (g () bisa berupa fungsi X dan )θθ\theta Sekarang, untuk memperkirakan menggunakan metode Maximum Likelihood (ML), saya bisa melanjutkan dengan Conditional ML (dengan asumsi saya tahu bentuk...

estimation maximum-likelihood optimization

9

Jaringan saraf saya bahkan tidak bisa belajar jarak Euclidean

Jadi saya mencoba untuk belajar sendiri jaringan saraf (untuk aplikasi regresi, bukan mengklasifikasikan gambar kucing). Eksperimen pertama saya adalah melatih jaringan untuk mengimplementasikan filter FIR dan Discrete Fourier Transform (pelatihan pada sinyal "sebelum" dan "setelah"), karena...

machine-learning neural-networks optimization keras euclidean

9

Estimasi parameter dengan model linier umum

Secara default ketika kami menggunakan glmfungsi dalam R, ia menggunakan metode iteratively reweighted least square (IWLS) untuk menemukan estimasi kemungkinan maksimum parameter. Sekarang saya punya dua pertanyaan. Apakah estimasi IWLS menjamin maksimum global dari fungsi kemungkinan?...

r estimation generalized-linear-model maximum-likelihood optimization

9

Apa perbedaan antara berbagai pemecah pemrograman kuadratik R?

Saya mencari paket untuk membantu saya memecahkan beberapa masalah optimasi kuadratik dan saya melihat setidaknya ada setengah lusin paket yang berbeda. Menurut halaman ini : QP (Quadratic programming, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Beberapa di...

r optimization

9

Mengapa jumlah residu kuadrat tidak meningkat ketika menambahkan variabel penjelas?

Dalam buku teks ekonometrik saya (Introductory Econometrics) yang mencakup OLS, penulis menulis, "SSR harus jatuh ketika variabel penjelas lainnya ditambahkan." Kenapa

regression optimization econometrics intuition sums-of-squares

9

Mengapa gradien keturunan proksimal bukan metode subgradien biasa untuk Lasso?

Saya berpikir untuk menyelesaikan Lasso melalui metode subgradien vanilla. Tapi saya sudah membaca orang menyarankan untuk menggunakan gradien keturunan Proksimal. Adakah yang bisa menyoroti mengapa proksimal GD daripada metode subgradien vanilla digunakan untuk

machine-learning optimization lasso gradient-descent

9

Cara menyebarkan undian secara optimal saat menghitung beberapa harapan

Misalkan kita ingin menghitung beberapa harapan: EYEX| Y[ f( X, Y) ]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Misalkan kita ingin memperkirakan ini menggunakan simulasi Monte Carlo. EYEX| Y[ f( X, Y) ] ≈ 1R S∑r = 1R∑s = 1Sf( xr , s, yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx...

optimization conditional-probability simulation expected-value monte-carlo

9

Pelatihan jaringan saraf untuk regresi selalu memprediksi rata-rata

Saya melatih jaringan saraf convolutional sederhana untuk regresi, di mana tugasnya adalah untuk memprediksi lokasi (x, y) kotak dalam gambar, misalnya: Output dari jaringan memiliki dua node, satu untuk x, dan satu untuk y. Sisa dari jaringan adalah jaringan saraf convolutional standar....

machine-learning neural-networks optimization deep-learning loss-functions

9

Apa sajakah kelemahan dari optimasi parameter hyper bayesian?

Saya cukup baru dalam pembelajaran mesin dan statistik, tetapi saya bertanya-tanya mengapa optimasi bayesian tidak disebut lebih sering online ketika belajar mesin belajar untuk mengoptimalkan algoritma hyperparameters Anda? Misalnya menggunakan kerangka kerja seperti ini:

machine-learning optimization hyperparameter bayesian-optimization

9

Mengapa langkah saya semakin kecil saat menggunakan ukuran langkah tetap dalam gradient descent?

Misalkan kita sedang melakukan contoh mainan pada gradient layak, meminimalkan fungsi kuadrat , menggunakan ukuran langkah tetap . ( )α = 0,03 A = [ 10 , 2 ; 2 , 3 ]xTA xxTSEBUAHxx^TAxα = 0,03α=0,03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]SEBUAH=[10,2;2,3]A=[10, 2; 2, 3] Jika kita memplot jejak di setiap...

r machine-learning optimization gradient-descent

8

Menyesuaikan model campuran khusus dalam R - alternatif untuk mengoptimalkan ()

Saya ingin melakukan sesuatu dalam R yang dapat dilakukan SAS menggunakan campuran proc SAS (ada beberapa cara yang dapat dilakukan dalam STATA es dengan baik), yaitu menyesuaikan model Bivariat yang disebut dari Reitsma et al (2005). Model ini adalah model campuran khusus di mana varians...

r optimization

8

Menemukan derajat polinomial dalam analisis regresi

Saya sedang mengerjakan proyek pembelajaran mesin di mana saya mencoba menyesuaikan kurva pada data. Sayangnya tanggal memiliki vektor fitur yang agak tinggi. Jadi, saya tidak bisa benar-benar memplotnya pada ruang 2D atau 3D untuk menebak bagaimana bentuk data itu. Jadi, selain hit dan trial,...

machine-learning mathematical-statistics optimization

8

Ketika mengoptimalkan model regresi logistik, kadang-kadang lebih banyak data membuat segalanya berjalan * lebih cepat *. Ada yang tahu kenapa?

Saya telah bermain-main dengan regresi logistik dengan berbagai algoritma optimasi batch (gradien konjugat, newton-raphson, dan berbagai metode quasinewton). Satu hal yang saya perhatikan adalah bahwa kadang-kadang, menambahkan lebih banyak data ke model sebenarnya dapat membuat pelatihan model...

logistic references optimization

8

Parameter Autoencoder [Hyper] Jarang

Saya baru saja mulai menggunakan paket autoencoder di R. Input ke autoencode()fungsi termasuk lambda, beta, rho dan epsilon. Apa batasan untuk nilai-nilai ini? Apakah mereka berbeda untuk setiap fungsi aktivasi? Apakah parameter ini disebut "hyperparameters"? Dengan asumsi autoencoder yang...

neural-networks optimization deep-learning deep-belief-networks autoencoders

8

Lebar bin optimal untuk histogram dua dimensi

Ada banyak aturan untuk memilih lebar nampan optimal dalam histogram 1D (lihat misalnya ) Saya mencari aturan yang menerapkan pemilihan lebar bin sama optimal pada histogram dua dimensi . Apakah ada aturan seperti itu? Mungkin salah satu aturan terkenal untuk histogram 1D dapat dengan mudah...

optimization histogram