Mengacu pada teknik estimasi umum yang memilih nilai parameter untuk meminimalkan perbedaan kuadrat antara dua kuantitas, seperti nilai yang diamati dari suatu variabel, dan nilai yang diharapkan dari pengamatan yang dikondisikan pada nilai parameter. Model linear Gaussian cocok dengan kuadrat terkecil dan kuadrat terkecil adalah ide yang mendasari penggunaan mean-squared-error (MSE) sebagai cara mengevaluasi estimator.
Dalam keadaan apa seseorang harus mempertimbangkan menggunakan metode regularisasi (ridge, laso atau paling tidak sudut regresi) daripada OLS? Dalam hal ini membantu mengarahkan diskusi, minat utama saya adalah meningkatkan akurasi
Untuk studi simulasi saya harus membuat variabel acak yang menunjukkan korelasi (populasi) prefined ke variabel .YYY Saya melihat ke dalam Rpaket copuladan CDVineyang dapat menghasilkan distribusi multivarian acak dengan struktur ketergantungan yang diberikan. Namun, tidak mungkin untuk...
Saya mengerti bahwa estimasi regresi ridge adalah yang meminimalkan jumlah sisa kuadrat dan penalti pada ukuranββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS}...
Mengapa menggunakan Root Mean Squared Error (RMSE) alih-alih Mean Absolute Error (MAE) ?? Hai Saya telah menyelidiki kesalahan yang dihasilkan dalam perhitungan - Saya awalnya menghitung kesalahan sebagai Root Mean Normalized Squared Error. Melihat sedikit lebih dekat, saya melihat efek kuadrat...
Tampaknya sumber yang memiliki reputasi baik menyatakan bahwa variabel dependen harus didistribusikan secara normal: Asumsi model: terdistribusi secara normal, kesalahan terdistribusi normal, , dan independen, dan diperbaiki, dan varians konstan .e i ∼ N ( 0 , σ 2 ) X σ
Ada beberapa utas di situs ini yang membahas cara menentukan apakah residu OLS terdistribusi secara normal tanpa gejala . Cara lain untuk mengevaluasi normalitas residual dengan kode R disediakan dalam jawaban yang sangat baik ini . Ini adalah diskusi lain tentang perbedaan praktis antara residu...
Saya biasanya mendengar tentang "kotak paling tidak biasa". Apakah itu algoritma yang paling banyak digunakan digunakan untuk regresi linier? Apakah ada alasan untuk menggunakan yang
Apa perbedaan utama antara estimasi kemungkinan maksimum (MLE) vs estimasi kuadrat terkecil (LSE)? Mengapa kita tidak bisa menggunakan MLE untuk memprediksi nilai dalam regresi linier dan sebaliknya?yyy Setiap bantuan tentang topik ini akan sangat
Saya mengalami beberapa masalah dengan derivasi solusi untuk regresi ridge. Saya tahu solusi regresi tanpa ketentuan regularisasi: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Tetapi setelah menambahkan istilah L2 ke fungsi biaya, mengapa solusinya
Mengapa fungsi sigmoid standar de-facto, , begitu populer di jaringan saraf dan regresi logistik (tidak dalam)?11 + e- x11+e-x\frac{1}{1+e^{-x}} Mengapa kita tidak menggunakan banyak fungsi turunan lainnya, dengan waktu perhitungan yang lebih cepat atau peluruhan yang lebih lambat (sehingga...
Ketika kami melakukan regresi linier agar sesuai dengan banyak titik data , pendekatan klasik meminimalkan kesalahan kuadrat. Saya sudah lama bingung dengan pertanyaan yang akan meminimalkan kesalahan kuadrat menghasilkan hasil yang sama dengan meminimalkan kesalahan absolut ? Jika tidak, mengapa...
Saya mencoba menjalankan regresi OLS: DV: Perubahan berat badan lebih dari setahun (berat awal - berat akhir) IV: Apakah Anda berolahraga atau tidak. Namun, tampaknya masuk akal bahwa orang yang lebih berat akan menurunkan lebih banyak berat badan per unit olahraga daripada orang yang lebih...
Adakah yang bisa merekomendasikan penjelasan yang baik tentang teori di balik regresi kuadrat terkecil parsial (tersedia online) untuk seseorang yang memahami SVD dan PCA? Saya telah melihat banyak sumber online dan belum menemukan apa pun yang memiliki kombinasi yang tepat antara ketelitian dan...
Saya selalu menggunakan lm()dalam R untuk melakukan regresi linier pada . Fungsi itu mengembalikan koefisien sehinggayyyxxxββ\betay=βx.y=βx.y = \beta x. Hari ini saya belajar tentang kuadrat terkecil total dan princomp()fungsi itu (analisis komponen utama, PCA) dapat digunakan untuk melakukannya....
Latar Belakang Misalkan kita memiliki model Ordinary Least Squares di mana kita memiliki koefisien dalam model regresi kita, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} di mana adalah vektor dari koefisien, adalah matriks desain yang didefinisikan
Saya baru saja menemukan makalah ini , yang menjelaskan bagaimana menghitung pengulangan (alias reliabilitas, alias korelasi intraclass) dari pengukuran melalui pemodelan efek campuran. Kode R adalah: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc =...
Saya ingin memahami mengapa, di bawah model OLS, RSS (jumlah sisa kuadrat) didistribusikan ( menjadi jumlah parameter dalam model, jumlah pengamatan).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Saya minta maaf karena mengajukan pertanyaan mendasar seperti itu, tetapi sepertinya saya tidak dapat...
Saya baru belajar Mesin, dan saya sedang mencoba mempelajarinya sendiri. Baru-baru ini saya membaca beberapa catatan kuliah dan memiliki pertanyaan mendasar. Slide 13 mengatakan bahwa "Estimasi Least Square sama dengan Estimasi Kemungkinan Maksimum dalam model Gaussian". Sepertinya itu adalah...
Bagaimana PCA, LDA, CCA, dan PLS terkait? Mereka semua tampak "spektral" dan aljabar linier dan sangat dipahami (katakanlah 50+ tahun teori dibangun di sekitar mereka). Mereka digunakan untuk hal-hal yang sangat berbeda (PCA untuk pengurangan dimensi, LDA untuk klasifikasi, PLS untuk regresi)...
Jika perkiraan linier terbaik (menggunakan kuadrat terkecil) dari titik data saya adalah garis , bagaimana saya bisa menghitung kesalahan aproksimasi? Jika saya menghitung standar deviasi perbedaan antara pengamatan dan prediksi e i = r e a l ( x i ) - ( m x i + b ) , dapatkah saya nanti mengatakan...