Setelah banyak memukulkan Cross Validated, saya masih tidak merasa seperti saya lebih dekat untuk memahami perbedaan KL di luar bidang teori informasi. Agak aneh jika seseorang dengan latar belakang matematika lebih mudah memahami penjelasan teori informasi. Untuk menguraikan pemahaman saya dari...
Saya melihat bahwa kedua fungsi merupakan bagian dari metode penambangan data seperti Gradient Boosting Regressors. Saya melihat bahwa itu adalah objek yang terpisah juga. Bagaimana hubungan keduanya secara
Sebagian besar sumber daya pada aturan penilaian yang tepat menyebutkan sejumlah aturan penilaian yang berbeda seperti log-loss, Brier score atau spherical scoring. Namun, mereka sering tidak memberikan banyak panduan tentang perbedaan di antara mereka. (Bukti A: Wikipedia .) Memilih model yang...
Saya tidak yakin subjek masuk ke dalam minat CrossValidated. Anda akan memberi tahu saya. Saya harus belajar grafik (dari teori grafik ) yaitu. Saya memiliki sejumlah titik yang terhubung. Saya punya meja dengan semua titik dan titik masing-masing tergantung. (Saya juga punya meja lain dengan...
Saya mengalami masalah dalam memahami konsep variabel acak sebagai fungsi. Saya mengerti mekanika (saya pikir) tetapi saya tidak mengerti motivasi ... Katakanlah adalah probabilitas tiga kali lipat, di mana , adalah aljabar Borel- sigma pada interval itu dan P adalah ukuran Lebesgue reguler....
Saya sedang mempelajari pohon klasifikasi dan regresi, dan salah satu ukuran untuk lokasi split adalah skor GINI. Sekarang saya terbiasa menentukan lokasi split terbaik ketika log rasio kemungkinan dari data yang sama antara dua distribusi adalah nol, yang berarti kemungkinan keanggotaan...
Apa artinya mengatakan bahwa "varians adalah penduga yang bias". Apa artinya mengubah estimasi bias menjadi estimasi tidak bias melalui formula sederhana. Apa tepatnya yang dilakukan konversi ini? Juga, Apa manfaat praktis dari konversi ini? Apakah Anda mengonversi skor ini saat menggunakan...
Secara khusus, saya sedang mencari referensi (makalah, buku) yang akan menunjukkan dan menjelaskan kutukan dimensi. Pertanyaan ini muncul setelah saya mulai membaca buku putih ini oleh Lafferty dan Wasserman. Dalam paragraf ketiga mereka menyebutkan persamaan "terkenal" yang menyiratkan bahwa...
Saya tertarik untuk mempelajari lebih lanjut tentang teknik Bayesian (dan terkait) nonparametrik. Latar belakang saya dalam ilmu komputer dan meskipun saya tidak pernah mengambil kursus tentang teori ukuran atau teori probabilitas, saya memiliki sejumlah pelatihan formal terbatas dalam probabilitas...
Baru-baru ini, saya membaca dua artikel. Yang pertama adalah tentang sejarah korelasi dan yang kedua adalah tentang metode baru yang disebut Maximal Information Coefficient (MIC). Saya butuh bantuan Anda untuk memahami metode MIC untuk memperkirakan korelasi non-linear antara variabel. Selain itu,...
Saya bertanya-tanya apakah seseorang tahu atau apakah ada aplikasi dalam statistik di mana konsistensi yang kuat dari penaksir diperlukan daripada konsistensi yang lemah. Artinya, konsistensi yang kuat sangat penting untuk aplikasi dan aplikasi tidak akan bekerja dengan konsistensi yang...
(Untuk mengetahui mengapa saya menulis ini, periksa komentar di bawah jawaban saya untuk pertanyaan ini .) Tipe III kesalahan dan teori keputusan statistik Memberikan jawaban yang benar untuk pertanyaan yang salah kadang-kadang disebut kesalahan Tipe III. Teori keputusan statistik adalah...
Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya...
Dalam definisi set bersama (dalam "Elemen Teori Informasi", bab 7.6, hal. 195), kita menggunakan np(xn)=∏ n i = 1 p(xi)- 1ncatatanp ( xn)-1ncatatanhal(xn)-\frac{1}{n} \log{p(x^n)} sebagai entropi empiris dari sebuah -berikutnya dengan . Saya tidak pernah menemukan terminologi ini sebelumnya. Itu...
Jika saya memperbaiki nilai-nilai node yang diamati dari MRF, apakah itu menjadi
Sebagian besar pertanyaan teoretis. Adakah contoh distribusi tidak normal yang memiliki empat momen pertama sama dengan yang normal? Mungkinkah mereka ada dalam
Mengapa divergensi KL non-negatif? Dari perspektif teori informasi, saya memiliki pemahaman yang intuitif: Katakanlah ada dua ansambel AAA dan BBB yang terdiri dari himpunan elemen yang sama dengan label xxx . p(x)p(x)p(x) dan q(x)q(x)q(x) adalah distribusi probabilitas yang berbeda atas...
Mari kita perhatikan dua distribusi probabilitas berikut P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Saya telah menghitung divergensi Kullback-Leibler yang sama dengan , saya ingin tahu secara umum apa yang ditunjukkan angka ini kepada...
Misalkan saya memiliki dua set dan dan distribusi probabilitas gabungan atas set ini . Misalkan dan menunjukkan distribusi marginal lebih dari dan masing-masing.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Informasi timbal balik antara dan didefinisikan
Saya sudah membaca utas ini , dan bagi saya sepertinya bisa dikatakan bahwa: statistik = induksi? probabilitas = deduksi? Tetapi saya bertanya-tanya apakah mungkin ada beberapa rincian lebih lanjut tentang perbandingan yang saya lewatkan. Misalnya, apakah statistik sama dengan induksi, atau itu...