Algoritma optimisasi sering digunakan untuk estimasi kemungkinan maksimum dengan adanya data yang hilang.
Saya mencoba untuk mendapatkan pemahaman yang baik tentang algoritma EM, untuk dapat mengimplementasikan dan menggunakannya. Saya menghabiskan satu hari penuh membaca teori dan kertas di mana EM digunakan untuk melacak pesawat menggunakan informasi posisi yang berasal dari radar. Sejujurnya, saya...
Saya telah mempelajari algoritma untuk pengelompokan data (pembelajaran tanpa pengawasan): EM, dan k-means. Saya terus membaca yang berikut: k-means adalah varian EM, dengan asumsi bahwa kluster adalah bola. Adakah yang bisa menjelaskan kalimat di atas? Saya tidak mengerti apa arti bola, dan...
Apa perbedaan antara algoritma EM (Ekspektasi Maksimalisasi) dan Gradient Ascent (atau keturunan)? Apakah ada kondisi di mana mereka
Saya membaca di suatu tempat bahwa metode Variational Bayes adalah generalisasi dari algoritma EM. Memang, bagian berulang dari algoritma sangat mirip. Untuk menguji apakah algoritma EM adalah versi khusus dari Variational Bayes, saya mencoba yang berikut: YYY adalah data, adalah kumpulan...
Catatan: Saya memposting pertanyaan dari mantan mahasiswa saya yang tidak dapat memposting sendiri karena alasan teknis. Diberikan sampel iid x1,…,xnx1,…,xnx_1,\ldots,x_n dari distribusi Weibull dengan pdf fk(x)=kxk−1e−xkx>0fk(x)=kxk−1e−xkx>0 f_k(x) = k x^{k-1} e^{-x^k} \quad x>0 apakah...
Saya telah membaca beberapa penjelasan tentang algoritma EM (misalnya dari Pengenalan Pola Bishop dan Pembelajaran Mesin dan dari Kursus Pertama Roger dan Gerolami tentang Pembelajaran Mesin). Derivasi EM itu ok, saya mengerti. Saya juga mengerti mengapa algoritma menutupi sesuatu: pada setiap...
Dari sedikit yang saya tahu algoritma EM dapat digunakan untuk menemukan kemungkinan maksimum ketika menetapkan ke nol turunan parsial sehubungan dengan parameter kemungkinan memberikan seperangkat persamaan yang tidak dapat diselesaikan secara analitis. Tetapi apakah algoritma EM diperlukan...
Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA....
Pertanyaan ini dimigrasikan dari Mathematics Stack Exchange karena dapat dijawab di Cross Validated. Bermigrasi 6 tahun yang lalu . Dalam pendekatan algoritma EM kami menggunakan ketidaksetaraan Jensen untuk sampai
Saya ingin menerapkan algoritma EM manual dan kemudian membandingkannya dengan hasil normalmixEMdari mixtoolspaket. Tentu saja, saya akan senang jika keduanya menghasilkan hasil yang sama. Referensi utama adalah Geoffrey McLachlan (2000), Finite Mixture Models . Saya memiliki kerapatan campuran...
Pertimbangkan kemungkinan log campuran Gaussians: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)},...
Prosedur EM muncul, bagi yang belum tahu, sebagai kurang lebih ilmu hitam. Taksir parameter HMM (misalnya) menggunakan data yang dilindungi. Kemudian decode data yang tidak ditandai, menggunakan maju-mundur untuk 'menghitung' peristiwa seolah-olah data tersebut ditandai, lebih atau kurang. Mengapa...
Saya mencoba mempelajari cara menggunakan Bidang Acak Markov untuk mengelompokkan wilayah dalam gambar. Saya tidak mengerti beberapa parameter dalam MRF atau mengapa maksimisasi ekspektasi yang saya lakukan gagal konvergen ke solusi kadang-kadang. Mulai dari teorema Bayes, saya memiliki , di mana...
Ada banyak literatur yang menekankan metode Maksimalisasi Ekspektasi pada model campuran (Campuran Gaussian, Hidden Markov Model, dll.). Mengapa EM itu penting? EM hanyalah cara untuk melakukan optimasi dan tidak banyak digunakan sebagai metode berbasis gradien (layak gradien atau metode newton /...
Saya tahu k-means biasanya dioptimalkan menggunakan Expectation Maximization . Namun kami dapat mengoptimalkan fungsi kerugiannya dengan cara yang sama kami mengoptimalkan lainnya! Saya menemukan beberapa makalah yang benar-benar menggunakan keturunan gradien stokastik untuk k-means skala besar,...
Apakah ada alternatif cepat untuk algoritma EM untuk model pembelajaran dengan variabel laten (terutama pLSA)? Saya baik-baik saja dengan mengorbankan presisi demi
Katakanlah saya memiliki populasi 50 juta hal unik, dan saya mengambil 10 juta sampel (dengan penggantian) ... Grafik pertama yang saya lampirkan menunjukkan berapa kali saya mencicipi "benda" yang sama, yang relatif jarang seperti populasi lebih besar dari sampel saya. Namun jika populasi saya...
Saya mencoba memisahkan dua kelompok nilai dari satu set data. Saya dapat berasumsi bahwa salah satu populasi terdistribusi secara normal dan setidaknya setengah dari ukuran sampel. Nilai yang kedua sama-sama lebih rendah atau lebih tinggi dari nilai dari yang pertama (distribusi tidak diketahui)....
Saya memiliki beberapa pertanyaan konseptual sederhana yang ingin saya klarifikasi mengenai MLE (Estimasi Kemungkinan Maksimum), dan tautan apa yang dimilikinya, jika ada, ke EM (Ekspektasi Maksimalisasi). Seperti yang saya pahami, jika seseorang berkata "Kami menggunakan MLE", apakah itu secara...
Apa manfaat dari memberikan nilai awal tertentu untuk probabilitas transisi dalam Model Markov Tersembunyi? Akhirnya sistem akan mempelajarinya, jadi apa gunanya memberikan nilai selain yang acak? Apakah algoritma yang mendasari membuat perbedaan seperti Baum-Welch? Jika saya mengetahui...