Saya mencari distribusi terbatas dari distribusi multinomial daripada hasil. Yaitu, distribusi berikut
Di mana adalah variabel acak nilai vektor dengan kepadatan untuk sedemikian rupa sehingga , dan 0 untuk semua , di mana
Saya menemukan satu bentuk dalam teorema "Semua Statistik" Larry Wasserman 14.6, halaman 237 tetapi untuk membatasi distribusi itu memberikan Normal dengan matriks kovarians tunggal, jadi saya tidak yakin bagaimana menormalkan itu. Anda dapat memproyeksikan vektor acak ke dalam ruang dimensi (d-1) untuk membuat matriks kovarians peringkat penuh, tetapi proyeksi apa yang digunakan?
Perbarui 11/5
Ray Koopman memiliki ringkasan yang bagus tentang masalah Gaussian singular. Pada dasarnya, matriks kovarian singular mewakili korelasi sempurna antara variabel, yang tidak mungkin untuk diwakili dengan Gaussian. Namun, orang bisa mendapatkan distribusi Gaussian untuk kepadatan bersyarat, dikondisikan pada kenyataan bahwa nilai vektor acak adalah valid (komponen bertambah hingga dalam kasus di atas).
Perbedaan untuk Gaussian bersyarat, adalah bahwa invers diganti dengan pseudo-inverse, dan faktor normalisasi menggunakan "produk dari nilai eigen nol" daripada "produk dari semua nilai eigen". Ian Frisce memberikan tautan dengan beberapa detail.
Ada juga cara untuk mengekspresikan faktor normalisasi Gaussian bersyarat tanpa merujuk pada nilai eigen, inilah derivasi
sumber
Jawaban:
Kovarians masih pasti non-negatif (demikian juga distribusi normal multivariat yang valid ), tetapi tidak pasti positif: apa artinya ini adalah (setidaknya) satu elemen dari vektor acak adalah kombinasi linear dari yang lain.
Akibatnya, setiap pengundian dari distribusi ini akan selalu terletak pada subruang dari . Sebagai konsekuensinya, ini berarti tidak mungkin untuk menentukan fungsi kerapatan (karena distribusi terkonsentrasi pada subruang: pikirkan cara normal univariat akan berkonsentrasi pada rata-rata jika variansnya nol).Rd
Namun, seperti yang disarankan oleh Robby McKilliam, dalam hal ini Anda dapat menjatuhkan elemen terakhir dari vektor acak. Matriks kovarians dari vektor tereduksi ini akan menjadi matriks asli, dengan kolom dan baris terakhir dijatuhkan, yang sekarang akan menjadi pasti positif, dan akan memiliki kepadatan (trik ini akan berfungsi dalam kasus lain, tetapi Anda harus berhati-hati elemen mana Anda menjatuhkan, dan Anda mungkin perlu menjatuhkan lebih dari satu).
sumber
Tidak ada masalah inheren dengan kovarian singular di sini. Distribusi asimptotik Anda adalah normal tunggal. Lihat http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html yang memberikan kerapatan normal tunggal.
sumber
Bagi saya sepertinya matriks kovariansi Wasserman adalah singular, untuk melihat, mengalikannya dengan vektor , yaitu [ 1 , 1 , 1 , … , 1 ] ′ dengan panjang d .d [ 1 , 1 , 1 , … , 1 ]′ d
Wikipedia tetap memberikan matriks kovarian yang sama. Jika kita membatasi diri kita hanya pada distribusi binomial maka teorema limit pusat standar memberitahu kita bahwa distribusi binomial (setelah penskalaan yang sesuai) konvergen ke normal seperti menjadi besar (lihatwikipedia lagi). Menerapkan ide-ide serupa Anda harus dapat menunjukkan bahwa mulinomial yang diskalakan dengan tepat akan menyatu dalam distribusi ke normal multivariat, yaitu setiap distribusi marjinal hanyalah binomial dan menyatu dengan distribusi normal, dan varians di antara keduanya diketahui.n
Jadi, saya sangat yakin Anda akan menemukan bahwa distribusi konvergen ke multivariat normal dengan nol rata-rata dan kovarian C
sumber
sumber