Jadi pertanyaan ini agak berantakan, tetapi saya akan menyertakan grafik warna-warni untuk menebusnya! Pertama Latar Belakang kemudian Pertanyaan.
Latar Belakang
Katakanlah Anda memiliki distribusi multinomial -dimensi dengan probailit yang sama dengan kategori . Biarkan menjadi hitungan yang dinormalisasi ( ) dari distribusi itu, yaitu:
Sekarang distribusi over memiliki dukungan atas -simpleks tetapi dengan langkah-langkah yang terpisah. Misalnya, dengan distribusi ini memiliki dukungan berikut (titik merah):
Distribusi lain dengan dukungan serupa adalah distribusi -dimensi , yaitu distribusi yang seragam pada unit simplex. Misalnya, berikut ini undian acak dari 3-dimesional :Dirichlet ( 1 , … , 1 ) Dirichlet ( 1 , 1 , 1 )
Sekarang saya punya ide bahwa distribusi dari distribusi dapat dikarakteristikkan sebagai gambar dari yang didiskritkan ke dukungan diskrit dari . Diskritisasi yang ada dalam pikiran saya (dan yang tampaknya bekerja dengan baik) adalah mengambil setiap titik dalam simpleks dan "membulatkannya" ke titik terdekat yang ada dalam dukungan . Untuk simpleks 3 dimensi Anda mendapatkan partisi berikut ini di mana titik di setiap area berwarna harus "membulatkan" ke titik merah terdekat:
Karena distribusi Dirichlet seragam, kerapatan / probabilitas yang dihasilkan untuk masing-masing titik sebanding dengan luas / volume yang "dibulatkan" ke setiap titik. Untuk kasus dua dimensi dan tiga dimensi probabilitas ini adalah:
( probabilitas ini berasal dari simulasi Monte Carlo )
Jadi sepertinya, setidaknya untuk dimensi 2 dan 3, distribusi probabilitas yang dihasilkan dari diskritisasi dengan cara khusus ini sama dengan distribusi probabilitas untuk . Itu adalah hasil normalisasi dari distribusi . Saya juga sudah mencoba dengan 4-dimensi dan sepertinya berfungsi di sana.π Multinomial ( 1 / n , … , 1 / n )
Pertanyaan
Jadi pertanyaan utama saya adalah:
Ketika mendiskreditkan Dirichlet yang seragam dengan cara khusus ini, apakah hubungannya dengan berlaku untuk dimensi selanjutnya? Apakah hubungannya sama sekali? (Saya hanya mencoba ini menggunakan simulasi Monte Carlo ...)
Lebih lanjut saya bertanya-tanya:
- Jika hubungan ini berlaku, apakah ini merupakan hasil yang diketahui? Dan adakah sumber yang bisa saya kutip untuk ini?
- Jika diskritisasi seragam Dirichlet ini tidak memiliki hubungan dengan Multinomial. Apakah ada konstruksi serupa yang dimiliki?
Beberapa konteks
Alasan saya untuk mengajukan pertanyaan ini adalah karena saya melihat kesamaan antara Bootstrap non-parametrik dan Bootstrap Bayesian, dan kemudian ini muncul. Saya juga memperhatikan bahwa pola pada area berwarna pada simpleks 3-dimesi di atas terlihat seperti (dan seharusnya) diagram Voronoi. Salah satu cara (saya harap) Anda dapat memikirkan ini adalah sebagai urutan Pascal's Triangle / Simpex ( http://www.math.rutgers.edu/~erowland/pascalssimplices.html ). Di mana ukuran area berwarna mengikuti baris kedua Pascal's triangle dalam case 2-d, baris ketiga tetrahedron Pascal dalam case 3-d, dan seterusnya. Ini akan menjelaskan hubungan dengan distribusi multinomial, tapi di sini saya benar-benar di perairan dalam ...
sumber
Jawaban:
Kedua distribusi tersebut berbeda untuk setiap .n≥4
Notasi
Saya akan mengubah skala simpleks Anda dengan faktor , sehingga titik-titik kisi memiliki koordinat bilangan bulat. Ini tidak mengubah apa pun, saya hanya berpikir itu membuat notasi sedikit kurang rumit.n
Misalkan adalah ( n - 1 ) -simplex, diberikan sebagai cembung titik ( n , 0 , … , 0 ) , ..., ( 0 , … , 0 , n ) dalam R n . Dengan kata lain, ini adalah titik-titik di mana semua koordinat non-negatif, dan di mana koordinat dijumlahkan menjadi n .S (n−1) (n,0,…,0) (0,…,0,n) Rn n
Misalkan menunjukkan himpunan titik kisi , yaitu titik-titik di S di mana semua koordinat integral.Λ S
Jika adalah titik kisi, kita membiarkan V P menunjukkan sel Voronoi -nya , didefinisikan sebagai titik-titik di S yang lebih dekat ke P daripada titik lain di Λ .P VP S P Λ
Kami menempatkan dua distribusi probabilitas yang dapat kami gunakan . Salah satunya adalah distribusi multinomial, di mana titik ( a 1 , . . . , A n ) memiliki probabilitas 2 - n n ! / ( a 1 ! ⋯ a n ! ) . Yang lain kita akan memanggil model yang Dirichlet , dan memberikan kepada setiap P ∈ Λ probabilitas sebanding dengan volume V P .Λ (a1,...,an) 2−nn!/(a1!⋯an!) P∈Λ VP
Pembenaran yang sangat informal
Saya mengklaim bahwa model multinomial dan model Dirichlet memberikan distribusi yang berbeda pada , setiap kali n ≥ 4 .Λ n≥4
Untuk melihat ini, perhatikan case , dan titik A = ( 2 , 2 , 0 , 0 ) dan B = ( 3 , 1 , 0 , 0 ) . Saya mengklaim bahwa V A dan V B adalah kongruen melalui terjemahan oleh vektor ( 1 , - 1 , 0 , 0 ) . Ini berarti bahwa V A dan V Bn=4 A=(2,2,0,0) B=(3,1,0,0) VA VB (1,−1,0,0) VA VB memiliki volume yang sama, dan dengan demikian dan B memiliki probabilitas yang sama dalam model Dirichlet. Di sisi lain, dalam model multinomial, mereka memiliki probabilitas yang berbeda ( 2 - 4 ⋅ 4 ! / ( 2 ! 2 ! ) Dan 2 - 4 ⋅ 4 ! / 3 ! ), Dan selanjutnya distribusi tidak dapat sama.A B 2−4⋅4!/(2!2!) 2−4⋅4!/3!
Fakta bahwa dan V B adalah kongruen mengikuti klaim yang masuk akal tetapi tidak jelas (dan agak kabur):VA VB
Klaim yang masuk akal : Bentuk dan ukuran dari hanya dipengaruhi oleh "tetangga dekat" dari P , (yaitu titik-titik di Λ yang berbeda dari P oleh vektor yang terlihat seperti ( 1 , - 1 , 0 , ... , 0 ) , di mana 1 dan - 1 mungkin ada di tempat lain)VP P Λ P (1,−1,0,…,0) 1 −1
Sangat mudah untuk melihat bahwa konfigurasi "tetangga dekat" dari dan B adalah sama, dan kemudian mengikuti bahwa V A dan V B adalah kongruen.A B VA VB
Dalam kasus , kita dapat memainkan game yang sama, dengan A = ( 2 , 2 , n - 4 , 0 , … , 0 ) dan B = ( 3 , 1 , n - 4 , 0 , … , 0 ) , sebagai contoh.n≥5 A=(2,2,n−4,0,…,0) B=(3,1,n−4,0,…,0)
Saya tidak berpikir klaim ini sepenuhnya jelas, dan saya tidak akan membuktikannya, alih-alih strategi yang sedikit berbeda. Namun, saya pikir ini adalah jawaban yang lebih intuitif mengapa distribusi berbeda untuk .n≥4
Bukti yang kuat
Ambil dan B seperti dalam justifikasi informal di atas. Kita hanya perlu membuktikan bahwa V A dan V B adalah kongruen.A B VA VB
Diberi , kita akan mendefinisikan W P sebagai berikut: W P adalah himpunan titik-titik ( x 1 , ... , x n ) ∈ S , yang max 1 ≤ i ≤ n ( a i - p i ) - min 1 ≤ i ≤ n ( a iP=(p1,…,pn)∈Λ WP WP (x1,…,xn)∈S . (Dalam cara yang lebih mudah dicerna: Let v i = a i - p i . W P adalah himpunan titik-titik yang perbedaan antara tertinggi dan terendah v i kurang dari 1.)max1≤i≤n(ai−pi)−min1≤i≤n(ai−pi)<1 vi=ai−pi WP vi
Kami akan menunjukkan bahwa .VP=WP
Langkah 1
Klaim: .VP⊆WP
Ini cukup mudah: MisalkanX=(x1,…,xn) tidak dalam . Biarkan v i = x i - p i , dan anggap (tanpa kehilangan sifat umum) bahwa v 1 = maks 1 ≤ i ≤ n v i , v 2 = min 1 ≤ i ≤ n v i . v 1 - v 2WP vi=xi−pi v1=max1≤i≤nvi v2=min1≤i≤nvi Karena ∑ n i = 1 v i = 0 , kita juga tahu bahwa v 1 > 0 > v 2 .v1−v2≥1 ∑ni=1vi=0 v1>0>v2
Biarkan sekarang . Karena P dan X keduanya memiliki koordinat non-negatif, begitu juga Q , dan itu mengikuti Q ∈ S , dan begitu juga Q ∈ Λ . Di sisi lain, d i s t 2 ( X , P ) - d i s t 2Q=(p1+1,p2−1,p3,…,pn) P X Q Q∈S Q∈Λ . Dengan demikian, X setidaknya sebagai dekat dengan Q untuk P , sehingga X ∉ V P . Ini menunjukkan (dengan mengambil pelengkap) itudist2(X,P)−dist2(X,Q)=v21+v22−(1−v1)2−(1+v2)2=−2+2(v1−v2)≥0 X Q P X∉VP .Vp⊆WP
Langkah 2
Klaim : The yang berpasangan menguraikan.WP
Misalkan sebaliknya. Mari dan Q = ( q 1 , ... , q n ) menjadi titik berbeda dalam Λ , dan membiarkan X ∈ W P ∩ W Q . Karena P dan Q berbeda dan keduanya dalam Λ , harus ada satu indeks i di mana p i ≥ q i + 1 , dan satu di manaP=(p1,…,pn) Q=(q1,…,qn) Λ X∈WP∩WQ P Q Λ i pi≥qi+1 . Tanpa kehilangan sifat umum, kita mengasumsikan bahwa p 1 ≥ q 1 + 1 , dan p 2 ≤ q 2 - 1 . Mengatur ulang dan menambahkan bersama, kita mendapatkan q 1 - p 1 + p 2 - q 2 ≥ 2 .pi≤qi−1 p1≥q1+1 p2≤q2−1 q1−p1+p2−q2≥2
Pertimbangkan sekarang angka dan x 2 . Dari fakta bahwa X ∈ W P , kita memiliki x 1 - p 1 - ( x 2 - p 2 ) < 1 . Demikian pula, X ∈ W Q menyiratkan bahwa x 2 - q 2 - ( x 1 - q 1 ) < 1 . Menambahkan ini bersama-sama, kita mendapatkan q 1 - px1 x2 X∈WP x1−p1−(x2−p2)<1 X∈WQ x2−q2−(x1−q1)<1 , dan kami memiliki kontradiksi.q1−p1+p2−q2<2
Langkah 3
Kami telah menunjukkan bahwa , dan bahwa W P yang menguraikan. The V P penutup S hingga satu set ukuran nol, dan itu berikut bahwa W P = V P (sampai satu set ukuran nol). [Karena W P dan V P keduanya terbuka, kita benar-benar memiliki W P = V P persis, tapi ini tidak penting.]VP⊆WP WP VP S WP=VP WP VP WP=VP
Sekarang, kita hampir selesai. Pertimbangkan titik dan B = ( 3 , 1 , n - 4 , 0 , … , 0 ) . Sangat mudah untuk melihat bahwa W A dan W B adalah kongruen dan terjemahan satu sama lain: satu-satunya cara mereka bisa berbeda, adalah jika batas S (selain wajah-wajah di mana AA=(2,2,n−4,0,…,0) B=(3,1,n−4,0,…,0) WA WB S A dan keduanya berbohong) akan `` memotong '' baik W A atau W B tetapi tidak yang lain. Tapi untuk mencapai seperti bagian dari batas S , kita akan perlu mengubah satu koordinat dari A atau B dengan setidaknya 1, yang akan cukup untuk jaminan untuk membawa kita keluar dari W A dan W B pula. Jadi, meskipun S memang terlihat berbeda dari titik pandang A dan B , perbedaannya terlalu jauh untuk diambil oleh definisi W A dan W B , dan dengan demikian WB WA WB S A B WA WB S A B WA WB dan W B adalah kongruen.WA WB
Maka mengikuti bahwa dan V B memiliki volume yang sama, dan dengan demikian model Dirichlet memberi mereka probabilitas yang sama, meskipun mereka memiliki probabilitas yang berbeda dalam model multinomial.VA VB
sumber