Ekspektasi Maksimum dari Variabel Gumbel id

Saya menghargai karya yang diperlihatkan dalam jawaban Anda: terima kasih atas kontribusi itu. Tujuan dari posting ini adalah untuk memberikan demonstrasi yang lebih sederhana. Nilai kesederhanaan adalah pengungkapan: kita dapat dengan mudah mendapatkan seluruh distribusi maksimum, bukan hanya harapannya.

Abaikan dengan menyerapnya ke dan mengasumsikan semuanya memiliki distribusi Gumbel . (Yaitu, ganti setiap dengan dan ubah menjadi .) Ini tidak mengubah variabel acak $\mu$ $\delta_i$ $\epsilon_i$ $(0,1)$ $\epsilon_i$ $\epsilon_i-\mu$ $\delta_i$ $\delta_i+\mu$

X = max_{i} (δ_{i} + ϵ_{i}) = max_{i} ((δ_{i} + μ) + (ϵ_{i} - μ)) .

$X = \max_{i}(\delta_i + \epsilon_i) = \max_i((\delta_i+\mu) + (\epsilon_i-\mu)).$

Independensi dari menyiratkan untuk semua nyata yang adalah produk dari peluang individu . Mengambil log dan menerapkan sifat dasar dari hasil eksponensial $\epsilon_i$ $x$ $\Pr(X\le x)$ $\Pr(\delta_i+\epsilon_i\le x)$

\begin{aligned} \log Pr (X \leq x) & = \log \prod_{i} Pr (δ_{i} + ϵ_{i} \leq x) = \sum_{i} \log Pr (ϵ_{i} \leq x - δ_{i}) \\ = - \sum_{i} e^{δ_{i}} e^{- x} = - \exp (- x + \log \sum_{i} e^{δ_{i}}) . \end{aligned}

$\eqalign{ \log \Pr(X\le x) &= \log\prod_{i}\Pr(\delta_i + \epsilon_i \le x) = \sum_i \log\Pr(\epsilon_i \le x - \delta_i)\\ &= -\sum_ie^{\delta_i}\, e^{-x} = -\exp\left(-x + \log\sum_i e^{\delta_i}\right). }$

Ini adalah logaritma CDF dari distribusi Gumbel dengan parameter lokasi Itu adalah, $\lambda=\log\sum_i e^{\delta_i}.$

$X$ memiliki distribusi Gumbel . $\left(\log\sum_i e^{\delta_i}, 1\right)$

Ini jauh lebih banyak informasi daripada yang diminta. The rata distribusi seperti ini yang melibatkan $\gamma+\lambda,$

E [X] = γ + \log \sum_{i} e^{δ_{i}},

$\mathbb{E}[X] = \gamma + \log\sum_i e^{\delta_i},$

QED.

whuber
sumber

Ternyata sebuah Econometrica artikel oleh Kenneth Kecil dan Harvey Rosen menunjukkan ini pada tahun 1981, tetapi dalam konteks yang sangat khusus sehingga hasilnya membutuhkan banyak menggali, belum lagi beberapa pelatihan di bidang ekonomi. Saya memutuskan untuk membuktikannya dengan cara yang menurut saya lebih mudah diakses.

Bukti : Biarkan menjadi jumlah alternatif. Bergantung pada nilai vektor , fungsi mengambil nilai yang berbeda. Pertama, fokus pada nilai sedemikian rupa sehingga . Yaitu, kami akan mengintegrasikan ke set : $J$ $\boldsymbol{\epsilon} = \{\epsilon_1, ..., \epsilon_J\}$ $\max_i(\delta_i + \epsilon_i)$ $\boldsymbol{\epsilon}$ $\max_i (\delta_i + \epsilon_i) = \delta_1 + \epsilon_1$ $\delta_1 + \epsilon_1$ $M_1 \equiv \{\boldsymbol\epsilon : \delta_1 + \epsilon_1 > \delta_j + \epsilon_j, j \neq 1\}$

\begin{aligned} E_{ϵ \in M_{1}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) [\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{2}} . . . \int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{J}} f (ϵ_{2}) . . . f (ϵ_{J}) d ϵ_{2} . . . d ϵ_{J}] d ϵ_{1} = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) (\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{2}} f (ϵ_{2}) d ϵ_{2}) . . . (\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{J}} f (ϵ_{J}) d ϵ_{J}) d ϵ_{1} = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) F (δ_{1} + ϵ_{1} - δ_{2}) . . . F (δ_{1} + ϵ_{1} - δ_{J}) d ϵ_{1} \end{aligned}

$\begin{equation} \begin{split} E_{\boldsymbol \epsilon \in M_1} [\max_i(\delta_i + \epsilon_i)] = \hspace{3.25in}\\ \int^{\infty}_{-\infty} (\delta_1 + \epsilon_1)f(\epsilon_1) \left[\int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_2} ... \int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_J}f(\epsilon_2) ...f(\epsilon_J) d\epsilon_2 ...d\epsilon_J \right] d\epsilon_1 = \\ \int^{\infty}_{-\infty} (\delta_1 + \epsilon_1)f(\epsilon_1) \left(\int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_2} f(\epsilon_2)d\epsilon_2 \right) ... \left( \int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_J}f(\epsilon_J) d\epsilon_J \right) d\epsilon_1 = \\ \int^{\infty}_{-\infty} \left(\delta_1 + \epsilon_1\right) f(\epsilon_1) F(\delta_1 + \epsilon_1 - \delta_2) ...F(\delta_1 + \epsilon_1 - \delta_J) d\epsilon_1 \end{split} \end{equation}$

Istilah di atas adalah yang pertama dari istilah tersebut dalam . Secara khusus, $J$ $E[\max_i \left(\delta_i + \epsilon_i \right)]$

E [max_{i} (δ_{i} + ϵ_{i})] = \sum_{i} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] .

$\begin{equation} E\left[\max_i \left(\delta_i + \epsilon_i \right)\right] = \sum_i E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right]. \end{equation}$

Sekarang kita menerapkan bentuk fungsional dari distribusi Gumbel. Ini memberi

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} e^{- e^{μ - ϵ_{i}}} \prod_{j \neq i} e^{- e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \prod_{j} e^{- e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \exp {\sum_{j} - e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \exp {- e^{μ - ϵ_{i}} \sum_{j} e^{δ_{j} - δ_{i}}} d ϵ_{i} \end{aligned}

$\begin{equation} \begin{split} &E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \hspace{2in} \\ &\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i\right)e^{\mu - \epsilon_i} e^{- e^{\mu - \epsilon_i}} \prod_{j \neq i} e^{-e^{\mu - \epsilon_i + \delta_j - \delta_i}}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i\right)e^{\mu - \epsilon_i } \prod_{j } e^{-e^{\mu - \epsilon_i + \delta_j - \delta_i}}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i \right) e^{\mu - \epsilon_i} \exp \Bigl\{ \sum_{j} -e^{\mu - \epsilon_i + \delta_j - \delta_i} \Bigr\}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i \right) e^{\mu - \epsilon_i} \exp \Bigl\{ -e^{\mu - \epsilon_i } \sum_{j} e^{ \delta_j - \delta_i} \Bigr\}d\epsilon_i \end{split} \end{equation}$

di mana langkah kedua berasal dari mengumpulkan salah satu istilah eksponensial ke dalam produk, bersama dengan fakta bahwa jika . $\delta_j - \delta_i = 0$ $i = j$

Sekarang kita mendefinisikan , dan membuat substitusi , sehingga dan . Perhatikan bahwa ketika mendekati infinity, mendekati 0, dan saat mendekati infinity negatif, mendekati infinity. $D_i \equiv \sum_j e^{\delta_j - \delta_i}$ $x = D_i\hspace{0.5mm} e^{\mu - \epsilon_i}$ $dx = -D_i e^{\mu - \epsilon_i}d\epsilon_i \Rightarrow -\frac{dx} {D_i} = e^{\mu - \epsilon_i}d\epsilon_i$ $\epsilon_i = \mu - \log\left(\frac{x}{D_i}\right)$ $\epsilon_i$ $x$ $\epsilon_i$ $x$

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{\infty}^{0} (δ_{i} + μ - \log [\frac{x}{D_{i}}]) (- \frac{1}{D_{i}}) \exp {- x} d x \\ = & \frac{1}{D_{i}} \int_{0}^{\infty} (δ_{i} + μ - \log [\frac{x}{D_{i}}]) e^{- x} d x \\ = & \frac{δ_{i} + μ}{D_{i}} \int_{0}^{\infty} e^{- x} d x - \frac{1}{D_{i}} \int_{0}^{\infty} \log [x] e^{- x} d x + \frac{\log [D_{i}]}{D_{i}} \int_{0}^{\infty} e^{- x} d x \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \\ &\hspace{3mm}\int^{0}_{\infty} \left(\delta_i + \mu - \log\left[\frac{x}{D_i} \right]\right)\left(-\frac{1}{D_i}\right)\exp\left\{ -x\right\}dx \\ =&\hspace{3mm}\frac{1}{D_i}\int^{\infty}_{0} \left(\delta_i + \mu - \log\left[\frac{x}{D_i} \right]\right)e^{ -x}dx \\ =&\hspace{3mm} \frac{\delta_i + \mu}{D_i}\int^{\infty}_{0} e^{-x}dx -\frac{1}{D_i}\int^{\infty}_{0} \log[x]e^{-x}dx + \frac{\log[D_i]} {D_i} \int^{\infty}_{0}e^{-x}dx\\ \end{split} \end{equation}$

Fungsi Gamma didefinisikan sebagai . Untuk nilai yang merupakan bilangan bulat positif, ini setara dengan, jadi . Selain itu, diketahui bahwa konstanta Euler-Mascheroni, memenuhi $\Gamma(t) = \int^{\infty}_{0} x^{t - 1}e^{-x}dx$ $t$ $\Gamma(t) = (t - 1)!$ $\Gamma(1) = 0! = 1$ $\gamma \approx 0.57722$

γ = - \int_{0}^{\infty} \log [x] e^{- x} d x .

$\gamma = -\int^{\infty}_{0} \log[x] e^{-x}dx.$

Menerapkan fakta-fakta ini memberi

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \frac{δ_{i} + μ + γ + \log [D_{i}]}{D_{i}} \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \frac{\delta_i + \mu + \gamma + \log[D_i]}{D_i} \end{split} \end{equation}$

Lalu kami menjumlahkan untuk mendapatkan $i$

\begin{aligned} E [max_{i} (δ_{i} + ϵ_{i})] = \sum_{i} \frac{δ_{i} + μ + γ + \log [D_{i}]}{D_{i}} \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \sum_i \frac{\delta_i + \mu + \gamma + \log[D_i]}{D_i} \end{split} \end{equation}$

Ingat bahwa . Perhatikan bahwa probabilitas pilihan logit yang familier adalah invers dari , atau dengan kata lain . Perhatikan juga bahwa . Lalu kita punya $D_i = \sum_j e^{\delta_j - \delta_i} = \frac{\sum_j e^{\delta_j}} {e^{\delta_i}}$ $P_i = \frac{e^{\delta_i}}{\sum_j \delta_j}$ $D_i$ $P_i = 1/D_i$ $\sum_i P_i = 1$

\begin{aligned} E [max_{i} (δ_{i} + ϵ_{i})] = & \sum_{i} P_{i} (δ_{i} + μ + γ + \log [D_{i}]) \\ = & (μ + γ) \sum_{i} P_{i} + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [D_{i}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [\frac{\sum_{j} e^{δ_{j}}}{e^{δ_{i}}}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [\sum_{j} e^{δ_{j}}] - \sum_{i} P_{i} \log [e^{δ_{i}}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \log [\sum_{j} e^{δ_{j}}] \sum_{i} P_{i} - \sum_{i} P_{i} δ_{i} \\ = & μ + γ + \log [\sum_{j} \exp {δ_{j}}] . \end{aligned}

$\begin{equation} \begin{split} \hspace{3mm} E\left[\max_i\left( \delta_i + \epsilon_i \right) \right] =& \sum_i P_i\left(\delta_i + \mu + \gamma + \log[D_i]\right)\\ =&\hspace{2mm} (\mu + \gamma) \sum_i P_i + \sum_i P_i\delta_i + \sum_iP_i \log[D_i] \\ =& \hspace{2mm} \mu + \gamma + \sum_i P_i \delta_i + \sum_i P_i \log\left[\frac{\sum_j e^{\delta_j}} {e^{\delta_i}} \right]\\ =& \mu + \gamma + \sum_i P_i \delta_i + \sum_i P_i \log\left[\sum_j e^{\delta_j}\right] - \sum_i P_i \log[e^{\delta_i}]\\ =& \mu + \gamma + \sum_i P_i \delta_i + \log\left[ \sum_j e^{\delta_j}\right] \sum_i P_i - \sum_i P_i \delta_i \\ =& \mu + \gamma + \log\left[ \sum_j \exp\left\{ \delta_j \right\}\right] .\end{split} \end{equation}$ QED

Jason
sumber

Saya menautkan apa yang saya yakini sebagai artikel yang Anda maksudkan, tanpa benar-benar melihatnya secara pasti; tolong perbaiki jika salah.

Dougal

@Jason Apakah Anda tahu cara membuktikan apa ini ketika maks bersyarat pada satu menjadi maks? Lihat pertanyaan di sini yang belum terpecahkan: stats.stackexchange.com/questions/260847/…

wolfsatthedoor atau

Ekspektasi Maksimum dari Variabel Gumbel id

Jawaban: