Apakah kemungkinan log dalam GLM telah menjamin konvergensi ke maxima global?

Pertanyaan saya adalah:

Apakah model linier umum (GLM) dijamin untuk konvergen ke global maksimum? Jika demikian, mengapa?
Lebih lanjut, kendala apa yang ada pada fungsi tautan untuk memastikan kecemburuan?

Pemahaman saya tentang GLM adalah bahwa mereka memaksimalkan fungsi kemungkinan sangat nonlinier. Jadi, saya akan membayangkan bahwa ada beberapa maxima lokal dan set parameter yang Anda konvergen bergantung pada kondisi awal untuk algoritma optimasi. Namun, setelah melakukan penelitian, saya belum menemukan satu sumber pun yang menunjukkan bahwa ada beberapa maksima lokal. Selain itu, saya tidak begitu akrab dengan teknik optimasi, tetapi saya tahu metode Newton-Raphson dan algoritma IRLS sangat rentan terhadap maxima lokal.

Tolong jelaskan jika mungkin baik secara intuitif dan matematika!

EDIT: dksahuji menjawab pertanyaan awal saya, tetapi saya ingin menambahkan pertanyaan lanjutan [ 2 ] di atas. ("Kendala apa yang ada pada fungsi tautan untuk memastikan kecembungan?")

generalized-linear-model optimization convergence exponential-family DankMasterDan
sumber

Saya pikir beberapa pembatasan harus diperlukan sebelum bisa demikian. Apa sumber pernyataan itu?

Glen_b -Reinstate Monica

Beberapa situs tampaknya menyiratkannya namun saya tidak dapat menemukan apa pun yang menyebutkannya secara langsung, jadi saya juga menyambut penolakannya!

DankMasterDan

selama kemungkinannya didefinisikan dengan baik di mana-mana di domain (dan mengabaikan beberapa masalah numerik tangensial) saya pikir ya. Dalam kondisi seperti itu, goni itu <0 di mana-mana di domain sehingga kemungkinannya adalah cekung secara global. Btw, fungsinya bukan 'sangat non-linear' dalam parameter dan itu yang penting.

user603

@ user603 apa sumber / bukti Anda bahwa goni itu <0 di mana-mana?

DankMasterDan

Regresi logistik, Poisson, dan Gaussian sering cembung diberi fungsi tautan "baik". Namun, dengan fungsi tautan sewenang-wenang, mereka tidak cembung.

Memming

Jawaban:

Definisi keluarga eksponensial adalah:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

di mana adalah fungsi partisi log. Sekarang orang dapat membuktikan bahwa tiga hal berikut berlaku untuk kasus 1D (dan mereka menggeneralisasi ke dimensi yang lebih tinggi - Anda dapat melihat properti keluarga eksponensial atau partisi log): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

$A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Now $\theta^T[\phi(\mathcal{D})]$ is linear in theta and $-A(\theta)$ is concave. Therefore, there is a unique global maximum.

There is a generalized version called curved exponential family which would also be similar. But most of the proofs are in canonical form.

dksahuji
sumber

so does this mean that GLM have a unique global minima nomatter which link function is chosen (including the noncanonical ones)?

DankMasterDan

I will try to answer as far as I percieve it.

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$ is the case you are talking about. This still is concave in

η

$\eta$ but may not be in

θ

$\theta$ so

η

$\eta$ should be such that the whole log likelihood is concave in

θ

$\theta$ .

dksahuji

Note that the question asks about convergence, rather than just existence, but with a few restrictions, that, too, may be doable.

Glen_b -Reinstate Monica

@Glen_b Can you elaborate? I dont know any such restrictions. Maybe something like restrictions on stepsize in a gradient based optimizer to gaurantee convergence in case of concave function.

dksahuji

@Glen_b That might be true in general but I am not able to see any reason for concave function to not converge to optima within small tolerable value. But I would say that I dont have any practical experience with these and I have just started. :)

dksahuji