Regresi logistik untuk multiclass

Saya mendapatkan model untuk regresi logistik untuk multiclass yang diberikan oleh

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

di mana k adalah jumlah kelas theta adalah parameter yang harus diperkirakan j adalah kelas j Xi adalah data pelatihan

Yah satu hal yang tidak saya dapatkan adalah bagaimana bagian penyebut menormalkan model. Maksud saya itu membuat probabilitas tetap antara 0 dan 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Maksud saya, saya terbiasa dengan regresi logistik

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

Sebenarnya saya bingung dengan masalah nominasi. Dalam hal ini karena ini adalah fungsi sigmoid, ia tidak pernah membiarkan nilainya kurang dari 0 atau lebih besar dari 1. Tapi saya bingung dalam kasus multi-kelas. Kenapa gitu?

Ini adalah referensi saya https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html . Saya pikir itu seharusnya menjadi normalisasi

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial pengguna34790
sumber

Petunjuk: Dalam regresi logistik secara implisit ada dua probabilitas yang harus dihadapi: probabilitas dan probabilitas . Probabilitas tersebut harus berjumlah .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

Whuber

Berdasarkan beberapa pos Anda yang lain, Anda tahu cara markup persamaan. Persamaan teks di sini sulit dibaca dan (subskrip?) Membingungkan - dapatkah Anda menandainya dengan ?

L A T E X

$\LaTeX$

Makro

Karena Anda memposting begitu banyak pertanyaan di sini, harap jeda dan baca FAQ kami tentang cara mengajukan pertanyaan yang bagus. Baca bantuan untuk markup sehingga Anda dapat membuat persamaan Anda dapat dibaca.

T E X

$\TeX$

Whuber

Saya telah mengedit persamaan. @ Whuber Sebenarnya, saya bingung terkait dengan regresi logistik multikelas bukan biner. Saya khawatir bagaimana bisa ketika saya menambahkan semua elemen dalam donominator menormalkan probabilitas

user34790

@ user34790, ketika Anda membagi setiap istilah dengan jumlah, maka probabilitas kelas individu berjumlah 1. Apa yang dimaksud dengan ?

X^{(i)}

$X^{(i)}$

Makro

Jawaban:

Formula Anda salah (batas atas jumlah). Dalam regresi logistik dengan kelas ( ) Anda pada dasarnya membuat model regresi logistik biner mana Anda memilih satu kelas sebagai referensi atau pivot. Biasanya, kelas terakhir dipilih sebagai referensi. Dengan demikian, probabilitas kelas referensi dapat dihitung denganBentuk umum probabilitasnya adalahKarena kelas -th adalah referensi Anda dan karenanya $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ Pada akhirnya Anda mendapatkan rumus berikut untuk semua :

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

rumput laut
sumber

perhatikan bahwa pilihan kelas referensi tidak penting, jika Anda melakukan kemungkinan maksimum. Tetapi jika Anda melakukan kemungkinan maksimum yang dihukum, atau inferensi bayesian, seringkali lebih bermanfaat untuk membiarkan probabilitas terlalu parameter, dan membiarkan hukuman memilih cara menangani parameterisasi berlebihan. Ini karena sebagian besar fungsi penalti / prior tidak berbeda dengan pilihan kelas referensi

probabilityislogic

@sebp, sepertinya agak membingungkan; akan lebih baik menggunakan untuk observasi, dan beberapa surat lainnya untuk kategori iterasi.

i

$i$

i

$i$

k

$k$

garej

Saya pikir Anda sedang bingung oleh salah ketik: Anda harus pada persamaan pertama. Angka 1 yang Anda lihat dalam kasus logistik sebenarnya s, misalnya, ketika ada th . $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

Asumsikan . Sekarang perhatikan bahwa Anda bisa mendapatkan dari formulasi terakhir ke versi regresi logistik seperti Untuk beberapa kelas, cukup ganti penyebut dalam dua kuantitas pertama dengan jumlah lebih dari prediksi linear eksponensial. $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

conjugateprior
sumber