Bagaimana cara melatih regresi (logistik?) Di R menggunakan fungsi kerugian L1?

Saya bisa melatih regresi logistik dalam Rmenggunakan

glm(y ~ x, family=binomial(logit)))

tapi, IIUC, ini mengoptimalkan kemungkinan log.

Apakah ada cara untuk melatih model menggunakan fungsi kehilangan linier ( $L_1$ ) (yang dalam hal ini sama dengan jarak variasi total )?

Yaitu, diberi vektor numerik $x$ dan vektor sedikit (logis) $y$ , saya ingin membangun fungsi monoton (pada kenyataannya, peningkatan) $f$ sedemikian rupa sehingga $\sum |f(x)-y|$ diminimalkan.

Lihat juga

Bagaimana cara saya melatih regresi logistik dalam R menggunakan fungsi kehilangan L1?

logistic sds
sumber

Apa yang Anda inginkan tidak ada, dan terus terang, itu tidak masuk akal. Kami dapat mendiskusikan alternatif tetapi Anda harus menyatakan secara lebih menyeluruh apa yang Anda coba lakukan. Mengapa Anda ingin menyesuaikan model logistik dengan kerugian L1?

user603

@ user603: Karena saya ingin mengevaluasi model saya menggunakan TVD

sds

Anda tampaknya berbicara tentang menyesuaikan kurva logistik dengan data, daripada menyesuaikan data yang didistribusikan secara biner - yaitu, bentuk regresi nonlinier , tetapi menggunakan norma

daripada

. Memang, fungsi kerugian

menunjukkan bahwa maksimum bukan

(jika itu masalahnya, itu membuat referensi ke GLM binomial menyesatkan). Di sisi lain, jika itu benar-benar adalah dibatasi untuk 0-1, fungsi kerugian tidak masuk akal. Bisakah Anda memberikan detail situasi aktual Anda?

L_{1}

$L_1$

L_{2}

$L_2$

\sum | f (x) - y |

$\sum |f(x)-y|$

1

$1$

Glen_b -Reinstate Monica

Harap perhatikan bahwa bantuan ini meminta Anda tidak mengirim silang pertanyaan yang sama ke beberapa situs, tetapi pilih satu situs saja. Jika nanti Anda berubah pikiran tentang situs mana yang terbaik, beri tanda untuk perhatian moderator dan minta untuk dipindahkan.

Glen_b -Reinstate Monica

@ Glen_b: Saya pikir "bit (logis) vektor y" tidak menyiratkan tanggapan 0/1.

sds

Jawaban:

Apa yang ingin Anda lakukan tidak ada karena, karena kurangnya kata yang lebih baik, cacat secara matematis.

Tetapi pertama-tama, saya akan menekankan mengapa menurut saya premis pertanyaan Anda masuk akal. Saya kemudian akan mencoba menjelaskan mengapa saya pikir kesimpulan yang Anda ambil dari mereka didasarkan pada kesalahpahaman model logistik dan, akhirnya, saya akan menyarankan pendekatan alternatif.

Saya akan menunjukkan pengamatanAnda(huruf tebal menunjukkan vektor) yang terletak diruangdimensi (entri pertama $\{(\pmb x_i,y_i)\}_{i=1}^n$ $n$ $p$ $\pmb x_i$ $p<n$ $y_i\in [0,1]$ $f(\pmb x_i)= f(\pmb x_i'\pmb\beta)$ $\pmb x_i'\pmb\beta$ $n$ $p$

Anda benar bahwa jika Anda bermaksud menggunakan TVD sebagai kriteria untuk mengevaluasi model yang sesuai, maka masuk akal untuk mengharapkan kecocokan Anda untuk mengoptimalkan kriteria yang sama di antara semua kandidat yang mungkin, pada data Anda. Karenanya

β β^{*} = \underset{β β \in R^{p}}{\arg min} | | y y - f (x x_{i}^{'} β β) | |_{1}

$\pmb\beta^*=\underset{\pmb\beta\in\mathbb{R}^{p}}{\arg\min}\;\;\;\;\;||\pmb y-f(\pmb x_i'\pmb\beta)||_1$

Masalahnya adalah istilah error : dan jika kita menegakkan (kami hanya ingin model kita menjadi asimtotik berisi ), kemudian, harus menjadi heteroskedastic . Ini karena dapat mengambil dua nilai, 0 dan 1. Oleh karena itu, diberikan , juga hanya dapat mengambil dua nilai: ketika , yang terjadi dengan probabilitas , dan ketika $\epsilon_i=y_i-f(\pmb x_i'\pmb\beta)$ $E(\pmb\epsilon)=0$ $\epsilon_i$ $y_i$ $\pmb x_i$ $\epsilon_i$ $1-f(\pmb x_i'\pmb\beta)$ $y_i=1$ $f(\pmb x_i'\pmb\beta)$ $-f(\pmb x_i'\pmb\beta)$ $y_i=1$ , yang terjadi dengan probabilitas . $1-f(\pmb x_i'\pmb\beta)$

Pertimbangan ini secara bersama menyiratkan bahwa:

var (ϵ ϵ) = E (ϵ ϵ^{2}) = (1 - f (x x^{'} β β))^{2} f (x x^{'} β β) + (- f (x x^{'} β β))^{2} (1 - f (x x^{'} β β)) = (1 - f (x x^{'} β β)) f (x x^{'} β β) = E (y y | x x) E (1 - y y | x x)

$\text{var}(\pmb\epsilon)=E(\pmb\epsilon^2)=(1-f(\pmb x'\pmb\beta))^2f(\pmb x'\pmb\beta)+(-f(\pmb x'\pmb\beta))^2(1-f(\pmb x'\pmb\beta))\\ \;\;\;\;\;\;\;\;\;\;\;\;\;=(1-f(\pmb x'\pmb\beta))f(\pmb x'\pmb\beta)=E(\pmb y|\pmb x)E(1-\pmb y|\pmb x)$

karenanya tidak konstan tetapi berbentuk parabola cekung dan dimaksimalkan ketika sedemikian rupa sehingga . $\text{var}(\pmb\epsilon)$ $\pmb x$ $E(y|\pmb x)\approx .5$

Ini melekat heteroskedastisitas dari residual memiliki konsekuensi . Ini menyiratkan antara lain bahwa ketika meminimalkan fungsi kehilangan , Anda secara asimptot merupakan bagian dari bobot sampel Anda. Yaitu, yang cocok tidak cocok dengan data sama sekali tetapi hanya sebagian yang terkumpul di sekitar tempat-tempat di mana sedemikian rupa sehingga . Intinya, ini adalah titik data paling tidak informatif dalam sampel Anda : mereka sesuai dengan pengamatan yang komponen kebisingannya terbesar. Karenanya, kecocokan Anda ditarik ke , misalnya dibuat tidak relevan. $l_1$ $\pmb\beta^*$ $\pmb x$ $E(\pmb y|\pmb x)\approx .5$ $\pmb\beta^*=\pmb\beta:f(\pmb x'\pmb\beta)\approx .5$

Salah satu solusi, seperti yang jelas dari paparan di atas adalah dengan menjatuhkan persyaratan ketidakberpihakan. Cara populer untuk bias estimator (dengan beberapa interpretasi Bayesian terlampir) adalah dengan memasukkan istilah penyusutan. Jika kami skala responsnya:

y_{i}^{+} = 2 (y_{i} - .5), 1 \leq i \leq n

$y^+_i=2(y_i-.5),1\leq i\leq n$

dan, untuk kemanfaatan komputasi, ganti dengan fungsi monoton lainnya --it akan nyaman bagi sekuel untuk menunjukkan komponen pertama dari vektor parameter sebagai dan yang - dan termasuk istilah penyusutan (misalnya salah satu bentuk ), masalah optimisasi yang dihasilkan menjadi: $f(\pmb x'\pmb\beta)$ $g(\pmb x,[c,\pmb\gamma])=\pmb x'[c,\pmb\gamma]$ $c$ $p-1$ $\pmb\gamma$ $||\pmb\gamma||_2$

[c^{*}, γ γ^{*}] = \underset{[[c, γ γ] \in R^{p}}{\arg min} \sum_{i = 1}^{n} max (0, 1 - y_{i}^{+} x x_{i}^{'} [[c, γ γ]) + \frac{1}{2} | | γ γ | |_{2}

$[c^*,\pmb\gamma^{*}]=\underset{\pmb[c,\pmb\gamma]\in\mathbb{R}^{p}}{\arg\min}\;\;\sum_{i=1}^n\max(0,1-y_i^+\pmb x_i'\pmb[c,\pmb\gamma])+\frac{1}{2}||\pmb\gamma||_2$

Perhatikan bahwa dalam masalah optimisasi baru (juga cembung) ini, penalti untuk pengamatan yang diklasifikasikan dengan benar adalah 0 dan tumbuh secara linier dengan untuk yang tidak diklasifikasikan - seperti dalam kerugian. Solusi untuk masalah optimasi kedua ini adalah koefisien linear svm (dengan pemisahan sempurna). Berbeda dengan , masuk akal untuk mempelajari dari data dengan penalti jenis TVD ('type' karena istilah bias) . Akibatnya, solusi ini diterapkan secara luas. Lihat misalnya paket R LiblineaR . $\pmb x'\pmb[c,\gamma]$ $l_1$ $[c^*,\pmb\gamma^*]$ $\pmb\beta^*$ $[c^*,\pmb\gamma^{*}]$

pengguna603
sumber

Saya berharap saya bisa memberi Anda lebih dari 25 poin :-)

sds

@ sd; terima kasih: itu pertanyaan yang bagus :) Saya akan kembali siang hari dan mengisi rinciannya, memperbaiki beberapa kesalahan ketik.

user603

Saya tidak yakin mengapa Anda ingin menggunakan kerugian L1 untuk sesuatu yang dibatasi antara 0 dan 1. Tergantung pada apa tujuan Anda, Anda mungkin ingin mempertimbangkan sesuatu seperti kehilangan engsel, yang mirip dengan kehilangan L1 dalam satu arah dan datar di yang lain.

Bagaimanapun, kode di bawah ini harus melakukan apa yang Anda minta. Perhatikan bahwa respons optimal pada dasarnya adalah fungsi langkah.

set.seed(1)

# Fake data
x = seq(-1, 1, length = 100)
y = rbinom(100, plogis(x), size = 1) # plogis is the logistic function

# L1 loss
loss = function(y, yhat){
  sum(abs(y - yhat))
}

# Function to estimate loss associated with a given slope & intercept
fn = function(par){
  a = par[1]
  b = par[2]
  loss(y = y, yhat = plogis(a + b * x))
}

# Find the optimal parameters
par = optim(
  par = c(a = 0, b = 0),
  fn = fn
)$par

# Plot the results
plot(y ~ x)
curve(plogis(par[1] + par[2] * x), add = TRUE, n = 1000)

David J. Harris
sumber

Anda dapat menggunakan paket glmnet untuk pemasangan model L1, L2. Ini tidak terbatas pada regresi logistik tetapi termasuk itu.

Berikut sketsanya: http://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html

Ada juga webminar: https://www.youtube.com/watch?v=BU2gjoLPfDc

Liblinear baik, tetapi saya telah menemukan glmnet lebih mudah untuk memulai. Glmnet menyertakan fungsi yang melakukan validasi silang dan memilih parameter regularisasi untuk Anda berdasarkan pada berbagai metrik seperti AUC.

Mengenai teori, saya akan membaca makalah tibshiarini tentang laso (regularisasi L1) dan bab dalam elemen pembelajaran statistik. http://statweb.stanford.edu/~tibs/lasso/lasso.pdf

Tentang kehilangan log, hanya untuk mengevaluasi model. Ini bukan fungsi kerugian untuk pemasangan model.

marbel
sumber