Pilihan antara regresi kuat yang berbeda di R

Saya menulis sebuah program untuk mengevaluasi real estat dan saya tidak begitu mengerti perbedaan antara beberapa model regresi yang kuat, itu sebabnya saya tidak tahu mana yang harus dipilih.

Saya mencoba lmrob, ltsRegdan rlm. untuk kumpulan data yang sama, ketiga metode memberi saya nilai yang berbeda untuk koefisien.

Saya pikir itu yang terbaik untuk digunakan ltsRegkarena, summary(ltsReg())memberikan informasi tentang R-squareddan p-valuesdan ini akan membantu saya untuk memutuskan apakah menerima atau menolak model.

Apakah Anda pikir itu ltsRegpilihan yang baik?

EDIT: Saya baru saja membaca tentang Statistik Goodness-of-Fit bahwa R-squared yang disesuaikan umumnya merupakan indikator kualitas fit terbaik.

r regression p-value r-squared Paul
sumber

Baik nilai-p dan

R^{2}

$R^2$ bisa menyesatkan sehingga memilih paket berdasarkan fakta bahwa itu menghasilkan mereka sebenarnya bukan kriteria yang baik untuk pilihan seperti itu ...

Tim

lalu bagaimana saya bisa memutuskan apakah model itu valid tanpa memplotnya?

Paul

Juga pertimbangkan regresi ordinal karena mungkin lebih kuat dan dapat ditafsirkan, dan lebih kuat.

Frank Harrell

@ user603: Saya konfirmasikan. untuk evaluasi real estat, saya membuat beberapa model, yang berisi sejumlah karakteristik yang berbeda (misalnya: 1. harga ~ livingArea + lantaiNomor + usia + ...).

Paul

Seseorang ingin menutup pertanyaan ini! Saya tidak berpikir itu benar, bahkan jika di permukaan itu tentang memilih fungsi R, itu benar-benar tentang bagaimana dan mengapa memilih metode regresi yang kuat, yaitu, ontopic.

kjetil b halvorsen

Dalam notasi saya akan menggunakan, $p$ akan menjadi jumlah variabel desain (termasuk istilah konstan), $n$ jumlah observasi dengan $n\geq2p+1$ (Jika kondisi terakhir ini tidak terpenuhi, paket tidak akan mengembalikan kecocokan tetapi kesalahan, jadi saya menganggapnya terpenuhi). Saya akan menyatakan dengan vektor koefisien yang diestimasi oleh FLTS ( ) dan koefisien yang diestimasi oleh MM ( ). Saya juga akan menulis: $\hat{\boldsymbol\beta}_{FLTS}$ ltsReg $\hat{\boldsymbol\beta}_{MM}$ lmrob

r_{i}^{2} (\hat{β}) = (y_{i} - x_{i}^{⊤} \hat{β})^{2}

$r^2_i(\hat{\boldsymbol\beta})=(y_i-\boldsymbol x_i^\top\hat{\boldsymbol\beta})^2$

(ini adalah residu kuadrat, bukan yang standar!)

The rlmFungsi cocok sebuah 'M' estimasi regresi dan, seperti usulan @Frank Harrell dibuat di komentar untuk pertanyaan Anda, tidak kuat untuk outlier pada ruang desain. Regresi ordinal memiliki titik rincian (proporsi data Anda yang perlu diganti oleh pencilan untuk menarik koefisien yang dipasang ke nilai arbitrer) pada dasarnya berarti bahwa satu pencilan tunggal (terlepas dari !) Cukup untuk membuat kecocokan tanpa makna . Untuk perkiraan regresi M (misal regresi Huber M) titik gangguan pada dasarnya adalah . Ini agak lebih tinggi tetapi dalam praktiknya masih mendekati 0 (karena sering akan besar). Satu-satunya kesimpulan yang bisa ditarik dari $1/n$ $n$ $1/(p+1)$ $p$ rlmmenemukan kecocokan yang berbeda dari dua metode lainnya adalah bahwa itu telah diombang-ambingkan oleh outlier desain dan bahwa harus ada lebih dari dari ini dalam set data Anda. $p+1$

Sebaliknya, dua algoritma lainnya jauh lebih kuat: titik pemecahannya tepat di bawah dan yang lebih penting, tidak menyusut karena semakin besar. Saat memasang model linier menggunakan metode yang kuat, Anda mengasumsikan bahwa setidaknya pengamatan dalam data Anda tidak terkontaminasi. Tugas kedua algoritma ini adalah untuk menemukan orang-orang pengamatan dan cocok mereka juga mungkin. Lebih tepatnya, jika kita menyatakan: $1/2$ $p$ $h=\lfloor(n+p+1)/2\rfloor+1$

\begin{aligned} H_{F L T S} & = {i : r_{i}^{2} ({\hat{β}}_{F L T S}) \leq q_{h / n} (r_{i}^{2} ({\hat{β}}_{F L T S}))} \\ H_{M M} & = {i : r_{i}^{2} ({\hat{β}}_{M M}) \leq q_{h / n} (r_{i}^{2} ({\hat{β}}_{M M}))} \end{aligned}

$\begin{align} H_{FLTS} &= \{i:r^2_i(\hat{\boldsymbol\beta}_{FLTS})\leq q_{h/n}(r^2_i(\hat{\boldsymbol\beta}_{FLTS}))\} \\ H_{MM} &= \{i:r^2_i(\hat{\boldsymbol\beta}_{MM})\leq q_{h/n}(r^2_i(\hat{\boldsymbol\beta}_{MM}))\} \end{align}$

(di mana adalah quantile dari vektor ) $q_{h/n}(r^2_i(\hat{\boldsymbol\beta}_{MM}))$ $h/n$ $r^2_i(\hat{\boldsymbol\beta}_{MM})$

lalu ( ) mencoba menyesuaikan pengamatan dengan indeks dalam ( ). $\hat{\boldsymbol\beta}_{MM}$ $\hat{\boldsymbol\beta}_{FLTS}$ $H_{MM}$ $H_{FLTS}$

Fakta bahwa ada perbedaan besar antara dan menunjukkan bahwa kedua algoritma tidak mengidentifikasi set pengamatan yang sama dengan outlier. Ini berarti bahwa setidaknya satu dari mereka terpengaruh oleh outlier. Dalam hal ini, menggunakan (disesuaikan) atau salah satu statistik dari salah satu dari dua cocok untuk memutuskan mana yang akan digunakan, meskipun intuitif, adalah ide yang mengerikan : cocok terkontaminasi biasanya memiliki residu yang lebih kecil daripada yang bersih (tetapi karena pengetahuan tentang inilah alasan mengapa seseorang menggunakan statistik yang kuat sejak awal, saya berasumsi bahwa OP sangat menyadari fakta ini dan bahwa saya tidak perlu memperluas ini). $\hat{\boldsymbol\beta}_{FLTS}$ $\hat{\boldsymbol\beta}_{MM}$ $R^2$

Dua pasangan yang kuat memberikan hasil yang bertentangan dan pertanyaannya adalah mana yang benar? Salah satu cara untuk mengatasi ini adalah dengan mempertimbangkan set:

H^{+} = H_{M M} \cap H_{F L T S}

$H^+=H_{MM}\cap H_{FLTS}$

karena , . Lebih lanjut, jika salah satu dari atau bebas dari outlier, demikian juga . Solusi yang saya usulkan memanfaatkan fakta ini. Menghitung: $h\geq[n/2]$ $\#\{H^+\}\geq p$ $H_{MM}$ $H_{FLTS}$ $H^+$

D (H^{+}, {\hat{β}}_{F L T S}, {\hat{β}}_{M M}) = \sum_{i \in H^{+}} (r_{i}^{2} ({\hat{β}}_{F L T S}) - r_{i}^{2} ({\hat{β}}_{M M}))

$D(H^+,\hat{\boldsymbol\beta}_{FLTS},\hat{\boldsymbol\beta}_{MM})=\sum_{i\in H^+}\left(r^2_i(\hat{\boldsymbol\beta}_{FLTS})-r^2_i(\hat{\boldsymbol\beta}_{MM})\right)$

Misalnya, jika , maka, cocok dengan pengamatan yang baik lebih baik daripada dan jadi saya akan mempercayai lebih. Dan sebaliknya. $D(H^+,\hat{\boldsymbol\beta}_{FLTS},\hat{\boldsymbol\beta}_{MM})<0$ $\hat{\boldsymbol\beta}_{FLTS}$ $\hat{\boldsymbol\beta}_{MM}$ $\hat{\boldsymbol\beta}_{FLTS}$

pengguna603
sumber

+1. Saya kira Anda menggunakan berarti bulat ke fungsi integer atau lantai . Saya menemukan notasi terakhir lebih eksplisit. Sangat mudah untuk mengasumsikan bagi pembaca yang baru dengan notasi untuk pembulatan integer untuk menganggap bahwa tanda kurung siku hanya tanda kurung.

[]

$[\ \ ]$

⌊ ⌋

$\lfloor\ \ \rfloor$

Nick Cox

Pilihan antara regresi kuat yang berbeda di R

Jawaban: