Apa itu koreksi bias? [Tutup]

12

Saya telah melihat banyak tempat di mana mereka memiliki dataset input / output di mana mereka pertama kali membuat garis regresi linier, memperbaiki bias, dan kemudian hanya menggunakan data itu untuk model mereka. Saya tidak mendapatkan apa koreksi bias ini?

bias bias-correction pengguna31820
sumber
6
Saya pikir Anda mungkin perlu memberikan referensi atau contoh eksplisit sehingga kami bisa tahu persis apa yang Anda bereaksi.
whuber
@ naught101, tolong lakukan beberapa demi satu, jangan spam halaman utama.
gung - Reinstate Monica
@ung: ah .. maksud Anda memberi tag beberapa dan kemudian menunggu sedikit? Maaf terlambat. Saya hanya menemukan 10 atau lebih, dan saya hanya melakukan semuanya. Lupa tentang efek halaman depan: / Kalau saja SE memiliki fitur penandaan massal yang bagus.
naught101
@ungung: Mungkin hari ini bisa menjadi hari koreksi bias awal: D
naught101
1
@ naught101 retagging massal unilateral sedikit tidak-tidak, terutama pada tag yang baru saja Anda buat. Secara luas, yang terbaik adalah melakukan meta di mana memungkinkan (untuk menjelaskan apa yang Anda inginkan), dan jika tampaknya tidak kontroversial, maka lakukan beberapa retagging tetapi hanya beberapa saja pada suatu waktu.
Glen_b -Reinstate Monica

Jawaban:

11

Meskipun pernyataan masalah tidak cukup tepat untuk tahu persis apa jenis koreksi bias yang Anda maksudkan, saya pikir saya bisa membicarakannya secara umum. Terkadang penduga bisa menjadi bias. Ini hanya berarti bahwa meskipun mungkin merupakan penaksir yang baik, nilai yang diharapkan atau rata-rata tidak persis sama dengan parameter. Perbedaan antara rata-rata estimator dan nilai parameter sebenarnya disebut bias. Ketika estimator diketahui bias, kadang-kadang dimungkinkan, dengan cara lain, untuk memperkirakan bias dan kemudian memodifikasi estimator dengan mengurangi estimasi bias dari estimasi awal. Prosedur ini disebut koreksi bias. Ini dilakukan dengan maksud meningkatkan estimasi. Sementara itu akan mengurangi bias tetapi juga akan meningkatkan varians.

Contoh yang baik dari koreksi bias yang sukses adalah estimasi koreksi bias bootstrap dari tingkat kesalahan klasifikasi. Perkiraan tingkat penggantian kesalahan memiliki bias optimis besar ketika ukuran sampel kecil. Bootstrap digunakan untuk mengestimasi bias estimasi resubstitusi dan karena estimasi resubstitusi meremehkan tingkat kesalahan, estimasi bias ditambahkan ke estimasi penggantian untuk mendapatkan estimasi bootstrap yang diperbaiki dari tingkat kesalahan. Ketika ukuran sampel kecil 30 atau kurang menggabungkan kedua kelas dalam masalah dua kelas, bentuk-bentuk tertentu dari perkiraan bootstrap (khususnya estimasi 632) memberikan perkiraan tingkat kesalahan yang lebih akurat daripada validasi silang tinggalkan-satu-keluar (yang sangat perkiraan tingkat kesalahan yang hampir tidak bias).

Michael R. Chernick
sumber
1
"Meskipun akan mengurangi bias, itu juga akan meningkatkan varians." - bisakah Anda menjelaskannya sedikit lebih banyak? Tidakkah ini bergantung pada metodenya? Apakah Anda pada dasarnya berarti bahwa mengurangi bias dari regresi linear optimal RMSE tentu akan meningkatkan RMSE, atau apakah itu sesuatu yang lain?
naught101