Apakah bias rendah dalam sampel merupakan sinonim untuk varian tinggi?

8

Apakah yang berikut ini benar?

Bias rendah = varians
tinggi Bias tinggi = varians rendah

Saya mengerti bias tinggi dan rendah tetapi lalu bagaimana perbedaannya? Atau sinonim di atas?

machine-learning neural-networks variance sampling bias selalu marah
sumber
Varians benar-benar tidak ada hubungannya dengan bias.
Michael R. Chernick
Apakah ini pertanyaan umum tentang pengambilan sampel statistik? Jika demikian, silakan batalkan jaringan saraf . Jika secara khusus tentang jaringan saraf, tolong jelaskan mengapa dan tambahkan lebih banyak konteks.
smci

Jawaban:

26

Tidak. Anda dapat memiliki keduanya tinggi atau rendah sekaligus. Ini adalah contoh ilustrasi. sumber gambar dan artikel Saya juga menyarankan Anda untuk membaca artikel dari mana gambar ini berasal.

masukkan deskripsi gambar di sini

Alasan Anda memiliki kesan seperti itu adalah bahwa dalam "usia awal" pembelajaran mesin, ada konsep yang disebut bias variance trade-off (seperti yang disebutkan oleh @Kodiologist, konsep ini masih benar dan konsep dasar model tuning saat ini.)

  • Ketika meningkatkan kompleksitas model, varians meningkat dan bias berkurang
  • ketika mengatur model, bias meningkat dan varians berkurang.

Dalam ceramah Deep Learning Coursera Andrew Ng baru-baru ini, ia menyebutkan bahwa dalam kerangka kerja pembelajaran yang mendalam baru-baru ini (dengan data yang sangat banyak), orang tidak banyak berbicara tentang pertukaran. Sebagai gantinya, ada cara untuk hanya mengurangi varians dan tidak meningkatkan bias (Misalnya, meningkatkan ukuran data pelatihan), seperti sebaliknya.

Haitao Du
sumber
Terima kasih, apakah Anda memiliki tautan ke artikel tersebut?
alwayscurious
3
Pernyataan Andrew Ng mungkin terkait dengan pembelajaran mesin "big data". Baik teori dan praktik menunjukkan bahwa ketika ukuran data kecil, bias-variance tradeoff sangat penting.
Martin L
3
Pengorbanan masih cukup sering muncul di saat ini. Misalnya, regresi yang diatur mendapat keuntungan prediktifnya dari OLS dengan menukar varians untuk bias dengan cara yang meningkatkan akurasi di internet. Juga, mudah untuk menghasilkan estimator yang tidak bias yang memiliki terlalu banyak varians untuk berguna, dan estimator 0-varians yang memiliki terlalu banyak bias menjadi berguna.
Kodiologist
2
@Kodiologist terima kasih atas komentarnya. Saya merevisi jawaban saya, semoga lebih baik.
Haitao Du
1
Yah, aku pasti lebih suka sekarang!
Matthew Drury
2

Perbedaan antara bias dan varians sama dengan antara akurasi dan presisi :

masukkan deskripsi gambar di sini

  • Keakuratan sistem pengukuran adalah seberapa dekat dengan nilai aktual (benar) suatu kuantitas. (≈ bias)

  • Ketepatan sistem pengukuran adalah sejauh mana pengukuran berulang memberikan hasil yang sama. (≈ varians)

Eric Duminil
sumber