Apakah ada kegunaan jackknifing kontemporer?

Pertanyaannya: Bootstrapping lebih unggul daripada jackknifing; Namun, saya bertanya-tanya apakah ada contoh di mana jackknifing adalah satu-satunya atau setidaknya pilihan yang layak untuk mengkarakterisasi ketidakpastian dari estimasi parameter. Juga, dalam situasi praktis bagaimana bias / tidak akurat jackknifing relatif terhadap bootstrap, dan bisakah hasil jackknife memberikan wawasan awal sebelum bootstrap yang lebih rumit dikembangkan?

Beberapa konteks: Seorang teman menggunakan algoritma pembelajaran mesin kotak hitam ( MaxEnt ) untuk mengklasifikasikan data geografis yang "hanya ada" atau "hanya positif." Penilaian model umum biasanya dilakukan dengan menggunakan validasi silang dan kurva ROC. Namun, dia menggunakan output model untuk memperoleh deskripsi numerik tunggal dari output model dan ingin interval kepercayaan di sekitar angka itu; Jackknifing tampaknya menjadi cara yang masuk akal untuk menandai ketidakpastian di sekitar nilai ini. Bootstrapping tampaknya tidak relevan karena setiap titik data adalah lokasi unik pada peta yang tidak dapat diambil sampelnya dengan penggantian. Program pemodelan itu sendiri mungkin pada akhirnya dapat menyediakan apa yang dia butuhkan; Namun, saya tertarik secara umum jika / ketika jackknifing dapat bermanfaat.

Jika Anda mengambil jackknifing tidak hanya untuk memasukkan cuti-out-out tetapi segala jenis resampling-tanpa-penggantian seperti prosedur -fold, saya menganggapnya sebagai opsi yang layak dan menggunakannya secara teratur, misalnya dalam Beleites et al. : Gradasi spektroskopi Raman dari jaringan astrositoma: menggunakan informasi rujukan lunak. Anal Bioanal Chem, 2011, 400, 2801-2816$k$

lihat juga: Interval kepercayaan untuk akurasi klasifikasi yang divalidasi silang

Saya menghindari LOO karena beberapa alasan dan sebagai gantinya menggunakan skema it- / kali-berulang . Di bidang saya (kimia / spektroskopi / chemometrics), validasi silang jauh lebih umum daripada validasi out-of-bootstrap. Untuk aplikasi data / tipikal kami, kami menemukan bahwa kali iterasi -fold cross validation dan iterasi estimasi kinerja out-of-bootstrap memiliki kesalahan total yang sangat mirip [Beleites et al. : Pengurangan varians dalam memperkirakan kesalahan klasifikasi menggunakan dataset jarang. Chem.Intell.Lab.Syst., 2005, 79, 91 - 100.] .i k i ⋅ $k$$i$$k$$i \cdot k$

Keuntungan khusus yang saya lihat untuk melihat skema validasi silang berulang atas bootstrap adalah bahwa saya dapat dengan mudah menurunkan ukuran stabilitas / model ketidakpastian yang dapat dijelaskan secara intuitif, dan itu memisahkan dua penyebab ketidakpastian varian berbeda dalam pengukuran kinerja yang lebih terkait dalam pengukuran out-of-bootstrap.
Satu garis penalaran yang membuat saya melewati validasi silang / jackknifing adalah melihat kekuatan model: validasi silang berhubungan secara langsung dengan pertanyaan jenis "Apa yang terjadi pada model saya jika saya menukar kasus untuk kasus baru?" $x$$x$atau "Seberapa kuat model saya terhadap gangguan data pelatihan dengan menukar kasus?"x$x$ Ini juga berlaku untuk bootstrap, tetapi kurang langsung.

$n_s$$n_p \ll n_s$

1. $n_p$

2. $i$$k$$i$

Biasanya, yaitu jika model diatur dengan baik, 2. diperlukan hanya untuk menunjukkan bahwa itu jauh lebih kecil daripada varians di 1., dan karena itu model cukup stabil. Jika 2. ternyata tidak dapat diabaikan, sekarang saatnya untuk mempertimbangkan model teragregasi: agregasi model hanya membantu varians yang disebabkan oleh ketidakstabilan model, itu tidak dapat mengurangi ketidakpastian varians dalam pengukuran kinerja yang disebabkan oleh jumlah kasus uji yang terbatas .

$i$$k$$k \cdot$$k$$k$

The keuntungan dari crossvalidation sini adalah bahwa Anda mendapatkan pemisahan yang jelas antara ketidakpastian yang disebabkan oleh ketidakstabilan Model dan ketidakpastian yang disebabkan oleh jumlah terbatas kasus uji. Kerugian yang sesuai tentu saja adalah bahwa jika Anda lupa untuk memperhitungkan jumlah kasus aktual yang terbatas, Anda akan meremehkan ketidakpastian sebenarnya. Namun, ini akan terjadi untuk bootstrap juga (meskipun pada tingkat lebih rendah).

Sejauh ini, alasannya berkonsentrasi pada pengukuran kinerja untuk model yang Anda peroleh untuk kumpulan data yang diberikan . Jika Anda mempertimbangkan kumpulan data untuk aplikasi yang diberikan dan ukuran sampel yang diberikan, ada kontribusi ketiga terhadap varians yang secara fundamental tidak dapat diukur dengan melakukan validasi ulang sampel, lihat misalnya Bengio & Grandvalet: Tidak Ada Pengukur Tidak Bervariasi dari Varians K-Fold Cross -Validation, Journal of Machine Learning Research, 5, 1089-1105 (2004). , kami juga memiliki angka yang menunjukkan tiga kontribusi ini di Beleites et al. : Perencanaan ukuran sampel untuk model klasifikasi., Anal Chim Acta, 760, 25-33 (2013). DOI: 10.1016 / j.aca.2012.11.007 )
Saya pikir apa yang terjadi di sini adalah hasil dari asumsi bahwa resampling mirip dengan menggambar sampel baru yang benar-benar rusak.

Ini penting jika algoritma / strategi / heuristik pembangunan model harus dibandingkan daripada membangun model tertentu untuk aplikasi dan memvalidasi model ini.