Ada beberapa teknik resampling populer, yang sering digunakan dalam praktik, seperti bootstrap, uji permutasi, jackknife, dll. Ada banyak artikel & buku yang membahas teknik ini, misalnya Philip I Good (2010) Permutasi, Parametrik, dan Bootstrap Tests Hipotesis
Pertanyaan saya adalah teknik resampling mana yang mendapatkan popularitas lebih dan lebih mudah untuk diterapkan? Tes bootstrap atau permutasi?
Jawaban:
Keduanya populer dan bermanfaat, tetapi terutama untuk kegunaan yang berbeda. Tes permutasi adalah yang terbaik untuk menguji hipotesis dan bootstrap yang terbaik untuk memperkirakan interval kepercayaan.
Tes permutasi menguji hipotesis nol yang dapat dipertukarkan, yaitu hanya pengambilan sampel acak / pengacakan yang menjelaskan perbedaan yang terlihat. Ini adalah kasus umum untuk hal-hal seperti tes-t dan ANOVA. Ini juga dapat diperluas ke hal-hal seperti deret waktu (hipotesis nol bahwa tidak ada korelasi serial) atau regresi (hipotesis nol tidak ada hubungan). Tes permutasi dapat digunakan untuk membuat interval kepercayaan, tetapi membutuhkan lebih banyak asumsi, yang mungkin atau mungkin tidak masuk akal (sehingga metode lain lebih disukai). Tes Mann-Whitney / Wilcoxon sebenarnya adalah kasus khusus dari tes permutasi, sehingga mereka jauh lebih populer daripada yang disadari oleh beberapa orang.
Bootstrap memperkirakan variabilitas proses pengambilan sampel dan bekerja dengan baik untuk memperkirakan interval kepercayaan. Anda dapat melakukan tes hipotesis dengan cara ini tetapi cenderung kurang kuat daripada tes permutasi untuk kasus-kasus yang dimiliki asumsi tes permutasi.
sumber
Jika Anda menggunakan R, maka semuanya mudah diimplementasikan. Lihat, misalnya, http://www.burns-stat.com/pages/Tutor/bootstrap_resampling.html
Saya akan mengatakan ada teknik utama ketiga: validasi silang. Ini digunakan untuk menguji kekuatan prediksi model.
sumber
Bootstrap sebagian besar tentang menghasilkan kesalahan standar sampel besar atau interval kepercayaan; tes permutasi seperti namanya sebagian besar tentang pengujian. (Namun masing-masing dapat disesuaikan untuk digunakan untuk tugas lain.)
Bagaimana kita menilai popularitas? Jika kita melihat bidang-bidang seperti psikologi dan pendidikan, kita dapat menemukan banyak penggunaan tes berbasis peringkat seperti Wilcoxon-Mann-Whitney, tes peringkat yang ditandatangani, tes korelasi-peringkat dan sebagainya. Ini semua adalah tes permutasi (di sisi lain ada banyak contoh di mana tes permutasi dari data asli dapat digunakan sebagai gantinya tetapi biasanya tidak). Di beberapa area aplikasi lain, tes permutasi jarang akan digunakan, tetapi popularitas yang bervariasi di seluruh area aplikasi kadang-kadang mengatakan lebih banyak tentang budaya lokal dari area mana saja daripada kegunaan.
Dalam banyak kasus - terutama yang lebih sederhana - mereka hampir persis sama mudah - pada dasarnya perbedaan antara pengambilan sampel dengan penggantian dan pengambilan sampel tanpa penggantian.
Dalam beberapa kasus yang lebih kompleks, bootstrap lebih mudah dilakukan karena (melihatnya dari sudut pandang pengujian) ia beroperasi di bawah alternatif daripada nol (setidaknya implementasi naif akan - melakukannya sehingga bekerja dengan baik mungkin jauh lebih rumit).
Tes permutasi yang tepat dapat menjadi sulit dalam kasus yang lebih kompleks karena kuantitas yang dapat ditukar yang tepat mungkin tidak dapat diobservasi - seringkali kuantitas yang hampir dapat ditukar dapat diganti dengan harga ketepatan (dan menjadi benar-benar bebas-distribusi).
Bootstrapping pada dasarnya menyerah pada kriteria ketepatan yang sesuai (cakupan tepat interval) sejak awal, dan sebaliknya berfokus pada upaya untuk mendapatkan cakupan yang cukup baik dalam sampel besar (kadang-kadang dengan keberhasilan yang kurang dari yang dapat dipahami; jika Anda belum memeriksa, jangan anggap bootstrap Anda memberikan cakupan yang Anda harapkan).
Tes permutasi dapat bekerja pada sampel kecil (meskipun pilihan tingkat signifikansi yang terbatas kadang-kadang bisa menjadi masalah dengan sampel yang sangat kecil), sedangkan bootstrap adalah teknik sampel besar (jika Anda menggunakannya dengan sampel kecil, dalam banyak kasus hasilnya mungkin tidak sangat bermanfaat).
Saya jarang melihat mereka sebagai pesaing pada masalah yang sama, dan telah menggunakannya pada masalah nyata (berbeda) - seringkali akan ada pilihan alami untuk melihatnya.
Ada manfaat untuk keduanya, tetapi tidak ada dalam panacaea. Jika Anda berharap untuk mengurangi upaya belajar dengan hanya berfokus pada salah satu dari mereka, Anda kemungkinan akan kecewa - keduanya adalah bagian penting dari kotak peralatan resampling.
sumber