Bootstrap vs pengujian hipotesis permutasi

37

Ada beberapa teknik resampling populer, yang sering digunakan dalam praktik, seperti bootstrap, uji permutasi, jackknife, dll. Ada banyak artikel & buku yang membahas teknik ini, misalnya Philip I Good (2010) Permutasi, Parametrik, dan Bootstrap Tests Hipotesis

Pertanyaan saya adalah teknik resampling mana yang mendapatkan popularitas lebih dan lebih mudah untuk diterapkan? Tes bootstrap atau permutasi?

Tu.2
sumber
8
Popularitas bukanlah ukuran kualitas yang baik. Dilihat dari jumlah kutipan (pelanggan), McDonalds adalah restoran yang jauh lebih populer (lebih baik?) Daripada perusahaan Michelin bintang tiga mana pun. Apakah Anda akan membawa pembicara seminar Anda berikutnya ke McDonalds?
Tugas

Jawaban:

68

Keduanya populer dan bermanfaat, tetapi terutama untuk kegunaan yang berbeda. Tes permutasi adalah yang terbaik untuk menguji hipotesis dan bootstrap yang terbaik untuk memperkirakan interval kepercayaan.

Tes permutasi menguji hipotesis nol yang dapat dipertukarkan, yaitu hanya pengambilan sampel acak / pengacakan yang menjelaskan perbedaan yang terlihat. Ini adalah kasus umum untuk hal-hal seperti tes-t dan ANOVA. Ini juga dapat diperluas ke hal-hal seperti deret waktu (hipotesis nol bahwa tidak ada korelasi serial) atau regresi (hipotesis nol tidak ada hubungan). Tes permutasi dapat digunakan untuk membuat interval kepercayaan, tetapi membutuhkan lebih banyak asumsi, yang mungkin atau mungkin tidak masuk akal (sehingga metode lain lebih disukai). Tes Mann-Whitney / Wilcoxon sebenarnya adalah kasus khusus dari tes permutasi, sehingga mereka jauh lebih populer daripada yang disadari oleh beberapa orang.

Bootstrap memperkirakan variabilitas proses pengambilan sampel dan bekerja dengan baik untuk memperkirakan interval kepercayaan. Anda dapat melakukan tes hipotesis dengan cara ini tetapi cenderung kurang kuat daripada tes permutasi untuk kasus-kasus yang dimiliki asumsi tes permutasi.

Greg Snow
sumber
2
Terima kasih atas jawabannya. Mengapa interval kepercayaan bootstrap kurang kuat daripada tes permutasi? Berapa banyak? Bisakah seseorang mencirikan situasi di mana ia secara signifikan kurang kuat? Tampaknya merupakan keuntungan untuk dapat menunjukkan interval kepercayaan, jadi dalam hal itu bootstrap tampaknya lebih berharga.
dfrankow
2
@dfrankow, 2 metode menggunakan asumsi yang berbeda. Untuk sampel besar dan perbedaan keduanya akan baik-baik saja, tetapi dengan sampel / perbedaan yang lebih kecil tes permutasi lebih mungkin untuk menemukan perbedaan dan sesuai. Lihat jawaban ini: stats.stackexchange.com/questions/112147/… untuk contoh-contoh di mana ukuran bootstrapnya bahkan tidak benar (terlalu sering ditolak ketika nol benar).
Greg Snow
Bukankah permutasi menguji variasi pada bootstrap?
Vicki B
@VickiB, tes Bootstraping dan Permutasi sering disebutkan bersama-sama, tetapi meningkatkan sampel dengan penggantian dan sampel permutasi tanpa penggantian yang membuat perbedaan dalam apa yang dapat mereka lakukan dan seberapa kuat mereka.
Greg Snow
8

Pertanyaan saya adalah teknik resampling mana yang mendapatkan
tes Bootstrapping atau permutasi yang lebih populer ?

  1. Bootstrap sebagian besar tentang menghasilkan kesalahan standar sampel besar atau interval kepercayaan; tes permutasi seperti namanya sebagian besar tentang pengujian. (Namun masing-masing dapat disesuaikan untuk digunakan untuk tugas lain.)

  2. Bagaimana kita menilai popularitas? Jika kita melihat bidang-bidang seperti psikologi dan pendidikan, kita dapat menemukan banyak penggunaan tes berbasis peringkat seperti Wilcoxon-Mann-Whitney, tes peringkat yang ditandatangani, tes korelasi-peringkat dan sebagainya. Ini semua adalah tes permutasi (di sisi lain ada banyak contoh di mana tes permutasi dari data asli dapat digunakan sebagai gantinya tetapi biasanya tidak). Di beberapa area aplikasi lain, tes permutasi jarang akan digunakan, tetapi popularitas yang bervariasi di seluruh area aplikasi kadang-kadang mengatakan lebih banyak tentang budaya lokal dari area mana saja daripada kegunaan.

lebih mudah diimplementasikan?

Dalam banyak kasus - terutama yang lebih sederhana - mereka hampir persis sama mudah - pada dasarnya perbedaan antara pengambilan sampel dengan penggantian dan pengambilan sampel tanpa penggantian.

Dalam beberapa kasus yang lebih kompleks, bootstrap lebih mudah dilakukan karena (melihatnya dari sudut pandang pengujian) ia beroperasi di bawah alternatif daripada nol (setidaknya implementasi naif akan - melakukannya sehingga bekerja dengan baik mungkin jauh lebih rumit).

Tes permutasi yang tepat dapat menjadi sulit dalam kasus yang lebih kompleks karena kuantitas yang dapat ditukar yang tepat mungkin tidak dapat diobservasi - seringkali kuantitas yang hampir dapat ditukar dapat diganti dengan harga ketepatan (dan menjadi benar-benar bebas-distribusi).

Bootstrapping pada dasarnya menyerah pada kriteria ketepatan yang sesuai (cakupan tepat interval) sejak awal, dan sebaliknya berfokus pada upaya untuk mendapatkan cakupan yang cukup baik dalam sampel besar (kadang-kadang dengan keberhasilan yang kurang dari yang dapat dipahami; jika Anda belum memeriksa, jangan anggap bootstrap Anda memberikan cakupan yang Anda harapkan).

Tes permutasi dapat bekerja pada sampel kecil (meskipun pilihan tingkat signifikansi yang terbatas kadang-kadang bisa menjadi masalah dengan sampel yang sangat kecil), sedangkan bootstrap adalah teknik sampel besar (jika Anda menggunakannya dengan sampel kecil, dalam banyak kasus hasilnya mungkin tidak sangat bermanfaat).

Saya jarang melihat mereka sebagai pesaing pada masalah yang sama, dan telah menggunakannya pada masalah nyata (berbeda) - seringkali akan ada pilihan alami untuk melihatnya.

Ada manfaat untuk keduanya, tetapi tidak ada dalam panacaea. Jika Anda berharap untuk mengurangi upaya belajar dengan hanya berfokus pada salah satu dari mereka, Anda kemungkinan akan kecewa - keduanya adalah bagian penting dari kotak peralatan resampling.

Glen_b -Reinstate Monica
sumber
1
Bisakah Anda menjelaskan apa artinya " kuantitas yang dapat ditukar yang cocok mungkin tidak dapat diamati "? (1 jelas)
usεr11852 kata mengembalikan Monic
1
Pertimbangkan mencoba melakukan tes permutasi dalam percobaan dengan dua faktor dan kovariat (atau hanya mempertimbangkan regresi dengan beberapa prediktor). Dengan independensi dan di bawah nol tanpa efek sama sekali, pengamatan dapat dipertukarkan dan karena itu Anda dapat menguji hipotesis itu, tetapi Anda tidak memiliki cara untuk membangun tes permutasi hanya faktor-faktor (karena Anda berharap kovariat memiliki efek dan mengujinya menjadi nol tidak menarik); sama halnya Anda tidak dapat membuat tes permutasi hanya satu dari dua faktor. ...
ctd
1
ctd ... Ada kuantitas yang dapat ditukar yang jelas jika Anda mengetahui koefisien populasi yang tidak Anda uji (dan kesalahan akan selalu dapat ditukar) tetapi Anda tidak dapat mengamati hal-hal itu. Jika Anda mengganti taksiran koefisien atau kesalahan (yaitu residu) jumlahnya lebih lama dapat ditukar. Namun di bawah beberapa kondisi tertentu mereka kira-kira dapat ditukar (beberapa orang menganjurkan melakukan hal ini dengan tepat) .... dan jika Anda melakukannya Anda berakhir dengan sesuatu yang mirip dengan bootstrap tetapi dengan pengambilan sampel tanpa penggantian alih-alih pengambilan sampel dengan penggantian.
Glen_b -Reinstate Monica
Terima kasih; Saya akan memikirkan hal ini dengan cermat. Saya curiga ada sesuatu yang lebih dalam untuk saya pelajari di sini. :)
usεr11852 mengatakan Reinstate Monic
1
@NULL untuk beberapa alasan saya melewatkan permintaan Anda untuk referensi. Untuk titik awal, beberapa referensi di sini harus dilakukan: davegiles.blogspot.com/2019/04/…
Glen_b -Reinstate Monica