Apakah Fisher's LSD seburuk yang mereka katakan?

22

Ketika kami melakukan percobaan (pada ukuran sampel kecil (biasanya ukuran sampel per kelompok perlakuan sekitar 7 ~ 8)) pada dua kelompok, kami menggunakan uji-t untuk menguji perbedaan. Namun, ketika kami melakukan ANOVA (jelas untuk lebih dari dua kelompok), kami menggunakan sesuatu di sepanjang garis Bonferroni (LSD / # perbandingan berpasangan) atau Tukey sebagai post hoc, dan sebagai mahasiswa, saya telah diperingatkan dari menggunakan Fisher's Least Significant Difference (LSD).

Sekarang masalahnya, LSD mirip dengan uji-t berpasangan (apakah saya benar?), Dan satu-satunya hal yang tidak diperhitungkan adalah bahwa kami melakukan beberapa perbandingan. Seberapa pentingkah saat berurusan dengan katakanlah 6 kelompok, jika ANOVA itu sendiri signifikan?

Atau dengan kata lain, apakah ada alasan ilmiah / statistik untuk menggunakan Fisher's LSD?

Rover Eye
sumber
1
Bisakah Anda mengklarifikasi siapa ' mereka ' dan memasukkan contoh dari apa yang mereka katakan? (Seburuk apa kata mereka? Mari kita perjelas apa yang kita diskusikan di sini.) Saya telah melihat beberapa kritik terhadap LSD, beberapa di antaranya dibenarkan, tetapi saya tidak tahu bahwa saya telah melihat apa yang telah Anda bahas. melihat, atau bahwa apa yang saya lihat akan memerlukan karakterisasi yang Anda miliki di sana.
Glen_b -Reinstate Monica
+1 jika Anda datang ke sini mencoba mencari tahu tumpukan situs pertukaran yang berbicara tentang Timothy Learys LSD
PW Kad
@Glen_b Mereka merujuk pada ilmuwan dalam ilmu Biomedis. Kata-kata profesor saya adalah, mengutip "Gunakan Bonferroni atau Tukey. Gunakan LSD hanya dalam keputusasaan. Jika itu tidak membantu, gunakan LSD lain :)"
Rover Eye

Jawaban:

10

Fisher's LSD memang merupakan serangkaian uji-t berpasangan, dengan masing-masing tes menggunakan mean squared error dari ANOVA yang signifikan sebagai estimasi varians gabungan (dan secara alami mengambil derajat kebebasan yang terkait). Bahwa ANOVA menjadi signifikan merupakan kendala tambahan dari tes ini.

Ini membatasi tingkat kesalahan berdasarkan keluarga menjadi alpha dalam kasus khusus 3 kelompok saja. Howell memiliki penjelasan yang sangat bagus dan relatif sederhana tentang bagaimana melakukannya di Bab 16 bukunya, Fundamental Statistics for the Behavioral Sciences, edisi ke-8, David C. Howell .

Di atas 3 grup alfa mengembang dengan cepat (seperti yang dicatat oleh @Alexis di atas). Ini tentu tidak sesuai untuk 6 kelompok. Saya percaya bahwa penerapan terbatas inilah yang menyebabkan kebanyakan orang menyarankan untuk mengabaikannya sebagai suatu pilihan.

Marcus Morrisey
sumber
18

Seberapa penting perbandingan ganda ketika berhadapan dengan 6 kelompok? Baiklah ... dengan enam grup yang Anda hadapi maksimal kemungkinanperbandinganpost hocberpasangan. Saya akan membiarkan Randall Munroe yang tak terhindarkan membahas pentingnya beberapa perbandingan:6(61)2=15

masukkan deskripsi gambar di sini

Dan saya akan menambahkan bahwa jika, seperti dalam kalimat pembuka Anda, Anda menyarankan bahwa kadang-kadang Anda memiliki tujuh kelompok, maka jumlah maksimum tes berpasangan post hoc adalah 7(71)2=21

Alexis
sumber
1
Point dibuat dengan baik. Namun, tidakkah hal ini menimbulkan pertanyaan, bahwa jika kita memiliki sangat sedikit kelompok (katakanlah 3 (3 berpasangan) atau 4 (6 berpasangan)) kemungkinan menemukan nilai signifikan secara kebetulan rendah? (Sekali lagi, LSD dilindungi oleh signifikansi ANOVA)
Rover Eye
2
Saya tidak yakin saya mengerti apa yang Anda tanyakan setelah itu. Jika Anda melakukan lebih dari satu uji hipotesis, maka makna substantif dariα
2
@Rover Memiliki 6 tes berpasangan yang semuanya lulus dengan p> 0,05 berarti Anda sekarang memiliki p> 0,26, itu perubahan yang agak signifikan.
Voo
Saya tidak meminta setelah sesuatu yang praktis, hanya merenung keras. Tapi maksud Anda dibuat dengan baik. @ Benar, kesalahannya cenderung berlipat ganda. Terima kasih kalian berdua.
Rover Eye
10

Tes Fisher sama buruknya dengan semua orang mengatakan itu dari sudut pandang Neyman-Pearson dan jika Anda melakukan apa yang tersirat pertanyaan Anda --- setelah tes ANOVA yang signifikan setiap perbedaan individu. Anda dapat melihat ini di banyak makalah yang diterbitkan . Tetapi, menguji semua perbedaan setelah ANOVA, atau salah satunya, tidak perlu atau direkomendasikan. Dan, uji Fisher tidak dibuat di bawah teori kesimpulan statistik Neyman-Pearson.

Penting untuk diingat bahwa, ketika Fisher mengusulkan LSD, dia tidak benar-benar menganggap beberapa pengujian sebagai masalah penting karena dia tidak menganggap signifikansi cutoff sebagai aturan yang keras dan cepat untuk memutuskan apakah hasilnya penting atau tidak. Seseorang dapat membangun LSD sebagai cara mudah untuk membaca dengan teliti di mana mungkin ada hasil yang signifikan tetapi tidak wasit dari apa yang bermakna. Ingat, itu Fisher yang mengatakan bahwa Anda harus menjalankan lebih banyak subjek jika p > 0,05.

Dan mengapa Anda berpikir bahwa menguji semuanya adalah ide yang bagus? Pertimbangkan mengapa Anda menjalankan ANOVA sejak awal. Anda mungkin diajari bahwa itu karena menjalankan beberapa uji-t adalah bermasalah, karena Anda akrab dengan pertanyaan Anda. Lalu mengapa Anda menjalankannya, atau yang setara setelahnya? Saya tahu itu terjadi tetapi saya belum pernah perlu menjalankan tes setelah ANOVA. ANOVA memberi tahu Anda bahwa pola data Anda bukan serangkaian nilai yang sama, bahwa mungkin ada beberapa makna di sana. Banyak orang menutup telepon dengan hati-hati bahwa tes tidak memberi tahu Anda di mana bit-bit bermakna berada tetapi mereka lupa bahwa data, dan teori, mengatakan itu kepada Anda.

John
sumber
Terima kasih atas surat-suratnya. Anda mengajukan pertanyaan mengapa orang menggunakan post-hoc setelah ANOVA. Sejujurnya, aku benar-benar tidak tahu. Saya diberitahu bahwa ANOVA adalah tes gumpalan dan seperti yang Anda sebutkan, kami perlu mencari tahu di mana letak signifikansinya. Dan jujur ​​saja, saya tertarik untuk mengetahui bagaimana Anda melaporkan ANOVA saja.
Rover Eye
1
Berikan saya pola data dan saya akan memberi tahu Anda bagaimana saya akan melaporkan ANOVA. Versi singkatnya adalah Anda menggambarkan data. Item yang sangat dekat satu sama lain akan dikelompokkan dalam deskripsi dan yang berjauhan dianggap sebagai perbedaan yang berarti (tetapi semuanya relatif). Katakanlah saya memiliki A = 20, B = 58, C = 61, p = 0,03. Saya akan melaporkan statistik dan mengatakan bahwa A lebih rendah dari B dan C, yang serupa. Jadi, itu semua tergantung data. Saya dapat membayangkan urutan item menjadi sedikit merepotkan, (A = 10, B = 20, C = 30) dalam beberapa cara yang dapat disimpulkan tetapi mungkin saya harus melakukan regresi.
John
Itu cara yang cukup menarik untuk melaporkan ANOVA dan saya bisa melihat apa yang Anda maksud. Meskipun saya pasti dapat mendiskusikan hal ini dengan penyelia saya, saya tidak terlalu yakin apakah mereka akan melanggar "norma" pelaporan ANOVA tanpa posthoc. Mencoba menemukan publikasi ilmiah yang telah dilaporkan menggunakan metode ini.
Rover Eye
2
Sesuatu yang berarti dalam data. Cukup sering jelas apa yang harus terjadi. Melakukan post hoc untuk mendemonstrasikan yang jelas hanya menunjukkan Anda tidak tahu apa yang dilakukan ANOVA sejak awal.
John
6

Alasan di balik LSD Fisher dapat diperluas ke kasus di luar N = 3.

Saya akan membahas kasus empat kelompok secara rinci. Untuk menjaga tingkat kesalahan Tipe-I yang sesuai dengan keluarga pada 0,05 atau di bawah, faktor koreksi perbandingan-ganda 3 (yaitu alpha per-perbandingan 0,05 / 3) cukup, meskipun ada enam perbandingan post-hoc di antara empat kelompok. Hal ini karena:

  • dalam hal keempat mean sejati adalah sama, omnibus Anova selama empat kelompok membatasi tingkat kesalahan kekeluargaan menjadi 0,05;
  • dalam hal tiga dari rata-rata yang sebenarnya sama dan yang keempat berbeda dari mereka, hanya ada tiga perbandingan yang berpotensi menghasilkan kesalahan Tipe-I;
  • dalam hal dua mean sebenarnya sama dan berbeda dari dua lainnya, yang sama satu sama lain, hanya ada dua perbandingan yang berpotensi menghasilkan kesalahan Tipe-I.

Ini menguras kemungkinan. Dalam semua kasus, probabilitas menemukan satu atau lebih p di bawah 0,05 untuk kelompok yang rata-rata sejatinya sama, tetap pada atau di bawah 0,05 jika faktor koreksi untuk beberapa perbandingan adalah 3, dan ini adalah definisi dari tingkat kesalahan kekeluargaan.

Alasan empat kelompok ini adalah generalisasi dari penjelasan Fisher untuk metode tiga kelompok Least Significant Difference. Untuk kelompok N , faktor koreksi, jika uji omnibus Anova signifikan, adalah ( N -1) ( N -2) / 2. Jadi koreksi Bonferroni, dengan faktor N ( N -1) / 2, terlalu kuat. Cukuplah untuk menggunakan faktor koreksi alfa 1 untuk N = 3 (inilah mengapa Fisher's LSD bekerja untuk N = 3), faktor 3 untuk N = 4, faktor 6 untuk N = 5, faktor 10 untuk N = 6, dan seterusnya.

Paul Boersma
sumber
+1. Ini merupakan tambahan yang bagus untuk utas. Selamat datang di situs ini!
Amuba kata Reinstate Monica
Setiap situasi yang Anda jelaskan tidak memerlukan pengujian post hoc.
John
1
Bisakah Anda menunjukkan referensi literatur untuk itu? (N-1)(N-2)/2hasil?
rvl