Kelayakan tes berdasarkan pada variabel acak diskrit

Untuk statistik uji diskrit, distribusi yang sesuai $p$-nilai terpisah dan stokastik lebih besar dari distribusi seragam. Oleh karena itu uji hipotesis yang sesuai berdasarkan nilai-p (menolak jika nilai-p kurang dari 0,05, misalnya) selalu konservatif dalam arti bahwa kemungkinan membuat kesalahan Tipe I akan lebih kecil dari 0,05. Saya tahu kadang-kadang dianjurkan untuk menggunakan nilai tengah. Tapi saya pikir tidak ada bukti bahwa menggunakan nilai tengah masih mengontrol kesalahan Tipe I. Apakah ada cara lain untuk mengurangi sifat konservatif? Adakah yang akrab dengan bidang ini dapat memberikan petunjuk atau menunjukkan beberapa literatur yang ada tentang ini?

Saya belum pernah mendengarnya menyarankan untuk menggunakan nilai tengah p. Ini tidak akan serta merta mengendalikan kesalahan tipe satu Anda. Seperti yang dinyatakan sebelumnya, cara yang benar untuk mencapai ukuran 0,05 adalah dengan melakukan tes acak. Namun, kesalahan tipe satu Anda sudah benar apakah tes ini dilakukan secara acak atau tidak. Dalam kasus konservatif, non-acak, prosedur pengujian Anda memiliki ukuran lebih kecil dari level alpha nominal. Karena tingkat alfa 0,05 adalah arbitrer, itu harus cukup untuk melaporkan ukuran tes.

Salah satu metode untuk mengurangi kekonsistenan dari beberapa statistik uji diskrit

(atau lebih umum, hanya mendapatkan lebih banyak pilihan tingkat signifikansi)

Tergantung pada tes, satu pendekatan yang kadang berguna yang tidak memerlukan pengacakan adalah dengan menambahkan sebagian kecil dari statistik lain yang masuk akal untuk memutuskan hubungan.

Sebagai contoh, bayangkan kita menguji tau Kendall tetapi dalam sampel berukuran kecil hingga sedang, itu masih sangat terpisah, sehingga sulit untuk mencapai mendekati tingkat signifikansi yang diinginkan.

Untuk konkret, katakanlah Anda ingin level dekat $\alpha = 10\%$ pada tes dua sisi, dengan $n=7$.

Tingkat signifikansi yang dapat dicapai adalah 6,9% atau 13,6%; tidak ada yang sangat dekat dengan apa yang dibutuhkan!

Satu hal yang bisa kita lakukan adalah menambahkan sebagian kecil dari statistik yang berbeda, yang tidak berkorelasi sempurna dengan yang kita miliki; ini berarti bahwa banyak pengaturan yang memberikan statistik yang sebelumnya terikat tidak lagi terikat, meskipun nilainya dekat.

Misalnya, jika kita menggunakan Spearman rho untuk memutus ikatan, misalnya dengan melihat $0.999 \tau + 0.001 \rho$, nilainya hampir identik dengan sebelumnya, tetapi tingkat signifikansi yang dapat dicapai sekarang 8,9% dan 10,9% - tidak sempurna , tetapi jauh lebih baik daripada sebelumnya - dan dalam hal ini, statistik masih bebas distribusi.

Perhatikan bahwa bobot menyala $\rho$ dapat dibuat sekecil yang diinginkan.

Berikut ilustrasi - hitam adalah ECDF dari korelasi Kendall asli, sedangkan merah adalah versi 'break ties'. Saya telah membuat kontribusi relatif Spearman jauh lebih besar di sini (bobot 0,1) sehingga Anda dapat melihat efeknya lebih jelas:

Mari kita memperbesar wilayah dekat level 2,5% dan 5% di ujung kiri (satu ekor, agar sesuai dengan 5% dan 10% dua sisi):

Seperti yang kita lihat, kita bisa lebih dekat ke tingkat signifikansi yang diinginkan dengan cara ini, sambil mempertahankan hampir semua properti yang diinginkan dengan tingkat kedekatan yang kita inginkan.

Ada berbagai penyesuaian untuk membuat hasilnya lebih seperti Kendall (misalnya untuk mengaturnya sehingga harapan penyesuaian kecil untuk korelasi Kendall di setiap korelasi Kendall adalah nol, tetapi itu jarang menjadi masalah bagi saya).

[Jika Anda benar-benar tidak tahu yang mana dari Kendall dan Spearman yang ingin Anda gunakan untuk korelasi nonparametrik, campuran yang lebih rata memiliki distribusi yang tampak lebih normal (meskipun agak sulit untuk mengerjakan variansnya jika Anda tidak Tentukan distribusi yang tepat - satu fitur bagus menggunakan versi dengan hampir semua statistik atau lainnya adalah Anda dapat menggunakan perkiraan normal yang ada dengan lebih mudah, bahkan jika itu bukan distribusi yang baik).]

Pendekatan yang sama untuk mendapatkan tingkat signifikansi 'lebih baik' (dan nilai-p) dapat bekerja dengan tes lain; Saya telah melihatnya digunakan dengan tes tanda (memutuskan hubungan dengan statistik bertanda-tangan yang ditinjau ulang dengan tepat) misalnya.