Apakah ada cara yang berguna untuk mendefinisikan interval kepercayaan “terbaik”?

Definisi standar (katakanlah) interval kepercayaan 95% (CI) hanya mensyaratkan bahwa probabilitas bahwa itu berisi parameter sebenarnya adalah 95%. Jelas, ini tidak unik. The bahasa Aku pernah melihat menunjukkan bahwa di antara banyak CI valid, biasanya masuk akal untuk menemukan sesuatu seperti terpendek, atau simetris, atau dikenal tepatnya bahkan ketika beberapa parameter distribusi tidak diketahui, dll Dengan kata lain, ada tampaknya tidak ada hierarki yang jelas dari apa CI "lebih baik" dari yang lain.

Namun, saya pikir satu definisi setara CI adalah bahwa ia terdiri dari semua nilai sedemikian sehingga hipotesis nol bahwa parameter sebenarnya sama dengan nilai yang tidak akan ditolak pada tingkat signifikansi yang sesuai setelah melihat sampel yang direalisasikan. Ini menunjukkan bahwa selama kita memilih tes yang kita sukai, kita dapat secara otomatis membuat CI. Dan ada preferensi standar di antara tes berdasarkan konsep UMP (atau UMP di antara tes yang tidak bias).

Apakah ada manfaat dalam mendefinisikan CI sebagai yang sesuai dengan tes UMP atau sesuatu seperti itu?

Agak panjang untuk komentar. Lihatlah diskusi tentang UMP di makalah ini "Kekeliruan menempatkan kepercayaan dalam interval kepercayaan" oleh Morey et al. Secara khusus, ada beberapa contoh di mana:

"Yang lebih anehnya, interval dari prosedur UMP awalnya bertambah lebar dengan ketidakpastian dalam data, tetapi ketika lebar kemungkinan lebih besar dari 5 meter, lebar interval UMP berbanding terbalik dengan ketidakpastian dalam data, seperti interval nonparametrik. UMP dan prosedur distribusi sampel berbagi perbedaan yang meragukan bahwa CI mereka tidak dapat digunakan untuk bekerja mundur untuk pengamatan. Meskipun menjadi prosedur "paling kuat", prosedur UMP jelas membuang informasi penting. "

Penolakan hanya bagian dari kesimpulan, jangan terjebak di sana. Anda sedang membuat keputusan. Katakanlah Anda perlu memutuskan apakah akan pergi ke mekanik ketika lampu "periksa mesin" menyala atau lupakan saja.

Jadi, hipotesis nol Anda adalah bahwa mesin baik-baik saja, dan cahayanya hanyalah gangguan. Lampu periksa mesin adalah tes Anda. Katakanlah nilai-p adalah 5%, sedangkan signifikansi Anda adalah , sehingga Anda tidak dapat menolak nol, dan melanjutkan bisnis Anda. Inilah cara kerja signifikansi statistik dalam bentuk naifnya.$\alpha=0.01$

Itu bukan bagaimana keputusan harus dibuat dan bagaimana signifikansi ekonomi harus diperhitungkan. Anda harus menghitung biaya penggunaan dengan null vs. menolaknya dan memilih hipo alternatif.

Saya benar-benar menghilangkan hipotesis alternatif dalam contoh di atas, karena begitulah semua orang melakukannya: mereka pikir hipo alternatif hanyalah semacam formalitas seperti curtsy. Dalam kehidupan nyata, alternatif sama pentingnya dengan nol, karena itulah cara Anda menghitung biaya untuk tidak memilih nol. Hanya ketika Anda memperhitungkan biaya nol dan alternatif, Anda harus membuat keputusan untuk pergi atau tidak pergi ke mekanik. Interval p-value dan kepercayaan diri mereka sendiri tidak memiliki arti dalam hal ini, hanya dalam hubungannya dengan biaya mereka menjadi bermakna