Saya punya pertanyaan metodologis umum. Mungkin sudah dijawab sebelumnya, tetapi saya tidak dapat menemukan utas yang relevan. Saya akan menghargai petunjuk untuk kemungkinan duplikat.
( Ini yang sangat bagus, tetapi tanpa jawaban. Ini juga memiliki semangat yang sama, bahkan dengan jawaban, tetapi yang terakhir terlalu spesifik dari sudut pandang saya. Ini juga dekat, ditemukan setelah memposting pertanyaan.)
Temanya adalah, bagaimana melakukan inferensi statistik yang valid ketika model dirumuskan sebelum melihat data gagal menggambarkan proses pembuatan data secara memadai . Pertanyaannya sangat umum, tetapi saya akan menawarkan contoh khusus untuk menggambarkan hal tersebut. Namun, saya mengharapkan jawaban untuk fokus pada pertanyaan metodologis umum daripada memilih rincian dari contoh tertentu.
Pertimbangkan contoh konkret: dalam pengaturan rangkaian waktu, saya menganggap proses pembuatan data menjadi dengan . Saya bertujuan untuk menguji hipotesis pokok bahasan bahwa . Saya menggunakan ini dalam bentuk model untuk mendapatkan mitra statistik yang bisa diterapkan dari hipotesis materi pelajaran saya, dan ini adalah Sejauh ini bagus. Tetapi ketika saya mengamati data, saya menemukan bahwa model tidak cukup menggambarkan data. Katakanlah, ada tren linier, sehingga proses pembuatan data sebenarnya adalah dengan ut∼i. i. N(0,σ 2 u )dy
Bagaimana saya bisa melakukan inferensi statistik yang valid pada hipotesis subjek-materi saya ?
Jika saya menggunakan model asli, asumsinya dilanggar dan penaksir tidak memiliki distribusi yang bagus seperti yang seharusnya. Oleh karena itu, saya tidak dapat menguji hipotesis dengan menggunakan uji- . t
Jika, setelah melihat data, saya beralih dari model ke dan mengubah hipotesis statistik saya dari menjadi , asumsi model puas dan saya dapatkan estimator yang berperilaku baik dari dan dapat menguji tanpa kesulitan menggunakan uji- . Namun, beralih dari ke( 2 ) H 0 : β 1 = 1 H ′ 0 : γ 1 = 1 γ 1 H ′ 0 t ( 1 ) ( 2 )
diinformasikan oleh set data yang ingin saya uji hipotesis. Hal ini membuat distribusi estimator (dan juga inferensi) bergantung pada perubahan model yang mendasarinya, yang disebabkan oleh data yang diamati. Jelas, pengenalan pengkondisian semacam itu tidak memuaskan.
Apakah ada jalan keluar yang bagus? (Jika tidak sering, maka mungkin beberapa alternatif Bayesian?)
sumber
Jawaban:
Jalan keluarnya benar-benar keluar dari tes sampel, yang benar. Bukan di mana Anda membagi sampel menjadi pelatihan dan bertahan seperti dalam crossvalidation, tetapi prediksi yang sebenarnya. Ini bekerja sangat baik dalam ilmu alam. Sebenarnya itu satu-satunya cara kerjanya. Anda membangun teori pada beberapa data, maka Anda diharapkan untuk datang dengan prediksi sesuatu yang belum diamati. Jelas, ini tidak bekerja di sebagian besar ilmu sosial (disebut) seperti ekonomi.
Dalam industri ini bekerja seperti dalam sains. Misalnya, jika algoritma perdagangan tidak berfungsi, Anda akan kehilangan uang, pada akhirnya, dan kemudian Anda meninggalkannya. Validasi silang dan set data pelatihan digunakan secara luas dalam pengembangan dan membuat keputusan untuk menggunakan algoritme, tetapi setelah diproduksi, ini semua tentang menghasilkan uang atau kehilangan. Sangat sederhana dari uji sampel.
sumber
Anda dapat mendefinisikan "prosedur gabungan" dan menyelidiki karakteristiknya. Katakanlah Anda mulai dari model sederhana dan memungkinkan satu, dua atau tiga model yang lebih kompleks (atau nonparametrik) dipasang jika model sederhana tidak cocok. Anda perlu menentukan aturan formal yang menurutnya Anda memutuskan untuk tidak cocok dengan model sederhana tetapi salah satu yang lain (dan yang mana). Anda juga perlu memiliki tes untuk hipotesis Anda yang menarik untuk diterapkan di bawah semua model yang terlibat (parametrik atau nonparametrik).
Dengan pengaturan seperti itu Anda dapat mensimulasikan karakteristik, yaitu, dengan berapa persen hipotesis nol Anda akhirnya ditolak jika itu benar, dan dalam kasus beberapa penyimpangan bunga. Anda juga dapat mensimulasikan dari semua model yang terlibat, dan melihat hal-hal seperti level kondisional dan kekuatan kondisional mengingat bahwa data berasal dari model X, Y, atau Z, atau mengingat bahwa prosedur pengujian kesalahan spesifikasi model memilih model X, Y, atau Z.
Anda mungkin menemukan bahwa pemilihan model tidak banyak merugikan dalam arti bahwa level yang dicapai masih sangat dekat dengan level yang Anda kejar, dan kekuatannya OK jika tidak sempurna. Atau Anda mungkin menemukan bahwa pemilihan model yang bergantung pada data benar-benar mengacaukan segalanya; itu akan tergantung pada detailnya (jika prosedur pemilihan model Anda sangat andal, kemungkinannya level dan daya tidak akan terpengaruh dengan kuat).
Sekarang ini tidak cukup sama dengan menentukan satu model dan kemudian melihat data dan memutuskan "oh, saya perlu yang lain", tetapi mungkin sedekat yang Anda bisa selidiki apa yang akan menjadi karakteristik dari pendekatan semacam itu. Ini bukan hal sepele karena Anda perlu membuat sejumlah pilihan untuk mewujudkannya.
Komentar umum: Saya pikir menyesatkan untuk menggolongkan metodologi statistik terapan dengan binarily menjadi "valid" dan "tidak valid". Tidak ada yang 100% valid karena asumsi model tidak pernah berlaku dalam praktiknya. Di sisi lain, walaupun Anda mungkin menemukan alasan yang valid (!) Untuk menyebut sesuatu "tidak valid", jika seseorang menyelidiki karakteristik pendekatan yang seharusnya tidak valid secara mendalam, orang mungkin mengetahui bahwa itu masih berfungsi dengan cukup baik.
sumber