Apakah kita melebih-lebihkan pentingnya asumsi model dan evaluasi di era ketika analisis sering dilakukan oleh orang awam

54

Intinya , semakin banyak saya belajar tentang statistik, semakin sedikit saya percaya makalah yang diterbitkan di bidang saya; Saya hanya percaya bahwa para peneliti tidak melakukan statistik mereka dengan cukup baik.


Saya seorang awam, untuk berbicara. Saya dilatih dalam biologi tetapi saya tidak memiliki pendidikan formal dalam statistik atau matematika. Saya menikmati R dan sering berusaha membaca (dan memahami ...) beberapa dasar teori dari metode yang saya terapkan ketika melakukan penelitian. Tidak akan mengejutkan saya jika mayoritas orang yang melakukan analisis hari ini sebenarnya tidak terlatih secara formal. Saya telah menerbitkan sekitar 20 makalah asli, beberapa di antaranya telah diterima oleh jurnal dan ahli statistik yang diakui sering terlibat dalam proses peninjauan. Analisis saya umumnya mencakup analisis survival, regresi linier, regresi logistik, model campuran. Tidak pernah ada pengulas bertanya tentang asumsi model, kecocokan atau evaluasi.

Jadi, saya tidak pernah terlalu peduli tentang asumsi model, kecocokan, dan evaluasi. Saya mulai dengan sebuah hipotesis, menjalankan regresi dan kemudian mempresentasikan hasilnya. Dalam beberapa kasus saya berusaha mengevaluasi hal-hal ini, tetapi saya selalu berakhir dengan " baik itu tidak memenuhi semua asumsi, tapi saya percaya hasilnya (" pengetahuan materi pelajaran ") dan mereka masuk akal, jadi tidak apa-apa " dan ketika berkonsultasi dengan ahli statistik, mereka sepertinya selalu setuju.

Sekarang, saya sudah bicara dengan ahli statistik dan non-ahli statistik lain (ahli kimia, dokter, dan ahli biologi) yang melakukan analisis sendiri; tampaknya orang tidak terlalu peduli tentang semua asumsi dan evaluasi formal ini. Tetapi di sini, di CV, ada banyak orang yang bertanya tentang residu, model fit, cara untuk mengevaluasinya, nilai eigen, vektor dan daftarnya terus berlanjut. Biarkan saya begini, ketika lme4 memperingatkan tentang nilai eigen besar, saya benar-benar ragu bahwa banyak penggunanya peduli untuk mengatasinya ...

Apakah ini sepadan dengan usaha ekstra? Apakah tidak mungkin bahwa sebagian besar dari semua hasil yang dipublikasikan tidak menghargai asumsi-asumsi ini dan mungkin bahkan belum menilai mereka? Ini mungkin masalah yang berkembang karena basis data tumbuh lebih besar setiap hari dan ada anggapan bahwa semakin besar data, semakin tidak penting asumsi dan evaluasi.

Saya bisa saja benar-benar salah, tetapi ini adalah bagaimana saya merasakan ini.

Pembaruan: Kutipan yang dipinjam dari StasK (di bawah): http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

Adam Robinsson
sumber
34
Saya ingin memperingatkan bahwa menutup pertanyaan ini akan menutup peluang penting untuk membahas bagaimana statistik digunakan di "dunia nyata" di luar tembok departemen statistik. CV adalah salah satu dari sedikit tempat di mana orang dunia nyata dan ahli statistik bergaul, dan menjaga jalur komunikasi tetap terbuka adalah misi CV yang penting, walaupun tersirat. Saya sepenuhnya setuju dengan mereka yang mengklik "tutup" karena ini sangat luas dan berdasarkan pendapat, tetapi saya masih berharap kita bisa terus berdiskusi.
Tugas
5
Bukankah fakta bahwa banyak publikasi, peneliti, atau bahkan seluruh bidang memperlakukan asumsi dengan santai menyarankan kita tidak cukup peduli ? Mungkin juga para ahli statistik dan buku pelajaran membesar-besarkan pentingnya mereka, tetapi tentu saja popularitas mereka dengan para praktisi dan orang awam tidak dapat menjadi tolok ukur untuk itu. Konvensi dan standar juga sedikit berbeda. Beberapa disiplin mungkin lebih mementingkan hal ini daripada yang Anda kenal, sedangkan yang lain mungkin tidak terlalu peduli tentang hal-hal yang sangat penting untuk dipublikasikan di bidang Anda.
Gala
6
Setelah menulis makalah komentar yang mengkritik studi sebelumnya di mana asumsi model sengaja dilanggar dan kesimpulan yang ditarik salah, saran saya adalah jangan memercayai hasil dan menjadi kritis terhadap diri sendiri.
Dikran Marsupial
7
"Semakin besar data, semakin tidak penting asumsi" tidak berlaku dengan pertumbuhan data yang sebenarnya: Yang tumbuh adalah (terutama) jumlah pengamatan / fitur tergantung karena kemajuan dalam teknik pengukuran. Sebaliknya, jumlah pengamatan independen, yaitu unit eksperimental atau proband, tetap agak dibatasi (karena populasi tidak meningkat oleh kemajuan teknis ...). Sayangnya, hanya data besar yang independen membuat asumsi (sering, tidak selalu) kurang penting karena teorema limit pusat.
Horst Grünbusch
3
@AdamRobinsson: Saya suka kesimpulan yang Anda poskan di bagian atas pertanyaan Anda. Saya bahkan akan lebih waspada terhadap makalah yang diterbitkan oleh Nama Besar atau didukung oleh Lembaga Besar. Ketika saya melihat kertas dengan 15 penulis senior dari lembaga dihormati dalam jurnal top-tier, insting pertama saya adalah benar-benar untuk meneliti kertas bahkan lebih , karena ada kemungkinan bahwa kertas diterbitkan karena penulis '/ lembaga' pengaruh. Makalah ini juga cenderung memiliki implikasi kebijakan yang luas. Salah satu contoh dari bidang saya (kesehatan masyarakat) adalah sunat laki-laki untuk studi pencegahan HIV (lanjutan)
Marquis de Carabas

Jawaban:

26

Saya dilatih sebagai ahli statistik, bukan sebagai ahli biologi atau dokter. Tetapi saya melakukan sedikit penelitian medis (bekerja dengan ahli biologi dan dokter medis), sebagai bagian dari penelitian saya, saya telah belajar sedikit tentang pengobatan beberapa penyakit yang berbeda. Apakah ini berarti bahwa jika seorang teman bertanya kepada saya tentang penyakit yang telah saya teliti, saya bisa menuliskan resep untuk obat yang saya tahu biasa digunakan untuk penyakit itu? Jika saya melakukan ini (saya tidak), maka dalam banyak kasus mungkin akan berhasil OK (karena dokter hanya akan meresepkan obat yang sama), tetapi selalu ada kemungkinan bahwa mereka memiliki alergi / obat interaksi / lainnya yang dokter ingin tanyakan, yang tidak saya lakukan dan akhirnya menyebabkan lebih banyak kerusakan daripada kebaikan.

Jika Anda melakukan statistik tanpa memahami apa yang Anda asumsikan dan apa yang bisa salah (atau berkonsultasi dengan ahli statistik sepanjang jalan yang akan mencari hal-hal ini) maka Anda mempraktikkan malpraktek statistik. Sebagian besar waktu mungkin akan baik-baik saja, tetapi bagaimana dengan kesempatan di mana asumsi penting tidak berlaku, tetapi Anda mengabaikannya?

Saya bekerja dengan beberapa dokter yang kompeten secara statistik dan dapat melakukan banyak dari analisis mereka sendiri, tetapi mereka masih akan melewati saya. Seringkali saya mengkonfirmasi bahwa mereka melakukan hal yang benar dan bahwa mereka dapat melakukan analisis sendiri (dan mereka umumnya berterima kasih atas konfirmasi) tetapi kadang-kadang mereka akan melakukan sesuatu yang lebih kompleks dan ketika saya menyebutkan pendekatan yang lebih baik mereka biasanya akan menyerahkan analisis kepada saya atau tim saya, atau setidaknya membawa saya untuk peran yang lebih aktif.

Jadi jawaban saya untuk pertanyaan judul Anda adalah "Tidak" kami tidak melebih-lebihkan, tapi kami harus lebih menekankan beberapa hal sehingga orang awam akan lebih cenderung untuk setidaknya memeriksa prosedur / hasil mereka dengan ahli statistik.

Sunting

Ini adalah tambahan berdasarkan komentar Adam di bawah ini (akan agak lama untuk komentar lain).

Adam, Terima kasih atas komentar Anda. Jawaban singkatnya adalah "Saya tidak tahu". Saya pikir kemajuan sedang dibuat dalam meningkatkan kualitas statistik artikel, tetapi banyak hal telah bergerak begitu cepat dalam banyak cara yang berbeda sehingga akan memakan waktu cukup lama untuk mengejar dan menjamin kualitasnya. Bagian dari solusinya adalah berfokus pada asumsi dan konsekuensi dari pelanggaran dalam kursus statistik intro. Ini lebih mungkin terjadi ketika kelas diajarkan oleh ahli statistik, tetapi perlu terjadi di semua kelas.

Beberapa jurnal berkinerja lebih baik, tetapi saya ingin melihat peninjau statistik tertentu menjadi standar. Ada sebuah artikel beberapa tahun yang lalu (maaf tidak memiliki referensi yang berguna, tetapi ada di JAMA atau New England Journal of Medicine) yang menunjukkan kemungkinan yang lebih tinggi untuk dipublikasikan (walaupun perbedaannya tidak sebesar yang seharusnya) menjadi) dalam JAMA atau NEJM jika biostatistika atau epidemiologis adalah salah satu penulis bersama.

Artikel menarik yang keluar baru-baru ini adalah: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412 yang membahas beberapa masalah yang sama.

Greg Snow
sumber
1
Saya berbagi sudut pandang Anda, Greg. Saya pikir balasan Anda menjelaskannya dengan jelas. Tapi saya ingin mengutip Anda: "[...] maka Anda mempraktikkan malpraktik statistik. Sebagian besar waktu mungkin akan baik-baik saja". Ada risiko bahwa gagasan ini menyebar dan orang-orang menganggapnya sebagai: siapa pun dapat melakukan statistik (yang secara fundamental salah jika Anda bertanya kepada saya, yang sedikit menggores permukaan statistik). Pertanyaannya adalah, bagaimana kita memastikan bahwa karya yang diterbitkan adalah benar dalam hal analisis statistik? Karena saya mulai bertanya-tanya berapa banyak artikel di luar sana yang tidak lulus statistik ...
Adam Robinsson
@AdamRobinsson, lihat tambahan saya di atas.
Greg Snow
Ini agak elitis. Saya setuju bahwa ahli statistik profesional mungkin memiliki kompetensi dan keahlian untuk melakukan analisis statistik, tetapi juga para ilmuwan. Memang, beberapa kemajuan dalam statistik berasal dari para ilmuwan (misalnya Fisher & Jeffrey) yang mempraktikkan statistik di dunia nyata.
innisfree
Juga aneh untuk mengatakan bahwa apa yang merupakan malpraktek statistik tidak hanya bergantung pada kualitas atau hasil analisis statistik, tetapi juga pada penilaian subjektif tentang kekuatan analis dalam memahami statistik
innisfree
@ innisfree, saya tidak mengerti komentar Anda, atau mungkin Anda tidak mengerti posisi saya. Saya tidak mengatakan bahwa hanya ahli statistik yang dapat melihat asumsi / kondisi, hanya saja mereka penting dan apakah seorang ahli statistik harus dikonsultasikan, atau ilmuwan non-ahli statistik harus mempelajari statistik yang cukup untuk memahami masalah-masalah selain sekadar memasukkan angka-angka. menjadi formula / komputer. Secara pribadi saya ingin melihat lebih banyak statistik di bawah umur dengan keahlian di bidang kedokteran / teknik / dll, tetapi juga dengan pemahaman yang lebih baik tentang ide-ide di balik statistik.
Greg Snow
28

Ya, asumsi itu penting - jika itu tidak penting sama sekali, kita tidak perlu membuatnya, bukan?

Pertanyaannya adalah seberapa penting mereka - ini bervariasi di antara prosedur dan asumsi dan apa yang ingin Anda klaim tentang hasil Anda (dan juga seberapa toleran audiens Anda terhadap perkiraan - bahkan ketidaktepatan - dalam klaim semacam itu).

Jadi untuk contoh situasi di mana asumsi sangat penting, pertimbangkan asumsi normalitas dalam uji F varian; bahkan perubahan yang cukup sederhana dalam distribusi mungkin memiliki efek yang cukup dramatis pada properti (tingkat signifikansi aktual dan kekuatan) dari prosedur. Jika Anda mengklaim sedang melakukan tes pada level 5% padahal sebenarnya di level 28%, Anda mungkin melakukan hal yang sama dengan berbohong tentang bagaimana Anda melakukan eksperimen. Jika Anda tidak menganggap masalah statistik seperti itu penting, buatlah argumen yang tidak bergantung padanya. Di sisi lain, jika Anda ingin menggunakan informasi statistik sebagai dukungan, Anda tidak bisa salah merepresentasikan dukungan itu.

Dalam kasus lain, asumsi tertentu mungkin kurang kritis. Jika Anda memperkirakan koefisien dalam regresi linier dan Anda tidak peduli jika itu signifikan secara statistik dan Anda tidak peduli tentang efisiensi, yah, itu tidak masalah jika asumsi homoskedasticity berlaku. Tetapi jika Anda ingin mengatakan itu signifikan secara statistik, atau menunjukkan interval kepercayaan, ya, tentu saja itu penting.

Glen_b
sumber
2
Komentar Glen_b disampaikan dengan baik dari pendekatan statistik hingga pentingnya asumsi. Saya pikir itu juga harus dicatat, bahwa untuk keperluan publikasi pengecekan asumsi adalah masalah yang sedikit berbeda, dalam pelanggaran asumsi hanya masalah sebanyak pengulas atau editor peduli bagi mereka untuk peduli. Sebagai contoh, teori di balik hasil dapat memberikan kelayakan yang cukup untuk publikasi, di mana harapannya adalah bahwa masalah dengan analisis dapat diselesaikan oleh publikasi masa depan.
Jonathan Lisic
Yah, meskipun pengulas memeriksa makalah, tanggung jawab dengan kesalahan tetap ada pada penulis. Jadi untuk kepentingan Anda sendiri, Anda harus memeriksa ...
kjetil b halvorsen
Memang, tanggung jawab akan selalu berada di tangan penulis. Tetapi penulis akhir-akhir ini didorong oleh driver yang tidak patut yang memaksa mereka untuk menerbitkan, tidak jarang dengan cara cepat dan kotor. Saya ingin melihat proses peninjauan yang mengamanatkan deklarasi asumsi statistik paling kritis. Hari ini diterima begitu saja bahwa analisis statistik telah dilakukan sesuai dengan buku itu, tetapi saya percaya itu lebih jarang daripada biasanya.
Adam Robinsson
3
+1 "Pertanyaannya adalah seberapa penting mereka" - yang intinya menempatkan seluruh masalah secara singkat. Saya juga harus menunjukkan bahwa dalam penerapan inferensi statistik, tidak mungkin mengetahui sejauh mana asumsi statistik tertentu dilanggar. Kami hanya dapat mendalilkan atau mempertimbangkan kekokohan analisis jika mereka, dan ini adalah aspek penting tetapi sering diabaikan praktik statistik.
heropup
18

Sementara Glen_b memberikan jawaban yang bagus , saya ingin menambahkan beberapa sen untuk itu.

Salah satu pertimbangan adalah apakah Anda benar-benar ingin mendapatkan kebenaran ilmiah, yang akan membutuhkan pemolesan hasil Anda dan mencari tahu semua detail apakah pendekatan Anda dapat dipertahankan, vs. menerbitkan di "ah, tidak ada yang memeriksa nilai eigen ini dalam disiplin saya pula." mode. Dengan kata lain, Anda harus menanyakan hati nurani profesional batin Anda apakah Anda melakukan pekerjaan sebaik mungkin. Mengacu pada melek statistik yang rendah dan praktik statistik lemah dalam disiplin Anda tidak membuat argumen yang meyakinkan. Para pengulas sering kali paling tidak membantu jika mereka berasal dari disiplin yang sama dengan standar yang lemah ini, meskipun beberapa outlet top memiliki inisiatif eksplisit untuk membawa keahlian statistik ke dalam proses peninjauan.

Tetapi bahkan jika Anda seorang pengiris salami "publikasikan atau binasa" sinis, pertimbangan lain pada dasarnya adalah keselamatan reputasi penelitian Anda. Jika model Anda gagal, dan Anda tidak mengetahuinya, Anda mengekspos diri Anda pada risiko bantahan oleh orang-orang yang dapat datang dan mendorong kapak ke celah-celah model, memeriksa dengan instrumen yang lebih halus. Memang, kemungkinan yang tampaknya rendah, sebagai komunitas sains, meskipun persyaratan filosofis nominal reputasi dan reproduksibilitas, jarang terlibat dalam upaya untuk mereproduksi penelitian orang lain. (Saya terlibat dalam menulis beberapa makalah yang pada dasarnya dimulai dengan, "Ya Tuhan, benarkah demikiantulis itu? ", dan menawarkan kritik dan penyempurnaan dari pendekatan semi-statistik yang diterbitkan peer-review.) Namun, kegagalan analisis statistik, ketika diekspos , sering membuat percikan besar dan tidak menyenangkan.

Tugas
sumber
Saya sangat menyukai pendekatan itu: hati nurani profesional, dan saya percaya banyak yang memiliki hati nurani tetapi masih kurang pengetahuan; tetapi itu tidak akan menghentikan mereka dari menyajikan data seolah-olah itu dilakukan dengan sempurna. Menariknya, Anda mengutip artikel Science yang menjabarkannya dengan jelas: "[...] kekhawatiran yang meluas bahwa kesalahan mendasar dalam analisis data berkontribusi pada tidak dapat direproduksinya banyak temuan penelitian yang diterbitkan." Saya benar-benar berpikir bahwa kita orang awam, kita tidak benar-benar menghargai kesulitan metode statistik dan itu harus menjadi masalah yang berkembang seperti yang dijelaskan di atas.
Adam Robinsson
1
Dalam kelompok penelitian saya saat ini, kami adalah 15 peneliti (ahli biologi, dokter) dan beberapa dari mereka benar-benar produktif tetapi tidak ada yang ahli statistik. Semua peneliti junior telah menginstal R atau SAS dan melakukan perhitungan, biasanya setelah membaca hanya beberapa tutorial di Internet. Ini masalah besar.
Adam Robinsson
4
@AdamRobinsson, fakta bahwa Anda bertanya tentang ini di CV memang berbicara tentang hati nurani Anda. Satu lagi tautan Nature untuk Anda teliti, pada masalah yang agak terkait komputasi ilmiah (dan kurangnya penerapan praktik terbaik dalam pengembangan perangkat lunak oleh para ilmuwan yang menulis kode C / Fortran / R mereka sendiri) - nature.com/news/2010 /101013/full/467775a.html .
Tugas
3
sebagai komunitas sains, meskipun persyaratan filosofis nominal dari reputasi dan reproduksibilitas, jarang terlibat dalam upaya untuk mereproduksi penelitian orang lain, saya sepenuhnya setuju dengan pernyataan itu.
Robert Smith
software-carpentry.org , "organisasi sukarela nirlaba yang didedikasikan untuk mengajarkan keterampilan komputasi dasar kepada para peneliti", memiliki tutorial dan seminar yang cukup bagus.
denis
9

Sifat pelanggaran asumsi bisa menjadi petunjuk penting untuk penelitian di masa depan. Sebagai contoh, pelanggaran asumsi bahaya proporsional dalam analisis survival Cox mungkin disebabkan oleh variabel dengan efek besar pada survival jangka pendek tetapi sedikit efek dalam jangka panjang. Itu adalah jenis informasi tak terduga tetapi berpotensi penting yang dapat Anda peroleh dengan memeriksa validitas asumsi Anda dalam uji statistik.

Jadi, Anda melakukannya sendiri, bukan hanya literatur, potensi kerugian jika Anda tidak menguji asumsi yang mendasarinya. Saat jurnal berkualitas tinggi mulai membutuhkan peninjauan statistik yang lebih canggih, Anda akan lebih sering dipanggil untuk melakukannya. Anda tidak ingin berada dalam posisi di mana tes yang diperlukan oleh peninjau statistik merongrong apa yang Anda pikir telah menjadi titik kunci dari makalah Anda.

EdM
sumber
Saya setuju sepenuhnya dengan komentar ini, yang menurut saya sangat penting.
Adam Robinsson
9

Saya akan menjawab dari perspektif perantara. Saya bukan ahli statistik, saya ahli kimia. Namun, saya telah menghabiskan 10 tahun terakhir yang berspesialisasi dalam chemometrics = analisis data statistik untuk data terkait kimia.

Saya hanya percaya bahwa para peneliti tidak melakukan statistik mereka dengan cukup baik.

Mungkin itu masalahnya.


Versi pendek:

Sekarang tentang asumsi. IMHO situasinya di sini terlalu heterogen untuk menghadapinya dalam satu pernyataan. Memahami baik apa tepatnya asumsi yang diperlukan untuk dan dengan cara apa kemungkinan dilanggar oleh aplikasi diperlukan untuk menilai apakah pelanggaran itu tidak berbahaya atau kritis. Dan ini membutuhkan statistik serta pengetahuan aplikasi.
Akan tetapi, sebagai seorang praktisi yang menghadapi asumsi-asumsi yang tidak dapat diraih, saya membutuhkan sesuatu yang lain: Saya ingin memiliki "garis pertahanan ke-2" yang misalnya memungkinkan saya untuk menilai apakah pelanggaran itu benar-benar menyebabkan masalah atau apakah itu tidak berbahaya.


Versi panjang:

  • Dari sudut pandang praktis, beberapa asumsi tipikal hampir tidak pernah dipenuhi. Kadang-kadang saya dapat merumuskan asumsi yang masuk akal tentang data, tetapi sering kali masalah menjadi begitu rumit dari sudut pandang statistik sehingga solusi belum diketahui. Sekarang saya percaya bahwa melakukan sains berarti bahwa Anda akan mencapai batas dari apa yang diketahui kemungkinan tidak hanya dalam disiplin khusus Anda tetapi mungkin juga dalam disiplin ilmu lain (di sini: statistik terapan).

  • Ada situasi lain di mana pelanggaran tertentu diketahui biasanya tidak berbahaya - misalnya normalitas multivariat dengan kovarians yang sama untuk LDA diperlukan untuk menunjukkan bahwa LDA optimal, tetapi diketahui bahwa proyeksi mengikuti heuristik yang sering berkinerja baik juga jika asumsi tidak terpenuhi. Dan pelanggaran mana yang cenderung menyebabkan masalah: Diketahui juga bahwa ekor yang berat dalam distribusi menyebabkan masalah dengan LDA dalam praktiknya.
    Sayangnya, pengetahuan seperti itu jarang membuatnya menjadi tulisan terkondensasi dari sebuah makalah, sehingga pembaca tidak memiliki petunjuk apakah penulis memutuskan untuk model mereka setelah mempertimbangkan dengan baik sifat-sifat aplikasi serta model atau apakah mereka hanya memilih model apa pun mereka datang.

  • Kadang-kadang pendekatan praktis (heuristik) berkembang yang ternyata sangat berguna dari sudut pandang praktis, bahkan jika itu membutuhkan waktu puluhan tahun sampai sifat statistiknya dipahami (Saya sedang memikirkan PLS).

  • Hal lain yang terjadi (dan harus terjadi lebih banyak) adalah bahwa kemungkinan konsekuensi pelanggaran dapat dipantau (diukur), yang memungkinkan untuk memutuskan apakah ada masalah atau tidak. Untuk aplikasinya, mungkin saya tidak peduli apakah model saya optimal asalkan cukup baik.
    Dalam chemometrics, kami memiliki fokus yang agak kuat pada prediksi. Dan ini menawarkan pelarian yang sangat bagus jika asumsi pemodelan tidak terpenuhi: terlepas dari asumsi tersebut, kita dapat mengukur apakah model itu berfungsi dengan baik. Dari sudut pandang seorang praktisi, saya akan mengatakan bahwa Anda diizinkan untuk melakukan apa pun yang Anda suka selama pemodelan Anda jika Anda melakukannya dan melaporkan validasi state-of-the-art yang jujur.
    Untuk analisis chemometrik data spektroskopi, kita berada pada titik di mana kita tidak melihat residu karena kita tahu bahwa model mudah disesuaikan. Alih-alih, kami melihat kinerja data uji (dan mungkin perbedaan untuk data kinerja latihan prediktif).

  • Ada situasi lain di mana sementara kami tidak dapat memprediksi dengan tepat berapa banyak pelanggaran yang mana asumsi mengarah ke pemecahan model, tetapi kami dapat mengukur konsekuensi dari pelanggaran serius terhadap asumsi tersebut secara langsung.
    Contoh berikutnya: data studi yang biasanya saya tangani adalah urutan besarnya di bawah ukuran sampel yang direkomendasikan oleh aturan statistik untuk kasus per varian (untuk menjamin estimasi yang stabil). Tetapi buku statistik biasanya tidak terlalu peduli tentang apa yang harus dilakukan dalam praktik jika asumsi ini tidak dapat dipenuhi. Atau bagaimana mengukur apakah Anda benar-benar dalam masalah dalam hal ini. Tetapi: pertanyaan semacam itu diperlakukan dalam disiplin ilmu yang lebih terapan. Ternyata, seringkali cukup mudah untuk secara langsung mengukur stabilitas model atau setidaknya apakah prediksi Anda tidak stabil (baca di sini di CV tentang resampling validasi dan stabilitas model). Dan ada cara untuk menstabilkan model yang tidak stabil (misalnya mengantongi).

  • Sebagai contoh "garis pertahanan kedua", pertimbangkan untuk menguji ulang validasi. Asumsi yang biasa dan terkuat adalah bahwa semua model pengganti setara dengan model yang dilatih pada seluruh kumpulan data. Jika asumsi ini dilanggar, kita mendapatkan bias pesimistis yang terkenal. Baris ke-2 adalah bahwa setidaknya model pengganti setara satu sama lain, sehingga kami dapat mengumpulkan hasil tes.


Terakhir, saya ingin mendorong "ilmuwan pelanggan" dan ahli statistik untuk berbicara lebih banyak satu sama lain . Analisis data statistik IMHO bukanlah sesuatu yang dapat dilakukan dengan cara satu arah. Pada titik tertentu, masing-masing pihak perlu memperoleh pengetahuan tentang pihak lain. Terkadang saya membantu "menerjemahkan" antara ahli statistik dan ahli kimia dan ahli biologi. Seorang ahli statistik dapat mengetahui bahwa model tersebut membutuhkan regularisasi. Tetapi untuk memilih, katakanlah, antara LASSO dan punggung bukit, mereka perlu mengetahui sifat-sifat data yang hanya diketahui oleh ahli kimia, ahli fisika, atau ahli biologi.

Cbeleites mendukung Monica
sumber
6

Mengingat bahwa CV dihuni oleh ahli statistik dan orang-orang yang ingin tahu, jika tidak kompeten, tentang statistik, saya tidak terkejut dengan semua jawaban yang menekankan perlunya memahami asumsi. Saya juga setuju dengan jawaban-jawaban ini pada prinsipnya.

Namun, ketika mempertimbangkan tekanan untuk menerbitkan dan standar rendah untuk integritas statistik saat ini, saya harus mengatakan bahwa jawaban ini cukup naif. Kami dapat memberi tahu orang-orang apa yang harus mereka lakukan sepanjang hari (yaitu memeriksa asumsi Anda), tetapi apa yang akan mereka lakukan hanya bergantung pada insentif kelembagaan. OP sendiri menyatakan bahwa ia berhasil menerbitkan 20 artikel tanpa memahami asumsi model. Mengingat pengalaman saya sendiri, saya tidak menemukan ini sulit untuk dipercaya.

Jadi saya ingin berperan sebagai advokat iblis, langsung menjawab pertanyaan OP. Ini sama sekali bukan jawaban yang mempromosikan "praktik yang baik," tetapi itu adalah jawaban yang mencerminkan bagaimana hal-hal dipraktikkan dengan sedikit sindiran.

Apakah ini sepadan dengan usaha ekstra?

Tidak, jika tujuannya adalah untuk menerbitkan, itu tidak layak untuk menghabiskan seluruh waktu untuk memahami model. Cukup ikuti model yang lazim dalam literatur. Dengan begitu, 1) makalah Anda akan lulus ulasan lebih mudah, dan 2) risiko terkena "ketidakmampuan statistik" kecil, karena mengekspos Anda berarti mengekspos seluruh bidang, termasuk banyak orang senior.

Apakah tidak mungkin bahwa sebagian besar dari semua hasil yang dipublikasikan tidak menghargai asumsi-asumsi ini dan mungkin bahkan belum menilai mereka? Ini mungkin masalah yang berkembang karena basis data tumbuh lebih besar setiap hari dan ada anggapan bahwa semakin besar data, semakin tidak penting asumsi dan evaluasi.

Ya, kemungkinan sebagian besar hasil yang dipublikasikan tidak benar. Semakin terlibat saya dalam penelitian aktual, semakin saya berpikir kemungkinan.

Heisenberg
sumber
1
Saya pikir Anda memiliki beberapa poin yang sangat bagus yang tidak disebutkan di atas; yaitu tekanan untuk menerbitkan dan tekanan jurnal untuk menemukan artikel untuk mengisi jurnal. Adalah mimpi buruk bagi editor untuk tidak memiliki artikel untuk diterbitkan, dan peneliti harus menerbitkan untuk keberadaan mereka semata. Namun, dari sudut pandang metodologis, semakin saya terlibat dalam penelitian, semakin saya percaya bahwa sebagian besar temuan yang dipublikasikan salah / kurang benar / tidak sempurna hingga tingkat yang bervariasi (dari sudut pandang statistik).
Adam Robinsson
4

Jawaban singkatnya adalah "tidak." Metode statistik dikembangkan berdasarkan serangkaian asumsi yang harus dipenuhi agar hasilnya valid. Maka masuk akal, jika asumsi tidak terpenuhi, hasilnya mungkin tidak valid. Tentu saja, beberapa perkiraan mungkin masih kuat meskipun ada pelanggaran asumsi model. Sebagai contoh, multinomial logit tampaknya berkinerja baik meskipun ada pelanggaran asumsi IIA (lihat disertasi Kropko [2011] dalam referensi di bawah).

Sebagai ilmuwan, kami memiliki kewajiban untuk memastikan bahwa hasil yang kami berikan valid, bahkan jika orang-orang di lapangan tidak peduli apakah asumsi telah dipenuhi. Ini karena sains dibangun berdasarkan asumsi bahwa para ilmuwan akan melakukan berbagai hal dengan cara yang benar dalam mengejar fakta. Kami memercayai kolega kami untuk memeriksa pekerjaan mereka sebelum mengirimkannya ke jurnal. Kami mempercayai para pemberi referensi untuk secara kompeten meninjau sebuah naskah sebelum dipublikasikan. Kami berasumsibahwa para peneliti dan wasit tahu apa yang mereka lakukan, sehingga hasil dalam makalah yang diterbitkan dalam jurnal peer-review dapat dipercaya. Kita tahu ini tidak selalu benar di dunia nyata berdasarkan pada banyaknya artikel dalam literatur di mana Anda akhirnya menggelengkan kepala dan memutar mata Anda pada hasil yang jelas-jelas dipilih dalam jurnal-jurnal terhormat (" Jama menerbitkan makalah ini ?! ").

Jadi tidak, kepentingannya tidak bisa dilebih-lebihkan, terutama karena orang-orang mempercayai Anda - ahli - telah melakukan uji tuntas Anda. Paling tidak yang dapat Anda lakukan adalah berbicara tentang pelanggaran ini di bagian "batasan" pada makalah Anda untuk membantu orang menafsirkan validitas hasil Anda.

Referensi

Kropko, J. 2011. Pendekatan Baru untuk Pilihan Diskrit dan Metodologi Penampang Seri-Waktu untuk Penelitian Politik (disertasi). UNC-Chapel Hill, Chapel Hill, NC.

Marquis de Carabas
sumber
Saya setuju dengan komentar berharga ini. Tapi jangan Anda berpikir bahwa "mungkin" dalam "mungkin tidak valid" adalah alasan bahwa orang mungkin tidak terlalu peduli tentang mereka. Saya percaya bahwa keberadaan hipotesis dapat menyebabkan bias analisis yang relevan dengan masalah ini.
Adam Robinsson
TIL Kropko adalah pengguna CV.
Pasang kembali Monica
@AdamRobinsson, saya pikir orang tidak peduli dengan mereka karena mereka tidak sepenuhnya mengerti bagaimana atau mengapa hasilnya mungkin tidak valid. Sebagian besar masalah terletak pada pendidikan statistik di bidang "terapan". Pelatihan saya sendiri di bidang terapan. Kelas ekonometrik-lite saya tidak berpretensi menjadi kelas ekonometrik penuh dan disebut "metode penelitian lanjutan" atau semacamnya. Karena tidak ada prasyarat statistik, para profesional akan mengabaikan asumsi model demi menghabiskan lebih banyak waktu pada perintah Stata dan interpretasi hasil.
Marquis de Carabas
@AdamRobinsson, Pertama kali saya di program pascasarjana, itu juga untuk bidang terapan, tetapi kelas-kelas itu diajarkan oleh para biostatistik. Para biostatistik mengajarkan secara mendalam tentang asumsi model dan berbagai pemeriksaan yang seharusnya kami lakukan, karena beberapa siswa di kelas tersebut adalah siswa biostatistik. Namun, jelas bahwa sisa siswa yang berada di kelas-kelas ini tidak mengerti mengapa kami memeriksa asumsi-asumsi itu, karena para profesional tidak mengomunikasikan pentingnya dalam bahasa yang dipahami oleh para siswa.
Marquis de Carabas
1
@marquisdecarabas, setuju. Tidak memahami mereka adalah masalah mendasar, jelas. Namun, kadang-kadang saya bertanya-tanya apakah itu bukan karena banyaknya waktu yang dihabiskan untuk manipulasi data, yang menguras nafsu untuk mengambil asumsi.
Adam Robinsson
2

Jika Anda memerlukan statistik yang sangat canggih, kemungkinan besar karena data Anda berantakan, seperti halnya sebagian besar ilmu sosial, belum lagi psikologi. Di bidang-bidang di mana Anda memiliki data yang baik, Anda memerlukan sedikit statistik. Fisika adalah contoh yang sangat bagus.

Pertimbangkan kutipan dari Galileo ini dalam eksperimen percepatan gravitasi yang terkenal:

Sepotong cetakan kayu atau scantling, panjangnya sekitar 12 hasta, lebar setengah hasta, dan tebal tiga jari, diambil; di ujungnya ada saluran sedikit lebih lebar dari satu jari; Setelah membuat alur ini sangat lurus, halus, dan dipoles, dan setelah dilapisi dengan perkamen, juga sehalus dan dipoles mungkin, kami menggulungnya dengan bola perunggu yang keras, halus, dan sangat bundar. Setelah meletakkan papan ini dalam posisi miring, dengan menaikkan satu ujungnya satu atau dua hasta di atas yang lain, kami menggulirkan bola, seperti yang baru saja saya katakan, di sepanjang saluran, mencatat, dengan cara yang saat ini akan dijelaskan, waktu yang diperlukan untuk membuat keturunan. Kami mengulangi percobaan ini lebih dari satu kali untuk mengukur waktu dengan akurasi sehingga penyimpangan antara dua pengamatan tidak pernah melebihi sepersepuluh denyut nadi. Setelah melakukan operasi ini dan memastikan keandalannya, kami sekarang memutar bola hanya seperempat panjang saluran; dan setelah mengukur waktu penurunannya, kami menemukannya tepat setengah dari yang pertama. Selanjutnya kami mencoba jarak lain, membandingkan waktu untuk seluruh panjang dengan itu untuk setengah, atau dengan itu untuk dua pertiga, atau tiga perempat, atau memang untuk sebagian kecil; dalam eksperimen seperti itu, diulangi seratus kali penuh, kami selalu menemukan bahwa ruang-ruang yang dilintasi adalah satu sama lain sebagai kuadrat zaman, dan ini berlaku untuk semua kemiringan pesawat, yaitu saluran, di mana kami menggulung bola. Kami juga mengamati bahwa waktu turun, untuk berbagai kemiringan pesawat, saling melahirkan satu sama lain dengan rasio yang, seperti yang akan kita lihat nanti,

Untuk pengukuran waktu, kami menggunakan bejana besar air yang ditempatkan pada posisi tinggi; ke dasar kapal ini disolder pipa berdiameter kecil yang memberikan semburan air tipis yang kami kumpulkan dalam gelas kecil selama waktu masing-masing keturunan, baik untuk seluruh panjang saluran atau untuk sebagian dari panjangnya; air yang dikumpulkan kemudian ditimbang, setelah setiap keturunan, dengan keseimbangan yang sangat akurat; perbedaan dan rasio bobot ini memberi kami perbedaan dan rasio waktu, dan ini dengan akurasi sedemikian rupa sehingga meskipun operasi itu diulang berkali-kali, tidak ada perbedaan yang berarti dalam hasil .

Perhatikan teks yang saya sorot. Inilah data yang baik. Itu berasal dari percobaan yang direncanakan dengan baik berdasarkan pada teori yang baik. Anda tidak perlu statistik untuk mengekstrak apa yang Anda minati. Tidak ada statistik saat itu, juga tidak ada komputer. Hasilnya? Hubungan yang cukup mendasar, yang masih berlaku, dan dapat diuji di rumah oleh siswa kelas 6.

Saya mencuri kutipan dari halaman yang luar biasa ini .

χ2

Aksakal
sumber
2
"Di bidang-bidang di mana kamu memiliki data yang bagus, kamu hanya membutuhkan sedikit statistik. Fisika adalah contoh yang sangat bagus." Saya bisa melihat intinya, tetapi perlu menunjukkan bahwa fisikawan partikel memiliki banyak data dan telah mengembangkan berbagai teknik statistik canggih untuk menganalisisnya.
Silverfish
@ Silververfish, dapatkah Anda memberi saya contoh statistik lanjutan di sana? Apa yang saya lihat tidak membuat saya terkesan. Seorang mahasiswa PhD ekonologi rata-rata akan mengetahui lebih banyak statistik daripada fisikawan partikel kelas dunia, menurut pendapat saya. Apa yang benar-benar ahli dalam bidang fisikawan adalah hal-hal seperti mekanika statistik, tetapi itu sangat berbeda dari apa yang kita sebut "statistik lanjutan". Saya sangat setuju dengan Anda bahwa dataset mereka membingungkan, mereka memulai data besar sebelum "data besar" menjadi kata buzz yang menjengkelkan.
Aksakal
1
Mereka memiliki cukup menarik mengambil "selang kepercayaan" terutama untuk parameter yang tidak dapat negatif, lihat misalnya en.wikipedia.org/wiki/CLs_upper_limits_%28particle_physics%29
Silverfish
(Saya pikir mungkin tidak adil untuk mengambil Hari 1 dari kursus pengantar sebagai perwakilan dari semua statistik yang Anda butuhkan untuk menjadi fisikawan partikel!)
Silverfish
@ Aksakal, pemahaman pribadi saya adalah bahwa metode Bayesian melakukan keajaiban ketika ada sedikit model ketidakpastian, yaitu, ilmu keras di mana model adalah apa pun yang diberikan persamaan Schrodinger kepada Anda, setelah sekitar 5.000 dimensi integrasi. Dalam bidang ekonomi, pendekatan Bayesian akan sulit bertahan mengingat fokus para peneliti empiris pada kesimpulan yang kuat terhadap potensi kesalahan spesifikasi model utama. (Saya seorang ahli fisika dengan gelar sarjana, meskipun belum melakukan fisika dalam 20+ tahun, dan seorang ilmuwan sosial kuantitatif dengan bidang pekerjaan sekarang.)
StasK
2

Pertanyaan ini tampaknya merupakan kasus integritas profesional.

Masalahnya adalah: (a) tidak ada penilaian kritis yang cukup terhadap analisis statistik oleh orang awam atau (b) kasus pengetahuan umum tidak cukup untuk mengidentifikasi kesalahan statistik (seperti kesalahan Tipe 2)?

Saya cukup tahu tentang bidang keahlian saya untuk meminta masukan ahli ketika saya berada di dekat batas keahlian itu. Saya telah melihat orang menggunakan hal-hal seperti F-test (dan R-squared di Excel) tanpa pengetahuan yang memadai.

Dalam pengalaman saya, sistem pendidikan, dalam keinginan kita untuk mempromosikan statistik, terlalu menyederhanakan alat dan mengecilkan risiko / batasan. Apakah ini tema umum yang orang lain alami dan akan menjelaskan situasinya?

MarkR
sumber