Bagaimana Anda menjelaskan signifikansi statistik kepada orang-orang yang tidak memiliki latar belakang statistik?

11

Latar belakang:
Saya harus melakukan analisis data untuk klien (semacam pengacara) yang merupakan pemula mutlak dalam statistik. Dia bertanya kepada saya apa arti istilah "signifikansi statistik" dan saya benar-benar mencoba menjelaskannya ... tetapi karena saya tidak pandai menjelaskan hal-hal yang saya gagal;)

Daniel Ryback
sumber

Jawaban:

15

Perbedaan terjadi sebagai akibat dari kebetulan.

Ketika kami yakin ada sesuatu yang signifikan secara statistik, kami percaya perbedaannya lebih besar daripada yang bisa dijelaskan sebagai kejadian kebetulan.

charles
sumber
Saya suka menggunakan kesempatan, tetapi berpikir itu sangat menyesatkan dalam hal bagaimana pengujian signifikansi umum digunakan. Misalnya, ukuran sampel besar berarti Anda akan hampir selalu mendapatkan signifikansi karena perbedaan dasar "kebetulan". Cukup diterima secara luas bahwa hasil-hasil itu dapat disebut "signifikan secara statistik" meskipun dijelaskan secara kebetulan.
Labu
@Flask: dalam arti apa perbedaan-perbedaan dasar ini karena kebetulan?
Scortchi
@Scortchi Jika pengacakan telah dilakukan maka perbedaan bisa disebabkan oleh kebetulan. Lihat di sini . Bahkan jika telah dilakukan sesuatu dapat menimbulkan bias nantinya. Lihat di sini . Jika pengacakan belum dilakukan maka bisa karena kebetulan atau bias penyidik ​​atau sejumlah alasan.
Labu
1
Jawaban yang berguna kecuali bahwa itu hanya berlaku untuk tes perbedaan.
rolando2
2
+1 Ini adalah jawaban yang sangat baik karena ia menghindari arcana dari nilai-p, probabilitas, distribusi, hipotesis nol, dll., Dan langsung ke titik dengan cara yang berlaku untuk apa yang akan ditangani sebagian besar pengacara. Itu mungkin tidak komprehensif adalah intinya: detail dan variasi dapat ditangani nanti. Jika ditekan untuk memperbaiki ini, perubahan utama yang akan saya lakukan adalah untuk menekankan bahwa kepercayaan tentang signifikansi statistik didasarkan pada data : yang akan membedakan deskripsi ini dari, katakanlah, kepercayaan teologis.
whuber
3

CATATAN: apa yang ingin saya tekankan dalam jawaban ini adalah bahwa signifikansi statistik adalah alat yang berguna, tetapi juga berbeda dari kebenaran.

Ambil sebungkus 52 kartu. Jika klien saya tidak bersalah itu adalah paket kartu yang normal, 13 hati. Jika klien saya berbohong itu paket tetap dan semua 52 kartu adalah hati.

Saya menarik kartu pertama dan itu hati. Aha, bersalah! Yah, jelas akal sehat memberi tahu kita bahwa bukan itu masalahnya: ada satu dari empat kemungkinan ini akan terjadi bahkan jika dia tidak bersalah. Kami tidak memiliki signifikansi statistik hanya dari melihat satu kartu.

Jadi kami menggambar kartu kedua. Hati yang lain. Hhhmmm ... pasti bersalah kalau begitu! Yah, masih ada 12 hati dalam 51 kartu yang tersisa, jadi bukan tidak mungkin. Matematika (13/52 * 12/51 = 0,0588) memberitahu kita ini terjadi sekitar 6% dari waktu bahkan jika tidak bersalah. Bagi sebagian besar ilmuwan, ini masih belum masuk hitungan.

Gambarlah kartu ketiga, hati yang lain! Tiga berturut-turut. Peluang terjadinya ini adalah (13/52 * 12/51 * 11/50 = 0,01294), jadi lebih dari 1% dari waktu ini dapat terjadi secara kebetulan.

Dalam banyak ilmu 5% digunakan sebagai titik batas. Jadi, jika Anda tidak memiliki bukti lain selain ketiga kartu itu, Anda memiliki hasil yang signifikan secara statistik bahwa ia bersalah.

Poin pentingnya adalah semakin banyak kartu yang diizinkan melihat semakin baik rasa percaya diri Anda akan kesalahannya, yang merupakan cara lain untuk mengatakan semakin tinggi signifikansi statistiknya.

CATATAN: Anda tidak pernah memiliki bukti kesalahannya kecuali Anda diizinkan melihat 14 kartu. Dengan satu pak kartu yang normal, secara teoritis mungkin untuk menarik 13 hati berturut-turut, tetapi 14 tidak mungkin. [Selain pedant: mari kita asumsikan angka pada kartu tidak terlihat; semua kartu adalah salah satu dari empat kemungkinan setelan, dan hanya itu.]

CATATAN: Anda memiliki bukti kepolosannya saat Anda menarik kartu apa pun selain hati. Ini karena hanya ada dua paket yang mungkin: normal atau semua hati. Kehidupan nyata lebih rumit, dan matematika menjadi lebih rumit juga.

Ngomong-ngomong, jika klien Anda bukan pemain kartu, coba Monopoli: semua orang menggulung double-enam beberapa kali; tetapi jika seseorang melakukan double-enam setiap kali Anda merasa curiga. Statistik memungkinkan kita untuk memberikan angka pasti seberapa mencurigakannya kita.

Darren Cook
sumber
3

Saran saya sendiri adalah jangan membicarakan hal-hal berikut:

  1. nilai-p,
  2. statistik uji,
  3. kemungkinan hal-hal terjadi secara kebetulan saja.

Jangan terlalu keras pada diri sendiri tentang pengacara. Ini adalah orang yang berpendidikan yang menghabiskan setidaknya satu semester di kelas Statistik universitas, dan tidak sedikit yang terjebak dengannya. Ini adalah kisah yang sama untuk hampir setiap non-ilmuwan yang pernah saya tangani - signifikansi statistik tidak sesuai . Itu konsep yang terlalu tidak wajar.

Saya mendorong Anda untuk menjelaskan signifikansi statistik dalam hal bukti . Ahli statistik klasik telah mengkodekan bukti pada skala 0 hingga 1, di mana nilai yang lebih kecil merupakan lebih banyak bukti dan 0,05 adalah di mana garis digambar secara konvensional.

Ben Ogorek
sumber
imo ide sig. dapat bertahan dengan non-ilmuwan; yang sering dianggap tidak wajar adalah definisi teknis, jika orang mencapai sejauh itu. Sejauh bukti, tentu saja ini tentang bukti: pertanyaannya adalah bagaimana seseorang berurusan dengan bukti secara statistik untuk sampai pada keputusan tentang sig.
rolando2
Saya suka optimisme Anda, tetapi saya tidak setuju bahwa itu jelas bagi orang biasa bahwa signifikansi statistik adalah semua tentang bukti. Saya pikir mereka melihatnya sebagai semacam saklar saat membalik ketika set data Anda menjadi cukup besar dan semua angka yang dihitung sekarang entah bagaimana "valid." Anda menegaskan bahwa penting bagi orang awam untuk mengetahui bagaimana bukti dikuantifikasi, jadi bersiap-siaplah untuk berbicara tentang probabilitas yang dihitung berdasarkan hipotesis bahwa Anda mungkin awalnya tidak percaya itu benar.
Ben Ogorek
Ah tetapi jika Anda berbicara tentang bukti, Anda memasuki tanah Bayesian.
Arthur B.
1
Saya tidak berpikir orang Bayesian memiliki "bukti" (konsep), meskipun mereka telah memformalkannya. Saya berpendapat bahwa nilai p kecil adalah bukti dari sesuatu.
Ben Ogorek
1

"Signifikan secara statistik" berarti bahwa sesuatu dapat saja terjadi secara acak, tetapi itu tidak mungkin. Sebaliknya, ada jauh lebih mungkin bahwa ada semacam sebab. Anda harus membuat ini lebih konkret dengan contoh yang relevan dengan klien Anda, karena penjelasan itu sangat abstrak.

Misalnya, jika pengacara Anne memenangkan lebih banyak kasus rata-rata daripada Bill, ini bisa saja terjadi secara acak. Namun, jika Anne memenangkan lebih banyak kasus yang signifikan secara statistik, maka kemungkinan besar ada sesuatu yang dapat membantu menjelaskan mengapa Anne memenangkan lebih banyak kasus daripada Bill. Kami tidak tahu penyebabnya. Mungkin Anne adalah pengacara yang lebih baik atau Bill sengaja memilih kasus-kasus yang lebih sulit.

Jonathan
sumber
0

Tetap sederhana dan ringkas!

Nilai p didefinisikan sebagai probabilitas untuk mendapatkan hasil yang sama ekstrimnya dengan yang kami amati dengan menganggap nol benar. Jika nilai-p cukup kecil, kemungkinan nol tidak benar. Kami secara sewenang-wenang memilih cut-off untuk apa yang kami anggap sebagai "cukup kecil" (alfa) dan untuk semua nilai p yang berada di bawah alfa, kami menolak nol.

Begitulah cara saya menjelaskannya ke kelas statistik intro saya.

TrynnaDoStat
sumber
Tetapi bagaimana jika Anda tidak memiliki cara untuk mengambil hipotesis nol yang masuk akal (yaitu, tidak ada dua kelompok orang yang persis sama, tetapi Anda juga tidak memiliki informasi yang cukup untuk memprediksi sesuatu yang lebih baik daripada mean1 = mean2)? Menjelaskan signifikansi statistik tanpa menyebutkan keterbatasan dapat membahayakan.
Labu
0

Saya akan mencoba.

Pertama, Anda menghitung nilai p berdasarkan data rata-rata dan bagaimana variabel data itu. Semakin banyak variabel, semakin kecil kemungkinannya untuk mendapatkan nilai p kecil. Di sisi lain, jika, misalnya, Anda membandingkan dua kelompok, semakin besar perbedaan antara rata-rata mereka, semakin kecil nilai-p.

Juga, variabilitas data dapat agak dibatalkan dengan memiliki lebih banyak data. Imaging dua set data dengan perbedaan yang sama antara dua rata-rata dan jumlah variabilitas yang sama. Dalam hal ini, set dengan ukuran sampel yang lebih besar akan memiliki nilai p yang lebih kecil.

Bagian pengujian hanya melihat apakah nilai-p lebih rendah dari angka tertentu. Biasanya orang menggunakan 0,05, tetapi ini adalah kebiasaan sosial yang sewenang-wenang. Banyak orang berpikir tidak masuk akal untuk menggunakan angka arbitrer, namun itu sangat umum karena alasan historis.

Juga perlu diingat bahwa hanya karena uji signifikansi Anda mengatakan ada perbedaan antara dua kelompok tidak berarti Anda tahu mengapa ada perbedaan itu. Di sisi lain, jika tes mengatakan tidak ada perbedaan yang signifikan, ini bisa saja karena variabilitas Anda terlalu besar dan Anda tidak memiliki cukup data untuk mendapatkan nilai p rendah, itu tidak berarti tidak ada perbedaan yang sebenarnya.

Edit:

Untuk meringkas, nilai p yang lebih rendah berarti lebih banyak bukti terhadap prediksi:

Perbedaan dari hasil prediksi -> Turunkan p-value

Lebih banyak data -> Nilai p turun

Lebih banyak variabilitas -> Nilai p naik

Down p-value berarti lebih banyak bukti yang mengatakan prediksi itu salah. Setiap prediksi dalam sejarah telah terbukti salah untuk beberapa tempat desimal.

Labu
sumber
0

Signifikansi statistik adalah konsep yang digunakan untuk memberikan pembenaran untuk menerima atau menolak hipotesis yang diberikan. Dengan serangkaian data, seorang analis dapat menghitung statistik dan menentukan besarnya berbagai hubungan antara berbagai variabel.

Tugas statistik adalah untuk menentukan apakah data mengandung cukup bukti untuk memungkinkan Anda menyimpulkan bahwa statistik yang dihitung atau hubungan yang diamati antara variabel dapat diartikan sebagai pernyataan yang benar atau jika hasil yang diamati dalam data sampel Anda hanya karena kebetulan. Ini dilakukan dengan menentukan beberapa statistik sampel yang akan menunjukkan karakteristik tertentu jika hipotesis nol benar tetapi tidak jika hipotesis nol salah. Semakin banyak statistik sampel yang relevan muncul untuk menunjukkan karakteristik yang diharapkan di bawah hipotesis nol, semakin kuat bukti statistik bahwa hipotesis nol itu benar. Demikian juga, semakin sedikit statistik sampel tampaknya menunjukkan karakteristik yang diharapkan di bawah hipotesis nol, semakin lemah bukti statistik bahwa hipotesis nol itu benar.

Jumlah yang ditunjukkan oleh sampel statistik karakteristik yang diharapkan dalam nol adalah masalah derajat, tetapi untuk menyimpulkan bahwa hipotesis nol diterima atau ditolak harus ada beberapa cutoff sewenang-wenang. Dengan demikian, nilai cutoff dipilih. Jika statistik sampel berada di dalam atau di satu sisi dari nilai cutoff maka dikatakan sesuai dengan karakteristik yang diharapkan dalam hipotesis nol, dan dengan demikian hasilnya dapat dianggap signifikan secara statistik untuk nilai cutoff yang diberikan (misalnya pada alpha 5% tingkat). Jika statistik sampel yang relevan jatuh di sisi lain dari nilai cutoff maka dikatakan tidak sesuai dengan karakteristik yang diharapkan dalam hipotesis nol, dan dengan demikian hasilnya tidak dianggap signifikan secara statistik untuk nilai cutoff yang diberikan.

tjnel
sumber
Tetapi seberapa sering benar - benar ada populasi yang berbeda ditentukan sebelumnya bahwa hasilnya seharusnya berlaku. Biasanya argumen dibuat untuk menerapkan hasil di luar populasi yang diteliti, yang merupakan sampel unik. Berapa banyak keunikan subjek / hal-hal yang tidak diketahui dalam banyak keadaan. Sebuah pengecualian dapat manufaktur kontrol kualitas, tetapi pengujian signifikansi digunakan jauh lebih luas dari itu. Saya hanya bermaksud menekankan batasan prosedur, yang dihilangkan dari pendidikan saya sendiri.
Labu
@Las itu poin yang bagus. Saya telah mengedit jawaban saya untuk mencoba dan menjadikannya lebih umum.
tjnel