Kesimpulan statistik ketika sampel “adalah” populasi

47

Bayangkan Anda harus melaporkan jumlah kandidat yang setiap tahun mengikuti tes yang diberikan. Tampaknya agak sulit untuk menyimpulkan% keberhasilan yang diamati, misalnya, pada populasi yang lebih luas karena kekhususan populasi target. Jadi, Anda dapat mempertimbangkan bahwa data ini mewakili seluruh populasi.

Apakah hasil tes menunjukkan bahwa proporsi pria dan wanita berbeda benar-benar benar? Apakah tes yang membandingkan proporsi yang diamati dan teoritis tampaknya benar, karena Anda mempertimbangkan seluruh populasi (dan bukan sampel)?

pbneau
sumber

Jawaban:

31

Mungkin ada berbagai pendapat mengenai hal ini, tetapi saya akan memperlakukan data populasi sebagai sampel dan mengasumsikan populasi hipotetis, kemudian membuat kesimpulan dengan cara biasa. Salah satu cara untuk memikirkan hal ini adalah bahwa ada proses pembuatan data mendasar yang bertanggung jawab atas data yang dikumpulkan, distribusi "populasi".

Dalam kasus khusus Anda, ini mungkin lebih masuk akal karena Anda akan memiliki kohort di masa depan. Maka populasi Anda benar-benar kohort yang mengikuti tes bahkan di masa depan. Dengan cara ini, Anda dapat memperhitungkan variasi berdasarkan waktu jika Anda memiliki data selama lebih dari satu tahun, atau mencoba untuk memperhitungkan faktor laten melalui model kesalahan Anda. Singkatnya, Anda dapat mengembangkan model yang lebih kaya dengan kekuatan penjelas yang lebih besar.

ars
sumber
4
Baru saja menemukan posting ini dari A Gelman, Apa perbedaan analisis statistik ketika menganalisis seluruh populasi daripada sampel? , j.mp/cZ1WSI . Titik awal yang baik tentang menyimpang pendapat tentang konsep "populasi super".
chl
2
@chl: menarik - mengingatkan saya bahwa Gelman memiliki diskusi tentang inferensi populasi terbatas / super yang sebanding dengan efek tetap / acak dalam makalahnya di ANOVA [ stat.columbia.edu/ ~gelman / research / published / econanova3.pdf ]
ars
+1 Saya baru saja kembali ke ini lagi (melalui google). Saya pikir jawaban Anda tepat.
Shane
25

Sebenarnya, jika Anda benar-benar positif memiliki seluruh populasi, bahkan tidak perlu masuk ke statistik. Maka Anda tahu persis seberapa besar perbedaannya, dan tidak ada alasan apa pun untuk mengujinya lagi. Kesalahan klasik menggunakan signifikansi statistik sebagai signifikansi "relevan". Jika Anda mengambil sampel populasi, perbedaannya adalah apa itu.

Di sisi lain, jika Anda merumuskan ulang hipotesis Anda, maka para kandidat dapat dilihat sebagai sampel kandidat yang memungkinkan, yang akan memungkinkan untuk pengujian statistik. Dalam hal ini, Anda akan menguji secara umum apakah pria dan wanita berbeda pada tes yang dihadapi.

Seperti kata ars, Anda dapat menggunakan tes beberapa tahun dan menambah waktu sebagai faktor acak. Tetapi jika minat Anda benar-benar ada dalam perbedaan antara kandidat ini pada tes khusus ini, Anda tidak dapat menggunakan generalisasi dan pengujian tidak masuk akal.

Joris Meys
sumber
15

Secara tradisional, inferensi statistik diajarkan dalam konteks sampel probabilitas dan sifat kesalahan pengambilan sampel. Model ini adalah dasar untuk uji signifikansi. Namun, ada cara lain untuk memodelkan keberangkatan sistematis dari kebetulan dan ternyata tes parametrik kami (berbasis sampling) cenderung menjadi pendekatan yang baik dari alternatif ini.

Tes parametrik hipotesis bergantung pada teori sampling untuk menghasilkan estimasi kesalahan yang mungkin terjadi. Jika sampel dengan ukuran tertentu diambil dari suatu populasi, pengetahuan tentang sifat sistematis pengambilan sampel membuat pengujian dan interval kepercayaan bermakna. Dengan populasi, teori pengambilan sampel sama sekali tidak relevan dan tes tidak bermakna dalam arti tradisional. Kesimpulan tidak berguna, tidak ada yang bisa disimpulkan, hanya ada satu hal ... parameter itu sendiri.

Beberapa menyiasatinya dengan menarik populasi super yang diwakili oleh sensus saat ini. Saya menemukan banding ini tidak meyakinkan - tes parametrik didasarkan pada probabilitas sampel dan karakteristiknya. Suatu populasi pada waktu tertentu dapat menjadi sampel dari populasi yang lebih besar dari waktu dan tempat. Namun, saya tidak melihat satu cara pun bahwa seseorang dapat secara sah berdebat bahwa ini adalah sampel acak (atau lebih umum segala bentuk probabilitas). Tanpa sampel probabilitas, teori pengambilan sampel dan logika pengujian tradisional tidak berlaku. Anda mungkin juga menguji berdasarkan sampel kenyamanan.

Jelas, untuk menerima pengujian saat menggunakan populasi, kita perlu membuang dasar dari tes-tes tersebut dalam prosedur pengambilan sampel. Salah satu cara untuk melakukan ini adalah dengan mengenali hubungan yang erat antara pengujian sampel-teori kami - seperti t, Z, dan F - dan prosedur pengacakan. Tes pengacakan didasarkan pada sampel yang ada. Jika saya mengumpulkan data tentang pendapatan pria dan wanita, model probabilitas dan dasar untuk estimasi kesalahan kami adalah alokasi acak berulang dari nilai data aktual. Saya bisa membandingkan perbedaan yang diamati antar kelompok dengan distribusi berdasarkan pengacakan ini. (Kami melakukan ini sepanjang waktu dalam eksperimen, omong-omong, di mana pengambilan sampel acak dari model populasi jarang tepat).

Sekarang, ternyata tes sampel-teori sering kali merupakan pendekatan yang baik untuk tes pengacakan. Jadi, pada akhirnya, saya pikir tes dari populasi berguna dan bermakna dalam kerangka kerja ini dan dapat membantu membedakan sistematis dari variasi kebetulan - seperti halnya dengan tes berbasis sampel. Logika yang digunakan untuk sampai ke sana sedikit berbeda, tetapi tidak memiliki banyak pengaruh pada arti praktis dan penggunaan tes. Tentu saja, mungkin lebih baik menggunakan uji pengacakan dan permutasi secara langsung karena mudah digunakan dengan semua kekuatan komputasi modern kita.

Brett
sumber
3
+1 untuk diskusi yang masuk akal; beberapa poin. Mesin inferensial tidak tersedia untuk analisis populasi, tetapi dalam banyak kasus modeling, saya akan mempertanyakan apakah yang pernah memiliki satu data kependudukan untuk memulai dengan - sering, itu tidak terlalu sulit untuk menyodok lubang. Jadi itu tidak selalu menarik bagi populasi super sebagai sarana untuk menyebarkan inferensi. Daripada "populasi super", cara yang lebih baik adalah dengan mengasumsikan proses menghasilkan data yang menghasilkan, misalnya, tahun ke tahun tes mengambil kohort yang bersangkutan. Di situlah komponen stokastik muncul.
ars
2
Saya tidak berpikir ada pertentangan di sini, kecuali kurangnya mesin inferensial untuk analisis populasi. Tes pengacakan berlaku untuk populasi dan dapat dengan wajar menguji apakah proses pembuatan data kemungkinan karena proses pembuatan acak versus proses pembuatan sistematis. Mereka tidak mengasumsikan pengambilan sampel acak dan merupakan tes peluang langsung versus variasi sistematis. Tes tradisional kami berlangsung cukup baik untuk mereka.
Brett
Itu benar re: "kurangnya mesin inferensial". Kata-kata yang ceroboh di pihak saya, terutama karena saya menyukai poin yang Anda buat tentang tes pengacakan dalam jawaban Anda.
ars
Maaf. Saya memiliki kesulitan untuk memahami bagaimana saya akan menghitung permutasi dan kesimpulan apa yang saya dapat buat untuk mereka.
pbneau
Apakah bootstrap bukan alternatif yang valid? Bagaimana bootstrap gagal menyelesaikan kebutuhan untuk membuat salah satu dari asumsi ini?
Chernoff
3

Asumsikan hasil menunjukkan bahwa kandidat berbeda di sepanjang garis gender. Misalnya, proporsi mereka yang menyelesaikan tes adalah sebagai berikut: 40% wanita dan 60% pria. Untuk menyarankan yang jelas, 40% berbeda dari 60%. Sekarang yang penting adalah memutuskan: 1) populasi yang Anda minati; 2) bagaimana pengamatan Anda berhubungan dengan populasi yang diminati. Berikut adalah beberapa detail tentang dua masalah ini:

  1. Jika populasi yang Anda minati hanyalah kandidat yang telah Anda amati (mis., 100 kandidat yang mendaftar ke universitas pada tahun 2016), Anda tidak perlu melaporkan tes signifikansi statistik. Ini karena populasi yang Anda minati benar-benar diambil sampelnya ... yang Anda pedulikan hanyalah 100 kandidat tempat Anda memiliki data lengkap. Artinya, 60% adalah, berhenti penuh, berbeda dari 40%. Jenis pertanyaan dari jawaban ini adalah, adakah perbedaan gender dalam populasi 100 yang diterapkan pada program? Ini adalah pertanyaan deskriptif dan jawabannya adalah ya.

  2. Namun, banyak pertanyaan penting tentang apa yang akan terjadi dalam pengaturan yang berbeda. Artinya, banyak peneliti ingin memunculkan tren tentang masa lalu yang membantu kita memprediksi (dan kemudian merencanakan) masa depan. Contoh pertanyaan dalam hal ini adalah, Seberapa besar kemungkinan tes kandidat di masa depan akan berbeda menurut gender? Populasi yang diminati kemudian lebih luas daripada dalam skenario # 1 di atas. Pada titik ini, pertanyaan penting untuk ditanyakan adalah: Apakah data Anda yang diamati cenderung mewakili tren masa depan? Ini adalah pertanyaan inferensial, dan berdasarkan info yang diberikan oleh pengirim asli, jawabannya adalah: kita tidak tahu.

Singkatnya, statistik apa yang Anda laporkan tergantung pada jenis pertanyaan yang ingin Anda jawab.

Berpikir tentang desain penelitian dasar mungkin sangat membantu (coba di sini: http://www.socialresearchmethods.net/kb/design.php ). Berpikir tentang populasi super mungkin bisa membantu jika Anda ingin info lebih lanjut (di sini ada artikel yang dapat membantu: http://projecteuclid.org/euclid.ss/1023798999#ui-tabs-1 ).

dca
sumber
2

Jika Anda menganggap apa pun yang Anda ukur sebagai proses acak, maka ya uji statistik relevan. Ambil contoh, membalik koin 10 kali untuk melihat apakah itu adil. Anda mendapatkan 6 kepala dan 4 ekor - apa yang Anda simpulkan?

James
sumber
1
Saya tidak begitu mengerti bagaimana kesimpulan yang Anda dapatkan tentang masalah melempar koin terkait dengan pertanyaan yang diajukan. Mungkin Anda bisa mengembangkan sedikit tentang hal itu? Tes statistik tampaknya relevan sejauh mereka membantu menyimpulkan hasil yang diamati pada populasi yang lebih besar, apakah itu referensi atau populasi umum. Pertanyaannya di sini tampaknya: Mengingat bahwa sampel dekat dengan populasi peserta tes untuk jangka waktu tertentu (di sini, satu tahun), apakah inferensi klasik merupakan cara yang tepat untuk mencapai keputusan tentang kemungkinan perbedaan di tingkat individu?
chl
1
@ chl Ya, tetapi tampaknya OP sedang mencoba untuk menyimpulkan kemungkinan keberhasilan yang mendasarinya. Tes membandingkan proporsi yang diamati dengan distribusi teoritis untuk menentukan apakah ada perbedaan untuk tingkat kepercayaan tertentu. Anda menguji segala bentuk keacakan, bukan hanya kesalahan sampel pengambilan sampel.
James