Hasil berbeda setelah pencocokan skor kecenderungan pada R

8

Saya telah melakukan Pencocokan Skor Prospensitas (dalam R menggunakan paket-R "Matchit"). Saya menggunakan metode pencocokan "tetangga terdekat". Setelah mencocokkan saya membandingkan pengobatan dan kelompok kontrol dalam hal variabel hasil mereka. Untuk perbandingan ini saya menggunakan uji-t. Saya menemukan bahwa setelah setiap prosedur pencocokan, hasil uji-t berubah. Untuk menguji asumsi saya bahwa perubahan dalam hasil ini adalah karena pemilihan acak dari skor kecenderungan (yang digunakan untuk pencocokan tetangga terdekat) Saya mengatur generator nomor acak ke benih tertentu dan melakukan prosedur pencocokan beberapa kali. Dengan mengatur RNG hasilnya tidak berbeda lagi.

  1. Dihadapkan dengan hasil yang berbeda setelah setiap prosedur pencocokan: bagaimana saya memutuskan solusi pencocokan yang saya gunakan untuk analisis lebih lanjut? Apakah ini metode yang valid untuk melakukan pencocokan produk beberapa kali (katakanlah 10'000) dan melaporkan median nilai p dan t dari hasil yang saya dapatkan dari beberapa uji-t?
k-nearest-neighbour matching propensity-scores Breeze
sumber
2
Saya tidak yakin mengapa ini dipilih sebagai di luar topik karena tampaknya ada pertanyaan statistik di sini yang sepenuhnya independen dari perangkat lunak mana yang digunakan.
mdewey
1
Tampaknya pertanyaan ini merupakan duplikat ke stats.stackexchange.com/questions/118636/...
Viktor

Jawaban:

1

Ini terjadi ketika Anda memiliki (setidaknya) dua orang yang memiliki skor kecenderungan yang sama. MatchIt secara acak memilih satu untuk dimasukkan dalam set yang cocok. Rekomendasi saya adalah memilih satu set yang cocok dan melakukan analisis Anda dengannya. Saya setuju bahwa mencoba metode pengkondisian lainnya seperti pencocokan penuh dan IPW akan menjadi ide yang bagus. Anda dapat melaporkan hasil berbagai analisis di bagian analisis sensitivitas.

Sunting : Ini mungkin jawaban yang salah. Lihat jawaban Viktor untuk kemungkinan penyebab sebenarnya.

Nuh
sumber
Terima kasih Nuh atas balasan Anda. Penjelasan Anda sangat membantu. Saya memutuskan untuk melakukan pencocokan caliper tetangga terdekat (urutan acak) seperti yang disarankan oleh Austin (2014). Seperti yang Anda rekomendasikan, saya memilih satu set yang cocok dan melakukan analisis saya dengannya.
Angin
Saya pikir itu penjelasan yang salah. Pengamatan dengan skor kecenderungan bertepatan sangat-sangat belakang. Masalahnya adalah bahwa MatchIt secara acak memilih urutan pengamatan yang diperlakukan untuk pencocokan. Anda dapat memperbaiki pencocokan dengan menelepon set.seed()sebelum mencocokkan.
Viktor
Saya setuju dengan Anda @ Viktor. Saya akan mengedit jawaban saya.
Noah
1

Ini adalah perilaku standar paket MatchIt. Ini mengocok pengamatan sebelum pencocokan, yaitu, secara acak memilih urutan pencocokan untuk pengamatan yang dirawat. Anda dapat menggunakan set.seed()fungsi untuk memperbaiki hasil. Misalnya, menelepon set.seed(100)sebelum menelepon matchit(). Argumen set.seed()kehendak yang berbeda sesuai dengan pencocokan yang berbeda.

Viktor
sumber
0

Ini pertanyaan yang sangat menarik. Penjelasan pertama yang dapat saya sarankan adalah bahwa studi Anda cukup kecil dan dengan demikian hanya sedikit perbedaan yang cocok yang berdampak. Lebih umum, pencocokan tetangga terdekat tidak terlalu akurat. Kaliper matematika lebih dapat diandalkan, dan mungkin perbedaan yang Anda laporkan akan berkurang atau hilang saat menggunakannya (seperti halnya menggunakan pembobotan perlakuan probabilitas terbalik). Akhirnya, saya tidak yakin apakah Anda menggunakan uji t untuk membandingkan perbedaan baseline (yang tidak pantas, karena ini harus dilakukan menghitung perbedaan standar), atau untuk pengujian hipotesis (dalam hal ini tes berpasangan harus digunakan). Dalam kasus apa pun, pendekatan pelaporan yang umum adalah hanya melaporkan hasil dari prosedur pencocokan tunggal, selama itu dilakukan dengan benar (misalnya dengan pencocokan caliper).

Joe_74
sumber
1
Terima kasih! Ukuran sampel awal adalah 1096 (kontrol) dan 328 (kelompok perlakuan). Setelah pencocokan, kedua ukuran grup dikurangi menjadi 324. Saya benar-benar melakukan pencocokan tetangga terdekat menggunakan caliper 0,25 std dari skor kecenderungan. Saya juga membandingkan pencocokan tetangga terdekat dengan dan tanpa caliper - yang menyebabkan 4 unit tambahan dalam setiap kelompok dibuang. Saya menghitung perbedaan standar sarana kovariat sebelum vs setelah pencocokan. Nilai-nilai ini tidak berubah setelah setiap pencocokan tetapi nilai-nilai dalam variabel hasil berubah.
Breeze
@Beku saya mengerti. Sudahkah Anda mencoba pencocokan 1: 2 atau IPTW?
Joe_74
1
Hai Joe_74, terima kasih atas balasan Anda. Saya memang mencoba pencocokan tepat dalam pencocokan tetangga terdekat. Sayangnya ukuran sampel saya berkurang menjadi 294 unit di kedua kelompok. Jika memungkinkan, saya ingin mempertahankan ukuran sampel yang di atas 300. Tapi saya belum menemukan bobot perlakuan probabilitas terbalik. Apakah Anda merekomendasikannya?
Breeze
@Breeze Pasti. IPTW adalah kunci untuk menyesuaikan perbedaan residu dalam PS. Menggunakannya juga berarti Anda dapat menyimpan semua kasing Anda, tidak hanya yang cocok.
Joe_74
1
ini kedengarannya menarik, terima kasih. Saya mungkin mencobanya sesudahnya. Jika saya melakukan pencocokan seperti yang saya jelaskan di atas (tetangga terdekat dengan caliper), akankah Anda menyarankan saya untuk melaporkan hasil dari prosedur pencocokan acak tunggal? Karena saya mendapatkan hasil yang berbeda setiap waktu, untuk memilih hanya hasil dari satu prosedur sepertinya terlalu acak bagi saya ... apa pendapat Anda tentang ini?
Breeze