Regresi kesalahan-dalam-variabel: apakah valid untuk menyatukan data dari tiga situs?

Saya baru-baru ini meminta klien datang kepada saya untuk melakukan analisis bootstrap karena pengulas FDA mengatakan bahwa kesalahan mereka dalam regresi variabel tidak valid karena ketika mengumpulkan data dari situs analisis mencakup pengumpulan data dari tiga situs di mana dua situs termasuk beberapa sampel yang sama.

LATAR BELAKANG

Klien memiliki metode pengujian baru yang ingin mereka perlihatkan adalah "setara" dengan metode yang disetujui yang ada. Pendekatan mereka adalah membandingkan hasil kedua metode yang diterapkan pada sampel yang sama. Tiga situs digunakan untuk melakukan pengujian. Kesalahan-dalam-variabel (Deming regression) diterapkan pada data di setiap situs. Idenya adalah bahwa jika regresi menunjukkan parameter kemiringan mendekati 1 dan intersep dekat 0 ini akan menunjukkan bahwa dua teknik pengujian memberikan hasil yang hampir sama dan karenanya metode baru harus disetujui. Di situs 1 mereka memiliki 45 sampel memberi mereka 45 pengamatan berpasangan. Situs 2 memiliki 40 sampel dan situs 3, 43 sampel. Mereka melakukan tiga regresi Deming yang terpisah (dengan asumsi rasio 1 untuk kesalahan pengukuran untuk kedua metode). Jadi algoritma meminimalkan jumlah jarak tegak lurus kuadrat.

Dalam pengajuan mereka, klien menunjukkan bahwa beberapa sampel yang digunakan di situs 1 dan 2 adalah sama. Dalam ulasan tersebut, resensi FDA mengatakan bahwa regresi Deming tidak valid karena sampel umum digunakan yang menyebabkan "campur tangan" yang membuat asumsi model tidak valid. Mereka meminta agar penyesuaian bootstrap diterapkan pada hasil Deming untuk memperhitungkan gangguan ini.

Pada saat itu karena klien tidak tahu bagaimana melakukan bootstrap yang saya bawa. Istilah interferensi itu aneh dan saya tidak yakin persis apa yang didapat oleh reviewer. Saya berasumsi bahwa intinya adalah karena data yang dikumpulkan memiliki sampel umum, akan ada korelasi untuk sampel umum dan karenanya syarat kesalahan model tidak semuanya independen.

ANALISIS KLIEN

Tiga regresi terpisah sangat mirip. Masing-masing memiliki parameter kemiringan mendekati 1 dan memotong mendekati 0. Interval kepercayaan 95% berisi 1 dan 0 untuk kemiringan dan mencegat masing-masing dalam setiap kasus. Perbedaan utama adalah varians residual yang sedikit lebih tinggi di situs 3. Selanjutnya mereka membandingkan ini dengan hasil dari melakukan OLS dan menemukan mereka sangat mirip (hanya dalam satu kasus melakukan interval kepercayaan untuk lereng berdasarkan OLS tidak mengandung 1). Dalam kasus di mana OLS CI untuk lereng tidak mengandung 1, batas atas interval adalah sekitar 0,99.

Dengan hasil yang sangat mirip di ketiga situs penyatuan data situs tampak masuk akal. Klien melakukan regresi Deming yang dikumpulkan yang juga mengarah pada hasil yang sama. Mengingat hasil ini saya menulis laporan untuk klien yang membantah klaim bahwa regresi tidak valid. Argumen saya adalah bahwa karena ada kesalahan pengukuran yang serupa di kedua variabel, klien berhak menggunakan regresi Deming sebagai cara untuk menunjukkan kesepakatan / ketidaksepakatan. Regresi masing-masing situs tidak memiliki masalah kesalahan berkorelasi karena tidak ada sampel yang diulang dalam situs tertentu. Pooling data untuk mendapatkan interval kepercayaan yang lebih ketat.

Kesulitan ini dapat diatasi dengan hanya mengumpulkan data dengan sampel umum dari situs 1 mengatakan ditinggalkan. Juga tiga model situs individual tidak memiliki masalah dan valid. Bagi saya ini sepertinya memberikan bukti kuat akan persetujuan bahkan tanpa penyatuan. Selanjutnya pengukuran dilakukan secara independen di situs 1 dan 2 untuk situs umum. Jadi saya berpikir bahwa bahkan analisis yang dikumpulkan menggunakan semua data valid karena kesalahan pengukuran untuk sampel di situs 1 tidak berkorelasi dengan kesalahan pengukuran dalam sampel yang sesuai di situs 2. Ini benar-benar hanya mengulangi titik dalam desain. ruang yang seharusnya tidak menjadi masalah. Itu tidak menciptakan korelasi / "gangguan".

Dalam laporan saya, saya menulis bahwa analisis bootstrap tidak diperlukan karena tidak ada korelasi untuk menyesuaikan. Tiga model situs valid (tidak ada "gangguan" di dalam situs) dan analisis gabungan dapat dilakukan dengan menghapus sampel umum di situs 1 saat melakukan pengumpulan. Analisis yang dikumpulkan seperti itu tidak dapat memiliki masalah gangguan. Penyesuaian bootstrap tidak diperlukan karena tidak ada bias untuk menyesuaikan.

KESIMPULAN

Klien setuju dengan analisis saya tetapi takut membawanya ke FDA. Mereka ingin saya melakukan penyesuaian bootstrap.

PERTANYAAN SAYA

A) Apakah Anda setuju dengan (1) Analisis saya tentang hasil klien dan (2) argumen saya bahwa bootstrap tidak diperlukan.

B) Karena saya harus bootstrap regresi Deming, adakah prosedur SAS atau R yang tersedia bagi saya untuk melakukan regresi Deming pada sampel bootstrap?

EDIT: Mengingat saran dari Bill Huber I berencana untuk melihat batas-batas pada regresi kesalahan-dalam-variabel dengan regresi baik y pada x dan x pada y. Kita sudah tahu bahwa untuk satu versi OLS jawabannya pada dasarnya sama dengan kesalahan-dalam-variabel ketika dua varian kesalahan diasumsikan sama. Jika ini benar untuk regresi lain maka saya pikir itu akan menunjukkan bahwa regresi Deming memberikan solusi yang tepat. Apa kamu setuju?

Untuk memenuhi permintaan klien saya perlu melakukan analisis bootstrap yang diminta yang secara samar-samar didefinisikan. Secara etis saya pikir itu akan salah untuk hanya menyediakan bootstrap karena itu tidak benar-benar menyelesaikan masalah nyata klien, yaitu untuk membenarkan prosedur pengukuran pengujian mereka. Jadi saya akan memberi mereka kedua analisis dan meminta setidaknya mereka memberi tahu FDA bahwa selain melakukan bootstrap saya melakukan regresi terbalik dan membatasi regresi Deming yang saya pikir lebih tepat. Saya juga berpikir bahwa analisis akan menunjukkan bahwa metode mereka setara dengan referensi dan karena itu regresi Deming juga memadai.

Saya berencana untuk menggunakan program R yang @whuber menyarankan dalam jawabannya untuk memungkinkan saya untuk bootstrap regresi Deming. Saya tidak terlalu terbiasa dengan R tetapi saya pikir saya bisa melakukannya. Saya telah menginstal R bersama dengan R Studio. Apakah itu akan membuatnya cukup mudah bagi seorang pemula seperti saya?

Saya juga punya SAS dan saya lebih nyaman pemrograman di SAS. Jadi jika ada yang tahu cara untuk melakukan ini di SAS, saya akan sangat menghargai mengetahui tentang hal itu.

Ini adalah masalah kalibrasi timbal balik: yaitu membandingkan dua perangkat pengukuran independen secara kuantitatif.

Tampaknya ada dua masalah utama. Yang pertama (yang hanya tersirat dalam pertanyaan) adalah dalam membingkai masalah: bagaimana seharusnya seseorang menentukan apakah metode baru "setara" dengan yang disetujui? Yang kedua menyangkut bagaimana menganalisis data di mana beberapa sampel mungkin telah diukur lebih dari sekali.

Membingkai pertanyaan

Solusi terbaik (dan mungkin jelas) untuk masalah yang dinyatakan adalah untuk mengevaluasi metode baru menggunakan sampel dengan nilai yang diketahui secara akurat yang diperoleh dari media yang sebanding (seperti plasma manusia). (Ini biasanya dilakukan dengan spiking sampel aktual dengan bahan standar konsentrasi diketahui.) Karena ini belum dilakukan, mari kita asumsikan itu tidak mungkin atau tidak akan dapat diterima oleh regulator (untuk alasan apa pun). Dengan demikian, kita direduksi untuk membandingkan dua metode pengukuran, salah satunya sedang digunakan sebagai referensi karena diyakini akurat dan dapat direproduksi (tetapi tanpa presisi sempurna).

Akibatnya, klien akan meminta agar FDA mengizinkan metode baru sebagai proksi atau pengganti untuk metode yang disetujui. Dengan demikian, beban mereka adalah untuk menunjukkan bahwa hasil dari metode baru akan memprediksi, dengan akurasi yang cukup, apa yang akan ditentukan metode yang disetujui seandainya itu diterapkan. Aspek halus dari ini adalah bahwa kita tidak berusaha untuk memprediksi nilai sebenarnya sendiri - kita bahkan tidak mengetahuinya. Dengan demikian, regresi kesalahan-dalam-variabel mungkin bukan cara yang paling tepat untuk menganalisis data ini.

$Y$$X$$X$$Y$$Y$$X$$Y$$X$. (Dalam pengalaman saya, pendekatan ini cenderung ketat secara konservatif: interval ini bisa sangat besar kecuali jika kedua pengukuran tersebut sangat akurat, tepat, dan terkait linier.)

Mengatasi sampel duplikat

Konsep yang relevan di sini adalah contoh dukungan dan komponen varians. "Dukungan sampel" mengacu pada bagian fisik dari subjek (manusia di sini) yang sebenarnya diukur. Setelah beberapa bagian dari subjek diambil, biasanya perlu dibagi menjadi sub-sampel yang cocok untuk proses pengukuran. Kami mungkin khawatir tentang kemungkinan variasi antar subsamples. Dalam sampel cair yang tercampur dengan baik, pada dasarnya tidak ada variasi dalam jumlah yang mendasarinya (seperti konsentrasi bahan kimia) di seluruh sampel, tetapi dalam sampel padatan atau semi padat (yang mungkin termasuk darah), variasi tersebut dapat besar. Mempertimbangkan bahwa laboratorium sering hanya membutuhkan mikroliter dari suatu solusi untuk melakukan pengukuran, kita harus khawatir tentang variasi hampir pada skala mikroskopis. Ini bisa jadi penting.

Kemungkinan variasi seperti itu di dalamsampel fisik menunjukkan bahwa variasi dalam hasil pengukuran harus dipartisi menjadi "komponen varians" yang terpisah. Satu komponen adalah varians dari variasi dalam-sampel, dan yang lain adalah kontribusi terhadap varians dari setiap langkah independen dari proses pengukuran selanjutnya. (Langkah-langkah ini dapat mencakup tindakan fisik sub-sampel, proses kimia dan fisik sampel yang lebih lanjut - seperti menambahkan zat penstabil atau sentrifugasi -, injeksi sampel ke dalam alat pengukur, variasi di dalam instrumen, variasi di antara instrumen, dan variasi lainnya di dalam variasi karena perubahan dalam siapa yang mengoperasikan instrumen, kemungkinan kontaminasi ambien di laboratorium, dan banyak lagi. Saya harap ini menjelaskan bahwa untuk melakukan pekerjaan yang sangat baik dalam menjawab pertanyaan ini, ahli statistik membutuhkan pemahaman menyeluruh tentang keseluruhan pengambilan sampel dan proses analitis. Yang bisa saya lakukan adalah memberikan panduan umum.)

Pertimbangan ini berlaku untuk pertanyaan yang ada karena satu "sampel" yang diukur pada dua "situs" yang berbeda benar-benar adalah dua sampel fisik yang diperoleh dari orang yang sama dan kemudian dipisah di antara laboratorium. Pengukuran dengan metode yang disetujui akan menggunakan sepotong sampel split dan pengukuran simultan dengan metode baru akan menggunakan potongan sampel split lainnya. Dengan mempertimbangkan komponen-komponen varian yang disiratkan oleh pemisahan ini, kita dapat menyelesaikan masalah utama dari pertanyaan ini. Seharusnya sekarang menjadi jelas bahwa perbedaan antara pengukuran berpasangan ini harus dikaitkan dengan dua hal: pertama, perbedaan aktual antara prosedur pengukuran - ini adalah apa yang kami coba untuk menilai - dan kedua, perbedaan karena variasi apa pun dalamsampel serta variasi yang disebabkan oleh proses fisik mengekstraksi dua sub sampel untuk diukur. Jika alasan fisik tentang homogenitas sampel dan proses subsampling dapat menetapkan bahwa bentuk varian kedua dapat diabaikan, maka memang tidak ada "gangguan" seperti yang diklaim oleh pengulas. Jika tidak, komponen-komponen varian ini mungkin perlu dimodelkan secara eksplisit dan diperkirakan dalam analisis regresi terbalik.