Interval kepercayaan dan interval prediksi untuk regresi nonlinier

Apakah pita kepercayaan dan prediksi di sekitar regresi non-linear seharusnya simetris di sekitar garis regresi? Berarti mereka tidak mengambil bentuk jam-kaca seperti dalam kasus band untuk regresi linier. Mengapa demikian?

Berikut adalah model yang dimaksud:
Ini gambarnya:

F (x) = (\frac{SEBUAH - D}{1 + {(\frac{x}{C})}^{B}}) + D

$F(x) = \left(\frac{A-D}{1 + \left(\frac x C\right)^B}\right) + D$

dan inilah persamaannya:

masukkan deskripsi gambar di sini

confidence-interval nonlinear-regression prediction-interval Serge
sumber

Pertanyaan Anda tidak jelas, karena Anda bergeser dari bertanya apakah mereka "seharusnya simetris" dalam kalimat pertama, ke menyiratkan bahwa mereka tidak dalam kalimat 2 & menanyakan (mungkin) mengapa mereka tidak dalam kalimat 3. Dapatkah Anda membuat ini lebih konsisten / jelas?

gung - Reinstate Monica

OK, saya ingin bertanya seperti ini - mengapa pita kepercayaan dan prediksi simetris di sekitar garis regresi ketika regresi non-linier tetapi mengambil bentuk jam-kaca ketika linier?

Serge

0

$0$

0

$0$

Kamu benar. Band ini menyeberang ke wilayah negatif. Namun, saya tidak tertarik pada nilai-nilai band itu sendiri, tetapi lebih pada nilai-nilai EC50 yang sesuai dengan batas-batas band. Apakah ada alternatif untuk membangun band dengan cara ini?

Serge

Ya, tetapi ketika saya mengisyaratkan mereka bisa menjadi rumit. Metode kuadrat terkecil dan metode deret waktu dapat mengatasi korelasi serial. Transformasi nonlinear dari variabel dependen adalah salah satu alat untuk menangani kesalahan non-aditif. Alat yang lebih canggih adalah model linier umum. Pilihan tergantung sebagian pada sifat variabel dependen. BTW, meskipun saya tidak yakin apa yang Anda maksud dengan "nilai EC50" (sepertinya Anda memodelkan hubungan dosis-respons), apa pun yang dihitung dari pita ilustrasi akan dicurigai.

whuber

Jawaban:

Pita kepercayaan dan prediksi harus diharapkan untuk menjadi lebih luas di dekat ujungnya - dan untuk alasan yang sama bahwa mereka selalu melakukannya dalam regresi biasa; umumnya ketidakpastian parameter mengarah ke interval yang lebih luas di dekat ujung daripada di tengah

Anda dapat melihat ini dengan simulasi cukup mudah, baik dengan mensimulasikan data dari model yang diberikan, atau dengan mensimulasikan dari distribusi sampling dari vektor parameter.

Perhitungan biasa (kira-kira benar) yang dilakukan untuk regresi nonlinier melibatkan mengambil pendekatan linier lokal (ini diberikan dalam jawaban Harvey), tetapi bahkan tanpa yang kita bisa mendapatkan beberapa gagasan tentang apa yang terjadi.

Namun, melakukan perhitungan yang sebenarnya adalah nontrivial dan mungkin program mungkin mengambil jalan pintas dalam perhitungan yang mengabaikan efek itu. Mungkin juga untuk beberapa data dan beberapa model efeknya relatif kecil dan sulit dilihat. Memang dengan interval prediksi, terutama dengan varians yang besar tetapi banyak data kadang-kadang sulit untuk melihat kurva dalam regresi linier biasa - mereka dapat terlihat hampir lurus, dan relatif mudah untuk melihat penyimpangan dari kelurusan.

Berikut adalah contoh betapa sulitnya untuk melihat hanya dengan interval kepercayaan untuk rata-rata (interval prediksi bisa jauh lebih sulit untuk dilihat karena variasi relatif mereka jauh lebih sedikit). Berikut adalah beberapa data dan kuadrat terkecil nonlinear, dengan interval kepercayaan untuk rata-rata populasi (dalam hal ini dihasilkan dari distribusi sampling karena saya tahu model yang sebenarnya, tetapi sesuatu yang sangat mirip dapat dilakukan dengan pendekatan asimptotik atau dengan bootstrap):

masukkan deskripsi gambar di sini

Batas ungu terlihat hampir sejajar dengan prediksi biru ... tetapi sebenarnya tidak. Inilah kesalahan standar distribusi sampling dari prediksi rata-rata tersebut:

masukkan deskripsi gambar di sini

yang jelas tidak konstan.

Edit:

Ekspresi "sp" yang baru saja Anda posting datang langsung dari interval prediksi untuk regresi linier !

Glen_b -Reinstate Monica
sumber

apakah Anda juga mengatakan bahwa peningkatan ketidakpastian parameter ketika seseorang menjauh dari pusat harus menyebabkan pita melebar di ujungnya bahkan dalam kasus regresi nonlinier, tetapi itu tidak begitu jelas? Atau adakah alasan teoretis mengapa pelebaran ini tidak terjadi dalam kasus regresi nonlinier? Band-band saya tentu saja terlihat sangat simetris.

Serge

Pelebaran itu akan terjadi harus khas, tetapi tidak akan terjadi dengan cara yang sama dengan setiap model nonlinier dan tidak akan sejelas dengan setiap model, dan karena tidak semudah yang dilakukan mungkin tidak dapat dihitung seperti itu oleh program yang diberikan . Saya tidak tahu bagaimana band yang Anda lihat telah dihitung - Saya bukan pembaca pikiran, dan saya tidak bisa melihat kode program yang bahkan belum Anda sebutkan namanya.

Glen_b -Reinstate Monica

@ user1505202, ini masih menjadi pertanyaan yang sulit dijawab sepenuhnya. Dapatkah Anda menyatakan apa model Anda (bentuk fungsionalnya)? Bisakah Anda melampirkan gambar sosok yang membingungkan Anda?

gung - Reinstate Monica

Terima kasih. Saya memiliki angka-angka dan mereka pada dasarnya konstan - perbedaan antara garis regresi dan setiap batas prediksi berkisar dari 18.21074 di tengah hingga 18.24877 di ujungnya. Jadi, sedikit melebar, tetapi sangat sedikit. Ngomong-ngomong, @gung, saya mendapatkan persamaan yang menghitung interval prediksi. Itu adalah:Y-hat +/- sp(Y-hat)

Serge

Itu tentang jenis variasi yang mungkin Anda lihat dengan interval prediksi dengan sampel besar. Apa yang sp?

Glen_b -Reinstate Monica

Matematika komputasi kepercayaan dan pita prediksi kurva yang cocok dengan regresi nonlinier dijelaskan dalam halaman Cross-Validated ini. Ini menunjukkan bahwa pita tidak selalu / biasanya simetris.

Dan inilah penjelasan dengan lebih banyak kata dan sedikit matematika:

Pertama, mari kita tentukan G | x, yang merupakan gradien dari parameter pada nilai X tertentu dan menggunakan semua nilai parameter yang paling cocok. Hasilnya adalah vektor, dengan satu elemen per parameter. Untuk setiap parameter, didefinisikan sebagai dY / dP, di mana Y adalah nilai Y dari kurva yang diberi nilai X tertentu dan semua nilai parameter paling cocok, dan P adalah salah satu parameter.)

G '| x adalah vektor gradien yang ditransposisikan, jadi itu adalah kolom daripada deretan nilai. Cov adalah matriks kovarians (terbalik Hessian dari iterasi terakhir). Ini adalah matriks persegi dengan jumlah baris dan kolom sama dengan jumlah parameter. Setiap item dalam matriks adalah kovarians antara dua parameter. Kami menggunakan Cov untuk merujuk ke matriks kovarians yang dinormalisasi , di mana setiap nilai adalah antara -1 dan 1.

Sekarang hitung

c = G '| x * Cov * G | x.

Hasilnya adalah angka tunggal untuk nilai X.

Pita keyakinan dan prediksi berpusat pada kurva paling pas, dan meluas di atas dan di bawah kurva dalam jumlah yang sama.

Pita kepercayaan meluas di atas dan di bawah kurva dengan:

= sqrt (c) * sqrt (SS / DF) * CriticalT (Keyakinan%, DF)

Pita prediksi memperpanjang jarak lebih jauh di atas dan di bawah kurva, sama dengan:

= sqrt (c + 1) * sqrt (SS / DF) * CriticalT (Keyakinan%, DF)

Dalam kedua persamaan ini, nilai c (didefinisikan di atas) tergantung pada nilai X, sehingga pita kepercayaan dan prediksi bukanlah jarak konstan dari kurva. Nilai SS adalah jumlah dari kuadrat untuk fit, dan DF adalah jumlah derajat kebebasan (jumlah titik data dikurangi jumlah parameter). CriticalT adalah konstanta dari distribusi t berdasarkan tingkat kepercayaan yang Anda inginkan (secara tradisional 95%) dan jumlah derajat kebebasan. Untuk batas 95%, dan df yang cukup besar, nilai ini mendekati 1,96. Jika DF kecil, nilai ini lebih tinggi.

Harvey Motulsky
sumber

Terima kasih, Harvey. Saya sedang bekerja untuk mendapatkan gradien parameter untuk fungsi saya. Apakah Anda kebetulan mengetahui contoh yang berhasil, karena saya juga tidak jelas tentang bagaimana matriks kovarians diperoleh.

Serge

Jika Anda menggunakan demo GraphPad Prism, Anda dapat memasukkan data ke model apa pun yang Anda inginkan, dan melihat matriks kovarians (hasil opsional yang dipilih pada tab Diagnostics) dan pita kepercayaan atau prediksi (seperti angka dan grafik; juga pilih di Tab Diagnostik). Itu tidak cukup baik sebagai contoh yang dikerjakan, tetapi setidaknya Anda dapat membandingkan matriks kovarians dan melihat apakah masalahnya sebelum atau setelah ...

Harvey Motulsky

Tapi ada dua hal. 1. Prism memberi saya matriks Cov. Namun, ini hanya satu angka untuk seluruh dataset. Apakah saya tidak seharusnya mendapatkan satu nilai per nilai X? 2. Saya mendapatkan band prediksi dalam grafik tetapi saya ingin output berisi nilai-nilai. Prism tampaknya tidak melakukan itu. Saya sangat baru di Prism, jadi saya mungkin tidak mencari kemana-mana, tetapi saya mencoba!

Serge

1. Matriks kovarians menunjukkan sejauh mana parameter saling terkait. Jadi ada satu nilai untuk setiap pasangan parameter yang Anda minta agar regresi nonlinear cocok. 2. Lihat pada tab Range untuk meminta Prism membuat tabel koordinat XY dari kurva, dengan nilai plus / minus untuk pita kepercayaan atau prediksi. 3. Untuk dukungan teknis dengan Prism, kirim email ke [email protected] Gunakan forum ini untuk pertanyaan statistik, bukan dukungan teknis.

Harvey Motulsky