Mengapa menyertakan garis lintang dan bujur dalam akun GAM untuk autokorelasi spasial?

60

Saya telah menghasilkan model aditif umum untuk deforestasi. Untuk menjelaskan autokorelasi spasial, saya telah memasukkan garis lintang dan garis bujur sebagai istilah interaksi yang dihaluskan (yaitu s (x, y)).

Saya mendasarkan ini pada membaca banyak makalah di mana penulis mengatakan 'untuk menjelaskan autokorelasi spasial, koordinat poin dimasukkan sebagai istilah yang dihaluskan' tetapi ini tidak pernah menjelaskan mengapa ini sebenarnya menjelaskan hal itu. Ini cukup membuat frustrasi. Saya telah membaca semua buku yang dapat saya temukan di GAM dengan harapan menemukan jawaban, tetapi sebagian besar (misalnya Generalized Additive Models, Pengantar dengan R, SN Wood) hanya menyentuh subjek tanpa menjelaskan.

Saya akan sangat menghargai jika seseorang dapat menjelaskan MENGAPA memasukkan akun lintang dan bujur untuk autokorelasi spasial, dan apa arti 'akuntansi' sebenarnya - apakah itu cukup untuk memasukkannya ke dalam model, atau Anda harus membandingkan model dengan s (x, y) dalam dan model tanpa? Dan apakah penyimpangan yang dijelaskan oleh istilah tersebut menunjukkan tingkat autokorelasi spasial?

r modeling spatial autocorrelation gam gisol
sumber

Jika relevan, saya menggunakan fungsi 'bam' dari paket 'mgcv' di R.

gisol

Juga, saya telah menguji autokorelasi spasial menggunakan Moran's I.

gisol

duplikat yang mungkin dari Dapatkah Anda menggunakan fungsi spline dari koordinat spasial untuk mengontrol autokorelasi spasial?

Makro

3

Diberikan jawaban di sini, kami mungkin menandai tautan Q @ Macro lainnya sebagai duplikat dari yang ini sehingga orang yang melihatnya menemukan jawaban di sini, terutama dari whuber.

Gavin Simpson

+1 @GavinSimpson - ngomong-ngomong, perhatikan bahwa Anda memang memiliki kekuatan untuk memberikan suara yang dekat, yang cukup akan menyebabkan dua pertanyaan digabungkan.

Makro

38

Masalah utama dalam setiap model statistik adalah asumsi yang mendasari prosedur inferensi. Dalam jenis model yang Anda gambarkan, residu dianggap independen. Jika mereka memiliki ketergantungan spasial dan ini tidak dimodelkan di bagian sistem model, residu dari model itu juga akan menunjukkan ketergantungan spasial, atau dengan kata lain mereka akan secara otomatis berkorelasi spasial. Ketergantungan seperti itu akan mematahkan teori yang menghasilkan nilai-p dari statistik uji dalam GAM misalnya; Anda tidak dapat mempercayai nilai-p karena nilai tersebut dihitung dengan asumsi independensi.

Anda memiliki dua opsi utama untuk menangani data tersebut; i) memodelkan ketergantungan spasial pada bagian sistematis dari model, atau ii) mengendurkan asumsi independensi dan memperkirakan korelasi antara residu.

i) adalah apa yang sedang dicoba dengan memasukkan kelancaran lokasi spasial dalam model. ii) memerlukan estimasi matriks korelasi residu sering selama pemasangan model menggunakan prosedur seperti kuadrat terkecil umum. Seberapa baik salah satu dari pendekatan ini menangani ketergantungan spasial akan tergantung pada sifat & kompleksitas ketergantungan spasial dan seberapa mudah dapat dimodelkan.

Singkatnya, jika Anda dapat memodelkan ketergantungan spasial antara pengamatan maka residu lebih cenderung menjadi variabel acak independen dan karenanya tidak melanggar asumsi prosedur inferensial apa pun.

Gavin Simpson
sumber

Terima kasih atas jawaban Anda yang jelas, Gavin. Apa yang membuat autokorelasi spasial secara fundamental berbeda dari gradien apa pun yang tidak termasuk dalam model? Katakanlah area studi Anda berada di bukit yang miring, dan spesies yang disukai memilih habitat yang lebih rendah daripada habitat yang lebih tinggi. Gagal memasukkan ketinggian dalam model akan meninggalkan struktur dalam residu, bukan? Apakah hanya bahwa autokorelasi spasial (atau) dilupakan atau tidak dipertimbangkan? (PS mungkin ini adalah contoh yang buruk sebagai penyertaan lat, lama akan menjelaskan efek ini juga).

gisol

4

Iya. Saya menduga bahwa dalam contoh Anda telah melihat baik komponen spasial yang menarik sehingga dimodelkan secara eksplisit melalui kelancaran lat / lon atau komponen spasial adalah istilah gangguan tetapi perlu dimodelkan untuk meninggalkan residu iid Jika "spasial" "Komponen dimodelkan dengan lebih baik melalui variabel yang berbeda (mis. peningkatan komentar Anda) maka kelancaran variabel itu akan digunakan sebagai ganti lokasi spasial.

Gavin Simpson

1

Mengapa dihaluskan? Apa yang dimaksud dengan "dihaluskan"?

Julian

1

@Julian Nilai respons dihaluskan sehubungan dengan 2 koordinat spasial. Atau dengan kata lain, efek spasial diperkirakan sebagai fungsi 2-d yang halus. Yang kami maksudkan adalah kerataan yang diukur dengan turunan kedua kuadrat terpadu dari spline. Kebobolan dipilih untuk menyeimbangkan kesesuaian dan kompleksitas model. Jika Anda ingin tahu bagaimana fungsi halus (splines) terbentuk maka mungkin ada baiknya menanyakan pertanyaan tertentu.

Gavin Simpson

55

"Autokorelasi spasial" berarti berbagai hal bagi berbagai orang. Namun, konsep menyeluruh adalah bahwa suatu fenomena yang diamati di lokasi dapat bergantung pada beberapa cara tertentu pada (a) kovariat, (b) lokasi, dan (c) nilainya di lokasi terdekat . (Di mana definisi teknis berbeda-beda terletak pada jenis data yang dipertimbangkan, apa "cara pasti" yang dipostulatkan, dan apa yang "terdekat" artinya: semua ini harus dibuat kuantitatif untuk diproses.) $\mathbf{z}$

Untuk melihat apa yang mungkin terjadi, mari kita pertimbangkan contoh sederhana model spasial semacam itu untuk menggambarkan topografi suatu wilayah. Biarkan ketinggian yang diukur pada suatu titik menjadi . Salah satu model yang mungkin adalah bahwa tergantung pada beberapa cara matematika pasti pada koordinat , yang akan saya tulis dalam situasi dua dimensi ini. Membiarkan mewakili penyimpangan (hipotetis independen) antara pengamatan dan model (yang seperti biasanya diasumsikan memiliki nol harapan), kita dapat menulis $\mathbf{z}$ $y(\mathbf{z})$ $y$ $\mathbf{z}$ $(z_1,z_2)$ $\varepsilon$

y (z) = β_{0} + β_{1} z_{1} + β_{2} z_{2} + ε (z)

$y(\mathbf{z}) = \beta_0 + \beta_1 z_1 + \beta_2 z_2 + \varepsilon(\mathbf{z})$

untuk model tren linier . Tren linear (diwakili oleh dan ) adalah salah satu cara untuk menangkap gagasan bahwa nilai terdekat dan , untuk close to , harus cenderung dekat satu sama lain. Kita bahkan dapat menghitung ini dengan mempertimbangkan nilai yang diharapkan dari ukuran perbedaan antara dan , . Ternyata matematika banyak $\beta_1$ $\beta_2$ $y(\mathbf{z})$ $y(\mathbf{z}')$ $\mathbf{z}$ $\mathbf{z}'$ $y(\mathbf{z})$ $y(\mathbf{z}')$ $E[|y(\mathbf{z}) - y(\mathbf{z}')|]$ lebih sederhana jika kita menggunakan ukuran perbedaan yang sedikit berbeda: sebagai gantinya, kita menghitung perbedaan kuadrat yang diharapkan :

\begin{aligned} E [{(y (z) - y (z^{'}))}^{2}] & = E [{(β_{0} + β_{1} z_{1} + β_{2} z_{2} + ε (z) - (β_{0} + β_{1} z_{1}^{'} + β_{2} z_{2}^{'} + ε (z^{'})))}^{2}] \\ = E [{(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'} + ε (z) - ε (z^{'}))}^{2}] \\ = E [{(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} \\ + 2 (β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'}) (ε (z) - ε (z^{'})) \\ + {(ε (z) - ε (z^{'}))}^{2}] \\ = {(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} + E [{(ε (z) - ε (z^{'}))}^{2}] \end{aligned}

$\eqalign{ E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2] &= E[\left(\beta_0 + \beta_1 z_1 + \beta_2 z_2 + \varepsilon(\mathbf{z}) - \left(\beta_0 + \beta_1 z_1' + \beta_2 z_2' + \varepsilon(\mathbf{z}')\right)\right)^2] \\ &=E[\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)' + \varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=E[\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 \\ &\quad+ 2\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)\\ &\quad+ \left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 + E[\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] }$

Model ini bebas dari autokorelasi spasial eksplisit, karena tidak ada istilah di dalamnya yang secara langsung menghubungkan dengan nilai terdekat . $y(\mathbf{z})$ $y(\mathbf{z}')$

Alternatif, berbeda, model mengabaikan tren linier dan hanya mengandaikan bahwa ada autokorelasi. Salah satu cara untuk melakukannya adalah melalui struktur penyimpangan . Kita mungkin menempatkan itu $\varepsilon(\mathbf{z})$

y (z) = β_{0} + ε (z)

$y(\mathbf{z}) = \beta_0 + \varepsilon(\mathbf{z})$

dan, untuk memperhitungkan antisipasi kita terhadap korelasi, kita akan mengasumsikan semacam "struktur kovarians" untuk . Agar ini bermakna secara spasial, kita akan mengasumsikan kovarian antara dan , sama dengan karena memiliki rata-rata nol, cenderung berkurang karena dan menjadi semakin jauh. Karena detailnya tidak masalah, sebut saja kovarian . Ini adalah autokorelasi spasial. $\varepsilon$ $\varepsilon(\mathbf{z})$ $\varepsilon(\mathbf{z}')$ $E[\varepsilon(\mathbf{z})\varepsilon(\mathbf{z}')]$ $\varepsilon$ $\mathbf{z}$ $\mathbf{z}'$ $C(\mathbf{z}, \mathbf{z}')$ Memang, korelasi (biasanya Pearson) antara dan adalah $y(\mathbf{z})$ $y(\mathbf{z}')$

ρ (y (z), y (z^{'})) = \frac{C (z, z^{'})}{\sqrt{C (z, z) C (z^{'}, z^{'})}} .

$\rho(y(\mathbf{z}), y(\mathbf{z}')) = \frac{C(\mathbf{z}, \mathbf{z}')}{\sqrt{C(\mathbf{z}, \mathbf{z})C(\mathbf{z}', \mathbf{z}')}}.$

Dalam notasi ini, perbedaan kuadrat sebelumnya yang diharapkan dari untuk model pertama adalah $y$

\begin{aligned} E [{(y (z) - y (z^{'}))}^{2}] & = {(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} + E [{(ε (z) - ε (z^{'}))}^{2}] \\ = {(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} + C_{1} (z, z) + C_{1} (z^{'}, z^{'}) \end{aligned}

$\eqalign{ E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2] &= \left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 + E[\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 + C_1(\mathbf{z}, \mathbf{z}) + C_1(\mathbf{z}', \mathbf{z}') }$

(dengan asumsi ) karena di lokasi yang berbeda telah diasumsikan independen. Saya telah menulis alih-alih untuk menunjukkan ini adalah fungsi kovarians untuk model pertama. $\mathbf{z} \ne \mathbf{z}'$ $\varepsilon$ $C_1$ $C$

Ketika kovarian dari tidak bervariasi secara dramatis dari satu lokasi ke lokasi lain (memang, mereka biasanya dianggap konstan), persamaan ini menunjukkan bahwa perbedaan kuadrat yang diharapkan dalam meningkat secara kuadratik dengan pemisahan antara dan . Jumlah aktual peningkatan ditentukan oleh koefisien tren dan . $\varepsilon$ $y$ $\mathbf{z}$ $\mathbf{z}'$ $\beta_0$ $\beta_1$

Mari kita lihat apa perbedaan kuadrat yang diharapkan pada model untuk model baru, model 2: $y$

\begin{aligned} E [{(y (z) - y (z^{'}))}^{2}] & = E [{(β_{0} + ε (z) - (β_{0} + ε (z^{'})))}^{2}] \\ = E [{(ε (z) - ε (z^{'}))}^{2}] \\ = E [ε (z)^{2} - 2 ε (z) ε (z^{'}) + ε (z^{'})^{2}] \\ = C_{2} (z, z) - 2 C_{2} (z, z^{'}) + C_{2} (z^{'}, z^{'}) . \end{aligned}

$\eqalign{ E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2] &= E[\left(\beta_0 + \varepsilon(\mathbf{z}) - \left(\beta_0 + \varepsilon(\mathbf{z}')\right)\right)^2] \\ &=E[\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=E[\varepsilon(\mathbf{z})^2 - 2 \varepsilon(\mathbf{z})\varepsilon(\mathbf{z}') + \varepsilon(\mathbf{z}')^2] \\ &=C_2(\mathbf{z}, \mathbf{z}) - 2C_2(\mathbf{z}, \mathbf{z}') + C_2(\mathbf{z}', \mathbf{z}'). }$

Sekali lagi ini berperilaku dengan cara yang benar: karena kami memperkirakan akan berkurang ketika dan menjadi lebih terpisah, perbedaan kuadrat yang diharapkan dalam 's memang pergi naik dengan meningkatnya pemisahan lokasi. $C_2(\mathbf{z}, \mathbf{z}')$ $\mathbf{z}$ $\mathbf{z}'$ $y$

Membandingkan dua ekspresi untuk dalam dua model menunjukkan kepada kita yang dalam model pertama memainkan peran yang secara matematis identik dengan dalam model kedua. (Ada konstanta aditif yang mengintai di sana, terkubur dalam arti berbeda dari , tetapi tidak masalah dalam analisis ini.) Ergo , tergantung pada model, korelasi spasial biasanya digambarkan sebagai beberapa kombinasi tren dan struktur korelasi yang ditetapkan pada kesalahan acak. $E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2]$ $\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2$ $-2C_2(\mathbf{z}, \mathbf{z}')$ $C_i(\mathbf{z}, \mathbf{z})$

Saya harap, sekarang kita memiliki jawaban yang jelas untuk pertanyaan: seseorang dapat mewakili gagasan di balik Hukum Geografi Tobler ("semuanya terkait dengan yang lain, tetapi hal-hal yang lebih dekat lebih terkait") dengan cara yang berbeda. Dalam beberapa model, Hukum Tobler diwakili secara memadai dengan memasukkan tren (atau istilah "drift") yang merupakan fungsi dari koordinat spasial seperti bujur dan lintang. Dalam kasus lain, Hukum Tobler ditangkap dengan menggunakan struktur kovarians nontrivial di antara istilah acak tambahan (the $\varepsilon$ ). Dalam praktiknya, model menggabungkan kedua metode. Yang mana yang Anda pilih tergantung pada apa yang ingin Anda capai dengan model dan pada pandangan Anda tentang bagaimana autokorelasi spasial muncul - apakah itu tersirat oleh tren yang mendasari atau mencerminkan variasi yang ingin Anda pertimbangkan secara acak. Tidak ada yang selalu benar dan, dalam masalah apa pun, sering kali mungkin menggunakan kedua jenis model untuk menganalisis data, memahami fenomena, dan memperkirakan nilainya di lokasi lain (interpolasi).

whuber
sumber

2

+1 - senang melihat hubungan antara dua pendekatan untuk menangani ketergantungan spasial. Jawaban bagus, Whuber!

Makro

Sangat komprehensif, terima kasih. Saya perlu beberapa saat untuk memikirkan semua ini.

gisol

6

Jika semua penulisan statistik dari sejenis ini akan ada lebih banyak kerja statistik diterapkan berpikir jernih di dunia. Dilakukan dengan indah.

Ari B. Friedman

Apakah saya memahami jawaban ini dengan benar ketika saya berasal dari itu yang hanya menambahkan X / Y-koordinat sebagai variabel independen untuk setiap model (?!) akan menjelaskan autokorelasi spasial ke tingkat tertentu?

Julian

1

@Julian: Kita berbicara tentang membangun model yang berbeda untuk data yang sama. Jika Anda memasukkan koordinat X dan Y sebagai variabel penjelas tetapi sebaliknya tidak memperhitungkan korelasi spasial, maka "korelasi spasial" tidak masuk akal untuk model ini, jadi kita harus berhati-hati tentang apa yang kita maksud dengan "memperhitungkan korelasi spasial." Tetapi jika kami memahami pertanyaan Anda untuk bertanya apakah memasukkan koordinat sebagai variabel penjelas dapat sama efektifnya dengan membangun model di mana korelasi spasial diwakili secara eksplisit, maka jawaban saya adalah "ya, sering itu masalahnya."

whuber

0

Jawaban lainnya bagus, saya hanya ingin menambahkan sesuatu tentang 'akuntansi untuk' autokorelasi spasial. Terkadang klaim ini dibuat lebih kuat di sepanjang garis "akuntansi untuk autokorelasi spasial yang tidak dijelaskan oleh kovariat".

Ini dapat menyajikan gambaran yang menyesatkan tentang apa yang dilakukan spasial halus. Ini tidak seperti ada beberapa antrian yang tertata dalam kemungkinan di mana smooth yang sabar menunggu kovariat untuk pergi terlebih dahulu dan kemudian smooth akan membersihkan bagian yang 'tidak dijelaskan'. Pada kenyataannya mereka semua mendapatkan kesempatan untuk menjelaskan data.

Makalah ini dengan judul yang diberi nama tepat menyajikan masalah ini dengan sangat jelas, meskipun dari sudut pandang model CAR prinsip-prinsip tersebut berlaku untuk smooth GAM.

Menambahkan Kesalahan yang Berkaitan secara Spasial Dapat Mengacaukan Efek Tetap yang Anda Cintai

'Solusi' dalam kertas adalah untuk menghaluskan residu alih-alih menghaluskan ruang. Itu akan berdampak membiarkan kovariat Anda menjelaskan apa yang mereka bisa. Tentu saja, ada banyak aplikasi di mana ini tidak akan menjadi solusi yang diinginkan.

ASeaton
sumber

-2

Korelasi spasial adalah bagaimana koordinat x dan y berhubungan dengan besarnya permukaan yang dihasilkan dalam ruang. Jadi autokorelasi antar koordinat dapat dinyatakan dalam hubungan fungsional antara titik-titik tetangga.

Michael Chernick
sumber

1

Hai Michael, terima kasih atas tanggapannya. Saya pikir saya mengerti apa yang Anda katakan, tetapi tampaknya ini adalah deskripsi autokorelasi spasial daripada bagaimana koordinat inklusi memperhitungkannya - saya mungkin kehilangan poin Anda. Sebagai contoh, katakan saya memiliki 2 model, yang pertama (A) dengan istilah tunggal - deforestasi sebagai fungsi jarak ke ibu kota, dan yang kedua (B) dengan jarak ke istilah ibu kota tetapi juga lat dan panjang istilah. Maukah Anda mengulangi jawaban Anda dalam konteks ini? Mungkin saya bisa memahaminya dengan lebih baik.

gisol

1

Saya pikir jika tidak ada istilah interaksi dalam model autokorelasi spasial antara titik-titik tetangga adalah 0. Ketika Anda memiliki istilah iteraction, istilah itu menentukan nilai autokorelasi spasial.

Michael Chernick

4

@Michael, autokorelasi spasial berarti bahwa korelasi antara titik-titik tergantung pada lokasi spasial mereka. Saya pikir jawaban ini akan lebih berguna jika Anda bisa menjelaskan mengapa menggunakan estimasi fungsi yang halus, dengan lokasi spasial sebagai input, menjelaskan hal ini. Di permukaan, tampaknya pendekatan fungsi halus memodelkan rata - rata sementara autokorelasi spasial mengacu pada struktur kovarian . Saya tahu ada hubungan antara fungsi kovarians dari proses yang lancar dan estimasi fungsi yang halus tetapi, tanpa membuat hubungan itu, jawaban ini tampaknya tidak lengkap.

Makro

1

@Michael, tentunya Anda dapat melihat bahwa membuat koordinat lat / long memengaruhi rata-rata berbeda dari memodelkan korelasi antara dua titik dalam ruang ... OP bertanya bagaimana memodelkan autokorelasi spasial dan saya pikir bagian dari argumen - bagian yang menjadi argumen menjelaskan dengan tepat bagaimana pemasangan permukaan spasial yang halus (yang akan dilakukan oleh model aditif umum dalam koordinat) memodelkan autokorelasi spasial. Ada hubungan antara fungsi gams dan kovarians (saya tidak cukup tahu untuk lebih tepatnya) tetapi menarik untuk hubungan itu tampaknya menjadi apa yang diperlukan di sini.

Makro

1

@Marco Saya akan melihat buku Simon Wood jika Anda bisa karena memiliki detail dan mengutip literatur yang relevan pada smooths sebagai efek acak sedikit.

Gavin Simpson

Mengapa menyertakan garis lintang dan bujur dalam akun GAM untuk autokorelasi spasial?

Jawaban: