Pengujian untuk autokorelasi: Ljung-Box versus Breusch-Godfrey

35

Saya terbiasa melihat uji Ljung-Box cukup sering digunakan untuk menguji autokorelasi dalam data mentah atau dalam residual model. Saya hampir lupa bahwa ada tes lain untuk autokorelasi, yaitu, tes Breusch-Godfrey.

Pertanyaan: apa perbedaan dan persamaan utama dari tes Ljung-Box dan Breusch-Godfrey, dan kapan satu lebih disukai daripada yang lain?

(Referensi dipersilahkan. Entah bagaimana saya tidak dapat menemukan perbandingan dari dua tes meskipun saya mencari di beberapa buku teks dan mencari materi secara online. Saya dapat menemukan deskripsi masing - masing tes secara terpisah , tetapi yang saya minati adalah yang perbandingan dari dua.)

time-series hypothesis-testing autocorrelation Richard Hardy
sumber

36

Ada beberapa suara kuat dalam komunitas Ekonometrik terhadap validitas Ljung-Box -statistic untuk pengujian autokorelasi berdasarkan residu dari model autoregresif (yaitu dengan variabel dependen tertinggal dalam matriks regressor), lihat khususnya Maddala (2001) "Pengantar Ekonometrika (edisi 3d), bab 6.7, dan 13. 5 hal 528. Maddala benar-benar menyesalkan meluasnya penggunaan tes ini, dan sebagai gantinya dianggap pantas sebagai tes" Pengganda Langrange "dari Breusch dan Godfrey. $Q$

Argumen Maddala terhadap tes Ljung-Box sama dengan yang diajukan terhadap tes autokorelasi lain yang ada di mana-mana, yaitu "Durbin-Watson": dengan variabel dependen tertinggal dalam matriks regressor, tes ini bias dalam mendukung mempertahankan hipotesis nol dari "no-autocorrelation" (hasil Monte-Carlo diperoleh dalam jawaban @javlacalle menyinggung fakta ini). Maddala juga menyebutkan rendahnya daya ujian, lihat misalnya Davies, N., & Newbold, P. (1979). Beberapa studi kekuatan dari uji portmanteau spesifikasi model deret waktu. Biometrika, 66 (1), 153-155 .

Hayashi (2000) , ch. 2.10 "Pengujian Untuk korelasi serial" , menyajikan analisis teoritis terpadu, dan saya percaya, mengklarifikasi masalah ini. Hayashi mulai dari nol: UntukstatistikLjung-Boxakan didistribusikan secara asimptot sebagai chi-square, itu harus menjadi kasus yang memproses(apa pun yangdiwakili), yang sampel autokorelasinya kamike dalam statistik adalah, di bawah hipotesis nol dari tidak ada autokorelasi, urutan perbedaan martingale, yaitu memenuhi $Q$ $\{z_t\}$ $z$

E (z_{t} ∣ z_{t - 1}, z_{t - 2}, . . .) = 0

$E(z_t \mid z_{t-1}, z_{t-2},...) = 0$

dan juga menunjukkan homoskedasticity kondisional "sendiri"

E (z_{t}^{2} ∣ z_{t - 1}, z_{t - 2}, . . .) = σ^{2} > 0

$E(z^2_t \mid z_{t-1}, z_{t-2},...) = \sigma^2 >0$

Dalam kondisi ini, Ljung-Box -statistic (yang merupakan varian sampel yang dikoreksi-untuk-terbatas-sampel dari Box-Pierce -statistic), secara asimptotik merupakan distribusi chi-squared, dan penggunaannya memiliki justifikasi asimtotik. $Q$ $Q$

Asumsikan sekarang bahwa kita telah menetapkan model autoregresif (yang mungkin juga termasuk regressor independen selain variabel dependen yang tertinggal), katakanlah

y_{t} = x_{t}^{'} β + ϕ (L) y_{t} + u_{t}

$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$

di mana adalah polinomial dalam operator lag, dan kami ingin menguji korelasi serial dengan menggunakan residu estimasi. Jadi di sini . $\phi(L)$ $z_t \equiv \hat u_t$

Hayashi menunjukkan bahwa agar statistik Ljung-Box berdasarkan pada autokorelasi sampel residu, untuk memiliki distribusi chi-square asimptotik di bawah hipotesis nol tanpa autokorelasi, itu harus menjadi kasus bahwa semua regresor "benar-benar eksogen" " ke istilah kesalahan dalam pengertian berikut: $Q$

E (x_{t} \cdot u_{s}) = 0, E (y_{t} \cdot u_{s}) = 0 \forall t, s

$E(\mathbf x_t\cdot u_s) = 0 ,\;\; E(y_t\cdot u_s)=0 \;\;\forall t,s$

The "untuk semua " adalah persyaratan penting di sini, salah satu yang mencerminkan exogeneity ketat. Dan itu tidak berlaku ketika variabel dependen tertinggal ada dalam matriks regressor. Ini mudah dilihat: set lalu $t,s$ $s= t-1$

E [y_{t} u_{t - 1}] = E [(x_{t}^{'} β + ϕ (L) y_{t} + u_{t}) u_{t - 1}] =

$E[y_t u_{t-1}] = E[(\mathbf x_t'\beta + \phi(L)y_t + u_t)u_{t-1}] =$

E [x_{t}^{'} β \cdot u_{t - 1}] + E [ϕ (L) y_{t} \cdot u_{t - 1}] + E [u_{t} \cdot u_{t - 1}] \neq 0

$E[\mathbf x_t'\beta \cdot u_{t-1}]+ E[\phi(L)y_t \cdot u_{t-1}]+E[u_t \cdot u_{t-1}] \neq 0$

bahkan jika adalah independen dari istilah kesalahan, dan bahkan jika istilah kesalahan tidak memiliki autokorelasi : istilah bukan nol. $X$ $E[\phi(L)y_t \cdot u_{t-1}]$

Tetapi ini membuktikan bahwa statistik Ljung-Box tidak valid dalam model autoregresif, karena tidak dapat dikatakan memiliki distribusi chi-square asimptotik di bawah nol. $Q$

Asumsikan sekarang bahwa kondisi yang lebih lemah daripada eksogenitas ketat terpenuhi, yaitu itu

E (u_{t} ∣ x_{t}, x_{t - 1}, . . ., ϕ (L) y_{t}, u_{t - 1}, u_{t - 2}, . . .) = 0

$E(u_t \mid \mathbf x_t, \mathbf x_{t-1},...,\phi(L)y_t, u_{t-1}, u_{t-2},...) = 0$

Kekuatan dari kondisi ini adalah "ketidakseimbangan" antara eksogenitas dan ortogonalitas yang ketat. Di bawah nol tanpa autokorelasi dari istilah kesalahan, kondisi ini "secara otomatis" dipenuhi oleh model autoregresif, sehubungan dengan variabel dependen yang tertinggal (untuk itu tentu saja harus diasumsikan secara terpisah). $X$

Kemudian, ada statistik lain berdasarkan autokorelasi sampel residu, ( bukan Ljung-Box satu), yang memang memiliki distribusi chi-square asimptotik di bawah nol. Statistik lain ini dapat dihitung, sebagai kenyamanan, dengan menggunakan "regresi tambahan" dengan rute: regresi residual pada matriks regressor penuh dan pada residual masa lalu (sampai dengan lag kami telah digunakan di spesifikasi), mendapatkan uncentered dari regresi auxilliary ini dan kalikan dengan ukuran sampel. $\{\hat u_t\}$ $R^2$

Statistik ini digunakan dalam apa yang kita sebut "tes Breusch-Godfrey untuk korelasi serial" .

Tampaknya kemudian, ketika regressor menyertakan variabel dependen yang tertinggal (dan juga dalam semua kasus model autoregresif), uji Ljung-Box harus ditinggalkan demi uji Breusch-Godfrey LM. , bukan karena "berkinerja lebih buruk", tetapi karena tidak memiliki justifikasi asimptotik. Hasil yang cukup mengesankan, terutama dilihat dari keberadaan dan penerapannya di mana-mana.

PEMBARUAN: Menanggapi keraguan yang muncul dalam komentar, apakah semua hal di atas berlaku juga untuk model seri waktu "murni" atau tidak (yaitu tanpa " " -regressor), saya telah memposting pemeriksaan terperinci untuk model AR (1), di https://stats.stackexchange.com/a/205262/28746 . $x$

Alecos Papadopoulos
sumber

Sangat mengesankan, Alecos! Penjelasan hebat! Terima kasih banyak! (Saya berharap lebih banyak orang akan membaca jawaban Anda pada akhirnya dan akan mendapat manfaat dari itu dalam pekerjaan atau studi mereka.)

Richard Hardy

+1 Sangat menarik. Dugaan awal saya adalah bahwa dalam model AR, distribusi tes BG bisa terdistorsi, tetapi seperti yang Anda jelaskan dan latihan simulasi sarankan, itu adalah tes LB yang lebih terpengaruh secara serius.

javlacalle

Masalah dengan jawaban Anda adalah bahwa itu didasarkan pada asumsi bahwa kita sedang berhadapan dengan model seperti ARMAX, yaitu dengan regressor

. bukan deret waktu murni seperti AR.

x_{t}

$x_t$

Aksakal

1

@Aksakal, Juga, bagian dari masalah mungkin fokusnya sedikit melompat di sana-sini. Kita harus memisahkan masalah (1) tes mana yang lebih baik dari (2) tes mana yang bekerja berdasarkan asumsi, dan yang penting, (3) tes mana yang bekerja untuk model mana (karena asumsi model yang berbeda). Yang terakhir mungkin adalah pertanyaan yang paling berguna bagi para praktisi. Sebagai contoh, saya tidak akan menggunakan LB untuk residual dari model ARMA karena apa yang telah ditunjukkan Alecos. Apakah Anda berpendapat bahwa LB masih dapat digunakan untuk residu model ARMA (yang sekarang juga merupakan pertanyaan sentral di utas lainnya)?

Richard Hardy

1

@Alexis Dan itu komentar yang hampir terlalu bagus untuk menjadi kenyataan. Terima kasih.

Alecos Papadopoulos

12

Dugaan

Saya tidak tahu tentang studi yang membandingkan tes ini. Saya memiliki kecurigaan bahwa uji Ljung-Box lebih tepat dalam konteks model deret waktu seperti model ARIMA, di mana variabel penjelas adalah kelambatan dari variabel dependen. Tes Breusch-Godfrey bisa lebih sesuai untuk model regresi umum di mana asumsi klasik terpenuhi (khususnya reogen eksogen).

Dugaan saya adalah bahwa distribusi uji Breusch-Godfrey (yang bergantung pada residu dari regresi yang dipasang oleh Ordinary Least Squares), dapat dipengaruhi oleh fakta bahwa variabel penjelas tidak eksogen.

Saya melakukan latihan simulasi kecil untuk memeriksa ini dan hasilnya menunjukkan yang sebaliknya: tes Breusch-Godfrey berkinerja lebih baik daripada tes Ljung-Box ketika menguji autokorelasi dalam residu model autoregresif. Detail dan kode R untuk mereproduksi atau memodifikasi latihan diberikan di bawah ini.

Latihan simulasi kecil

Aplikasi khas dari uji Ljung-Box adalah untuk menguji korelasi serial dalam residu dari model ARIMA yang sesuai. Di sini, saya menghasilkan data dari model AR (3) dan cocok dengan model AR (3).

Residu memenuhi hipotesis nol tanpa autokorelasi, oleh karena itu, kita harapkan nilai-p terdistribusi secara merata. Hipotesis nol harus ditolak dalam persentase kasus yang mendekati tingkat signifikansi yang dipilih, misalnya 5%.

Tes Ljung-Box:

## Ljung-Box test
n <- 200 # number of observations
niter <- 5000 # number of iterations
LB.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  resid <- residuals(arima(x, order=c(3,0,0)))
  # Store p-value of the Ljung-Box for different lag orders
  LB.pvals[i,1] <- Box.test(resid, lag=1, type="Ljung-Box")$p.value
  LB.pvals[i,2] <- Box.test(resid, lag=2, type="Ljung-Box")$p.value
  LB.pvals[i,3] <- Box.test(resid, lag=3, type="Ljung-Box")$p.value
  LB.pvals[i,4] <- Box.test(resid, lag=4, type="Ljung-Box", fitdf=3)$p.value
}
sum(LB.pvals[,1] < 0.05)/niter
# [1] 0
sum(LB.pvals[,2] < 0.05)/niter
# [1] 0
sum(LB.pvals[,3] < 0.05)/niter
# [1] 0
sum(LB.pvals[,4] < 0.05)/niter
# [1] 0.0644
par(mfrow=c(2,2))
hist(LB.pvals[,1]); hist(LB.pvals[,2]); hist(LB.pvals[,3]); hist(LB.pvals[,4])

Ljung-Box menguji p-values

Hasilnya menunjukkan bahwa hipotesis nol ditolak dalam kasus yang sangat jarang. Untuk tingkat 5%, tingkat penolakan jauh lebih rendah dari 5%. Distribusi nilai-p menunjukkan bias terhadap non-penolakan dari nol.

Prinsip Edit Dalam fitdf=3harus diatur dalam semua kasus. Ini akan menjelaskan derajat kebebasan yang hilang setelah menyesuaikan model AR (3) untuk mendapatkan residu. Namun, untuk kelambatan pesanan yang lebih rendah dari 4, ini akan mengarah pada kebebasan negatif atau nol derajat, menjadikan tes tidak dapat diterapkan. Menurut dokumentasi ?stats::Box.test: Tes-tes ini kadang-kadang diterapkan pada residu dari kecocokan ARMA (p, q), dalam hal ini referensi menyarankan perkiraan yang lebih baik untuk distribusi hipotesis nol diperoleh dengan pengaturan fitdf = p+q, asalkan tentu saja itu lag > fitdf.

Tes Breusch-Godfrey:

## Breusch-Godfrey test
require("lmtest")
n <- 200 # number of observations
niter <- 5000 # number of iterations
BG.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  # create explanatory variables, lags of the dependent variable
  Mlags <- cbind(
    filter(x, c(0,1), method= "conv", sides=1),
    filter(x, c(0,0,1), method= "conv", sides=1),
    filter(x, c(0,0,0,1), method= "conv", sides=1))
  colnames(Mlags) <- paste("lag", seq_len(ncol(Mlags)))
  # store p-value of the Breusch-Godfrey test
  BG.pvals[i,1] <- bgtest(x ~ 1+Mlags, order=1, type="F", fill=NA)$p.value
  BG.pvals[i,2] <- bgtest(x ~ 1+Mlags, order=2, type="F", fill=NA)$p.value
  BG.pvals[i,3] <- bgtest(x ~ 1+Mlags, order=3, type="F", fill=NA)$p.value
  BG.pvals[i,4] <- bgtest(x ~ 1+Mlags, order=4, type="F", fill=NA)$p.value
}
sum(BG.pvals[,1] < 0.05)/niter
# [1] 0.0476
sum(BG.pvals[,2] < 0.05)/niter
# [1] 0.0438
sum(BG.pvals[,3] < 0.05)/niter
# [1] 0.047
sum(BG.pvals[,4] < 0.05)/niter
# [1] 0.0468
par(mfrow=c(2,2))
hist(BG.pvals[,1]); hist(BG.pvals[,2]); hist(BG.pvals[,3]); hist(BG.pvals[,4])

Breusch-Godfrey menguji nilai-p

Hasil untuk tes Breusch-Godfrey terlihat lebih masuk akal. Nilai-p terdistribusi secara seragam dan tingkat penolakan lebih dekat ke tingkat signifikansi (seperti yang diharapkan dalam hipotesis nol).

javlacalle
sumber

1

LB.pvals[i,j]

j \in {1, 2, 3}

$j \in \{1,2,3\}$

j ⩽ 3

$j \leqslant 3$ fitdf=3

j \in {1, 2, 3}

$j \in \{1,2,3\}$

Juga, mengenai apa yang Anda katakan di paragraf pertama: dapatkah Anda sedikit memperluasnya? Saya menganggap pernyataan di sana cukup penting, tetapi detailnya kurang. Saya mungkin meminta terlalu banyak - untuk "mencerna" hal-hal untuk saya - tetapi jika itu tidak terlalu sulit bagi Anda, saya akan menghargai itu.

Richard Hardy

1

n

$n$

χ^{2} (1)

$\chi^2 (1)$

χ^{2} (n)

$\chi^2 (n)$

n

$n$

χ^{2} (1)

$\chi^2 (1)$

k

$k$

χ^{2} (n - k)

$\chi^2 (n-k)$

k ⩾ n

$k \geqslant n$ ini tidak jelas. Saya menduga sesuatu seperti ini terjadi ketika tes Ljung-Box digunakan pada residual model dari model AR (

k

$k$

1

k

$k$ lag<fitdf

1

Singkatnya, ketika Anda mengatakan untuk keterlambatan pesanan lebih rendah dari 4, ini akan mengarah pada kebebasan negatif atau nol derajat, membuat tes tidak dapat diterapkan , saya pikir Anda harus membuat kesimpulan yang berbeda: tidak menggunakan tes untuk kelambatan tersebut. Jika Anda melanjutkan dengan pengaturan fitdf=0di tempat fitdf=3Anda mungkin menipu diri sendiri.

Richard Hardy

2

Greene (Analisis Ekonometrik, Edisi 7, hal. 963, bagian 20.7.2):

$X$ $e_t$ $x_t$ $e_s$ $x_t$ , yang [BP] uji kurang kuat daripada tes [GB] ketika hipotesis nol salah, seperti yang mungkin disarankan oleh intuisi. "

(Saya tahu bahwa pertanyaan yang diajukan tentang Ljung-Box dan yang di atas mengacu pada Box-Pierce, tetapi yang pertama adalah penyempurnaan sederhana dari yang terakhir dan karenanya setiap perbandingan antara GB dan BP juga akan berlaku untuk perbandingan antara GB dan LB.)

Seperti jawaban lain telah menjelaskan dengan cara yang lebih teliti, Greene juga menyarankan bahwa tidak ada untungnya (selain dari beberapa efisiensi komputasi mungkin) dari menggunakan Ljung-Box versus Godfrey-Breusch tetapi berpotensi banyak kehilangan (validitas tes).

Candamir
sumber

0

Tampaknya tes Box-Pierce dan Ljung-Box sebagian besar merupakan tes univariat, tetapi ada beberapa asumsi di balik tes Breusch-Godfrey ketika menguji apakah struktur linear tertinggal pada residu regresi deret waktu (proses MA atau AR).

Inilah tautan ke diskusi:

http://www.stata.com/meeting/new-orleans13/abstracts/materials/nola13-baum.pdf

Analis
sumber

Saya tidak begitu mengerti arti kalimat itu karena tata bahasanya, saya pikir. Bisakah Anda ulangi lagi?

Richard Hardy

0

Perbedaan utama antara tes adalah sebagai berikut:

Tes Breusch-Godfrey adalah sebagai uji Pengganda Lagrange yang berasal dari fungsi kemungkinan (ditentukan dengan benar) (dan dengan demikian dari prinsip pertama).
Tes Ljung-Box didasarkan pada momen kedua residual dari proses stasioner (dan dengan demikian bersifat relatif lebih ad-hoc).

Tes Breusch-Godfrey sama dengan Lagrange Multiplier test yang secara asimtotik sama dengan tes yang paling kuat. Meskipun demikian, ini hanya asimptotik yang paling kuat dengan hipotesis alternatif dari regresi yang dihilangkan (terlepas dari apakah mereka merupakan variabel yang tertinggal atau tidak). Titik kuat dari tes Ljung-Box mungkin adalah kekuatannya terhadap berbagai hipotesis alternatif.

bmbb
sumber

Pengujian untuk autokorelasi: Ljung-Box versus Breusch-Godfrey

Jawaban: