Saya mengetahui jenis LASSO, ridge, dan elastisitas-net dalam model regresi linier.

Pertanyaan:

1. Bisakah estimasi jenis ini (atau sejenisnya) diterapkan pada pemodelan ARIMA (dengan bagian MA yang tidak kosong)?

Dalam membangun model ARIMA, tampaknya biasa untuk mempertimbangkan urutan lag maksimum yang dipilih sebelumnya ( $p_{max}$ , $q_{max}$ ) dan kemudian memilih beberapa urutan optimal $p \leqslant p_{max}$ dan $q \leqslant q_{max}$ misalnya dengan meminimalkan AIC atau AICc. Tetapi bisakah regularisasi digunakan sebagai gantinya?

Pertanyaan saya selanjutnya adalah:

2. Bisakah kita memasukkan semua istilah hingga ( $p_{max}$ , $q_{max}$ ) tetapi menghukum ukuran koefisien (berpotensi sampai nol)? Apakah itu masuk akal?
3. Jika mau, apakah itu sudah diterapkan di R atau perangkat lunak lain? Jika tidak, apa masalahnya?

Pos yang agak terkait dapat ditemukan di sini .

Menjawab Pertanyaan 1.

Chen & Chan "Subset pilihan ARMA melalui adaptive Lasso" (2011) * menggunakan solusi untuk menghindari estimasi kemungkinan maksimum yang dikomputasi secara komputasi. Mengutip kertas, mereka

mengusulkan untuk menemukan model ARMA optimal bagian dengan memasang sebuah regresi Lasso adaptif dari time series pada kelambanan sendiri dan orang-orang dari residual yang diperoleh dari pas autoregresi panjang ke y t s. <...> [U] dalam kondisi keteraturan ringan, metode yang diusulkan mencapai sifat oracle, yaitu, ia mengidentifikasi model subset ARMA yang benar dengan probabilitas cenderung satu ketika ukuran sampel meningkat hingga tak terbatas, dan <...> estimator dari koefisien bukan nol secara asimptotik normal dengan distribusi pembatas sama dengan ketika koefisien nol diketahui secara apriori.$y_t$$y_t$

Secara opsional, mereka menyarankan estimasi kemungkinan maksimum dan diagnostik model untuk model ARMA subset terpilih.

$L_1$

• 
  $\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$$\lfloor 1.5\sqrt{T} \rfloor$

Pendekatan Wilms et al. adalah diimplementasikan dalam paket R "bigtime" .

Referensi

• Chen, K., & Chan, KS (2011). Subset pemilihan ARMA melalui Lasso adaptif. Statistik dan Antarmuka , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J., & Matteson, DS (2017). Identifikasi Jarang dan Estimasi Vektor Dimensi-Tinggi AutoRegresif Rata-Rata Bergerak. arXiv preprint arXiv: 1707.09208.

^{* Terima kasih kepada @hejseb untuk tautannya.}