Referensi tentang optimasi numerik untuk ahli statistik

9

Saya sedang mencari referensi yang solid (atau referensi) pada teknik optimasi numerik yang ditujukan untuk ahli statistik, yaitu, itu akan menerapkan metode ini untuk beberapa masalah inferensial standar (misalnya MAP / MLE dalam model umum). Hal-hal seperti gradient descent (lurus dan stokastik), EM dan spin-off / generalisasi, annealing simulasi, dll.

Saya berharap ini akan memiliki beberapa catatan praktis tentang implementasi (seringkali kurang dalam makalah). Itu tidak harus sepenuhnya eksplisit tetapi setidaknya harus memberikan daftar pustaka yang solid.

Beberapa pencarian sepintas muncul beberapa teks: Analisis Numerik untuk Statistik oleh Ken Lange dan Metode Statistik Numerik oleh John Monahan. Ulasan masing-masing tampak campuran (dan jarang). Dari keduanya, perusal daftar isi menunjukkan bahwa edisi ke-2 buku Lange paling dekat dengan apa yang saya cari.

estimation references optimization JMS
sumber
Utas terkait: buku teks Optimasi untuk statistik dan analisis data .
Richard Hardy

Jawaban:

5

Statistik Komputasi James Gentle (2009).

Aljabar Matriks James Gentle: teori, perhitungan, dan aplikasi dalam statistik (2007) , lebih ke arah akhir buku ini, awalnya juga bagus tetapi bukan apa yang Anda cari.

Christopher M. Bishop's Pattern Recognition (2006).

Unsur-unsur pembelajaran statistik: data mining, inferensi, dan prediksi (2009).

Apakah Anda mencari sesuatu yang lebih rendah daripada teks yang akan menjawab pertanyaan seperti: "Mengapa lebih efisien untuk menyimpan matriks dan array dimensi yang lebih tinggi sebagai array 1-D, dan bagaimana saya bisa mengindeksnya dalam M yang biasa (0, 1, 3, ...) jalan? " atau sesuatu seperti "Apa saja teknik umum yang digunakan untuk mengoptimalkan algoritma standar seperti gradient descent, EM, dll?"?

Sebagian besar teks tentang pembelajaran mesin akan memberikan diskusi mendalam tentang topik yang Anda cari.

Phillip Cloud
sumber
Yang kedua (apa beberapa teknik umum ...). Sebagian besar teks menyajikan model dan kemudian menjelaskan bagaimana melakukan inferensi. Saya mencari jenis invers, di mana fokusnya adalah pada cara-cara agar sesuai dengan model dan kemudian membandingkannya dalam aplikasi, jika itu masuk akal. Ada beberapa buku semacam ini untuk MCMC di mana mereka membandingkan sampler yang berbeda dan menjelaskan di mana mereka berguna & beberapa perangkap (misalnya Gamerman & Lopes).
JMS
Juga, terima kasih atas referensi sejauh ini. Buku Hastie et al cukup dekat, sebenarnya. Sudah lama sejak saya memilikinya dari rak; terima kasih atas promptnya :)
JMS
5

Buku Nocedal dan Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

adalah referensi yang baik untuk optimasi secara umum, dan banyak hal dalam buku mereka yang menarik bagi seorang ahli statistik. Ada juga seluruh bab tentang kuadrat terkecil non-linear.

NRH
sumber
3

Optimisasi , oleh Kenneth Lange (Springer, 2004), diulas di JASA oleh Russell Steele. Ini adalah buku teks yang bagus dengan aljabar Matriks Gentle untuk kursus pengantar tentang Matriks Kalkulus dan Optimasi, seperti yang ditulis oleh Jan de Leeuw (courses / 202B).

chl
sumber
@chi, buku itu terlihat fantastis! Meskipun saya setuju dengan reviewer bahwa ada beberapa absen yang mencolok (simulasi annealing & berbagai stochastic EM flavours). Agak aneh karena ini dalam seri statistik mereka, tetapi c'est la vie
JMS
Juga, apakah Anda terbiasa dengan buku aljabar matriks Harville? Saya ingin tahu bagaimana membandingkannya dengan Gentle. Saya menemukan Harville referensi yang bagus, tetapi sangat padat. Hanya dari TOC buku Gentle saya suka seluruh bagian 2 dikhususkan untuk "aplikasi yang dipilih"
JMS
@ JMS Tidak. Saya hanya punya buku teks Gentle. (Karena saya hanya membuat penggunaan moderat dari buku teks matematika secara umum, kecuali yang ini saya temukan cukup berguna untuk analisis data multivariat.) Bagian 2 adalah tentang aplikasi (bagian 9) dan Bagian 3 tentang masalah perangkat lunak. Homepage adalah mason.gmu.edu/~jgentle/books/matbk
chl
Ya, melihat lebih banyak tampaknya memiliki lebih banyak dari sisi yang diterapkan. Buku Harville sangat tahan teorema, tetapi berfokus pada hasil yang penting dalam statistik; Saya pikir mereka mungkin saling melengkapi dengan cukup baik meskipun bahannya tumpang tindih.
JMS
1

Sebagai suplemen untuk ini, Anda dapat menemukan Magnus, JR, dan H. Neudecker (2007). Matriks Kalkulus dengan Aplikasi dalam Statistik dan Ekonometrika, ed 3 berguna meskipun berat. Ini mengembangkan perawatan penuh operasi sangat kecil dengan matriks, dan kemudian menerapkannya pada sejumlah tugas statistik khas seperti optimasi, MLE dan kuadrat terkecil non-linear. Jika pada akhirnya Anda akan menemukan stabilitas belakang dari algoritma matriks Anda, pemahaman yang baik tentang kalkulus matriks akan sangat diperlukan. Saya pribadi menggunakan alat matriks kalkulus dalam memperoleh hasil asimptotik dalam statistik spasial dan model parametrik multivariat.

Tugas
sumber