Mengambil harapan dari seri Taylor (terutama sisanya)

43

Pertanyaan saya menyangkut upaya membenarkan metode yang banyak digunakan, yaitu mengambil nilai yang diharapkan dari Taylor Series. Asumsikan kita memiliki variabel acak dengan mean positif dan varians . Selain itu, kami memiliki fungsi, katakanlah, .Xμσ2log(x)

Melakukan ekspansi Taylor dari sekitar rata-rata, kita mendapatkan mana, seperti biasa, adalah st.logX

logX=logμ+Xμμ12(Xμ)2μ2+13(Xμ)3ξX3,
ξX|ξXμ|<|Xμ|

Jika kita mengambil ekspektasi, kita akan mendapatkan persamaan perkiraan yang biasanya orang sebut sebagai sesuatu yang jelas (lihat tanda pada persamaan pertama di sini) :

ElogXlogμ12σ2μ2

PERTANYAAN : Saya tertarik pada cara membuktikan bahwa nilai yang diharapkan dari istilah sisanya sebenarnya dapat diabaikan, yaitu (atau, dengan kata lain, ).

E[(Xμ)3ξX3]=o(σ2)
E[o(Xμ)2]=o(E[(Xμ)2])

Apa yang saya coba lakukan : dengan asumsi bahwa (yang, pada gilirannya, berarti di ), saya mencoba untuk membagi integral menjadi dua, mengelilingi dengan beberapa -vicinity N_ : σ20XμPμεNε

Rp(x)(xμ)3ξx3dx=xNεdx+xNεdx

Yang pertama dapat dibatasi karena fakta bahwa dan dengan demikian tidak mengganggu. Tetapi dengan yang kedua kita memiliki dua fakta yang sama: di satu sisi (seperti ). Tetapi di sisi lain, kita tidak tahu apa yang harus dilakukan dengan .0Nε1/ξ3

P(|Xμ|>ε)0
σ201/ξ3

Kemungkinan lain adalah mencoba menggunakan lemma Fatou, tapi aku tidak tahu caranya.

Akan menghargai bantuan atau petunjuk. Saya menyadari bahwa ini adalah pertanyaan yang sangat teknis, tetapi saya harus menjalaninya untuk memercayai metode "harapan Taylor" ini. Terima kasih!

PS Saya check out di sini , tapi sepertinya itu sedikit hal lain.

agronskiy
sumber
Mengapa ada tanda minus di depan periode ketiga ekspansi Taylor? Juga mengapa dalam suku keempat ada dan bukan? Apa yang saya lewatkan? 33!
Alecos Papadopoulos
@Alecos: Lihat saja turunan ke- dari . Itu akan menjawab kedua pertanyaan Anda. nlogx
kardinal
4
(+1) Masalah ini baru-baru ini muncul dalam diskusi dua pertanyaan terkait dengan menemukan momen . Lebih baik berhati-hati dengan hal-hal seperti itu. :-)X1
cardinal
1
Perkiraan urutan pertama mungkin sebenarnya lebih baik dalam beberapa kasus, karena teorema nilai rata-rata. Tidak yakin apakah teorema nilai rata-rata akan membantu dalam kasus umum.
probabilityislogic
1
Saya akan berpikir bahwa teorema konvergensi dominan mungkin berguna di sini, karena persamaan adalah pertukaran batas dan integrasi. E(o(..))=o(E(..))
probabilityislogic

Jawaban:

32

Anda benar untuk bersikap skeptis terhadap pendekatan ini. Metode deret Taylor tidak bekerja secara umum, meskipun heuristik mengandung inti kebenaran. Untuk meringkas diskusi teknis di bawah ini,

  • Konsentrasi yang kuat menyiratkan bahwa metode deret Taylor berfungsi untuk fungsi yang bagus
  • Berbagai hal dapat dan akan salah secara dramatis untuk distribusi berekor berat atau fungsi yang tidak terlalu bagus

Seperti yang ditunjukkan oleh jawaban Alecos, ini menunjukkan bahwa metode deret Taylor harus dihapus jika data Anda mungkin berbuntut berat. (Profesional keuangan, saya melihat Anda.)

Seperti yang dicatat oleh Elvis, masalah utama adalah varians tidak mengontrol momen yang lebih tinggi . Untuk mengetahui alasannya, mari sederhanakan pertanyaan Anda sebanyak mungkin untuk mendapatkan ide utama.

Misalkan kita memiliki urutan variabel acak dengan sebagai . σ ( X n ) 0 n Xnσ(Xn)0n

T: Dapatkah kami menjamin bahwa sebagain ?E[|Xnμ|3]=o(σ2(Xn))n?

Karena ada variabel acak dengan momen kedua terbatas dan momen ketiga tak terbatas, jawabannya tegas tidak . Oleh karena itu, secara umum, metode deret Taylor gagal bahkan untuk polinomial tingkat ke-3 . Iterasi argumen ini menunjukkan Anda tidak dapat mengharapkan metode deret Taylor untuk memberikan hasil yang akurat, bahkan untuk polinomial, kecuali semua momen variabel acak Anda terkontrol dengan baik.

Lalu, apa yang harus kita lakukan? Tentu saja metode ini bekerja untuk variabel acak terbatas yang dukungannya menyatu ke suatu titik, tetapi kelas ini terlalu kecil untuk menarik. Misalkan sebaliknya urutan berasal dari beberapa keluarga yang sangat terkonsentrasi yang memenuhi (katakanlah)Xn

(1)P{|Xnμ|>t}eCnt2

untuk setiap dan beberapa . Variabel acak seperti itu sangat umum. Misalnya ketika adalah mean empirisC > 0 X nt>0C>0Xn

Xn:=1ni=1nYi

variabel acak yang bagus (misalnya, iid dan terikat), berbagai ketidaksetaraan konsentrasi menyiratkan bahwa memenuhi (1). Argumen standar (lihat hal. 10 di sini ) membatasi momen ke- untuk variabel acak seperti itu:YiXnp

E[|Xnμ|p](p2Cn)p/2.

Oleh karena itu, untuk setiap fungsi analitik "cukup bagus" (lihat di bawah), kita dapat mengikat kesalahan pada pendekatan seri -term Taylor menggunakan ketimpangan segitigafEmm

Em:=|E[f(Xn)]p=0mf(p)(μ)p!E(Xnμ)p|1(2Cn)(m+1)/2p=m+1|f(p)(μ)|pp/2p!

saat . Karena perkiraan Stirling memberi , kesalahan dari seri Taylor terpotong memuaskann>C/2p!pp1/2

(2)Em=O(n(m+1)/2) as nwheneverp=0p(1p)/2|f(p)(μ)|<.

Karenanya, ketika sangat terkonsentrasi dan cukup bagus, pendekatan deret Taylor memang akurat. Ketidaksamaan yang muncul pada (2) menyiratkan bahwa , sehingga khususnya kondisi kami mengharuskan adalah keseluruhan . Ini masuk akal karena (1) tidak memaksakan asumsi pada .Xnff(p)(μ)/p!=O(pp/2)fXn

Mari kita lihat apa yang salah ketika memiliki singularitas (mengikuti komentar whuber). Misalkan kita memilih . Jika kita mengambil dari terpotong antara nol dan dua, maka cukup terkonsentrasi tetapi untuk setiap . Dengan kata lain, kami memiliki variabel acak yang sangat terkonsentrasi dan terikat , dan tetap saja metode deret Taylor gagal ketika fungsinya hanya memiliki satu singularitas.ff(x)=1/xXnNormal(1,1/n)XnE[f(Xn)]=n

Beberapa kata tentang ketelitian. Saya merasa lebih baik untuk menyajikan kondisi yang muncul di (2) sebagai diturunkan daripada deus ex machina yang diperlukan dalam format teorema / bukti yang ketat. Untuk membuat argumen menjadi sangat teliti, perhatikan terlebih dahulu bahwa sisi kanan dalam (2) menyiratkan hal itu

E[|f(Xn)|]i=0|f(p)(μ)|p!E[|Xnμ|p]<

oleh tingkat pertumbuhan momen subgausia dari atas. Jadi, teorema Fubini memberikan

E[f(Xn)]=i=0f(p)(μ)p!E[(Xnμ)p]

Sisa bukti berlanjut seperti di atas.

Mike McCoy
sumber
1
Saya mungkin telah melewatkannya dalam bacaan cepat, tetapi apakah Anda mengklaim (antara lain) bahwa jika momen ketiga cukup "terkendali," maka harapan dapat diperkirakan dengan cukup dengan mengambil harapan dari rangkaian [MacLaurin] ? Saya khawatir karena saya belum melihat referensi untuk sifat konvergensi dari seri itu sendiri, yang setidaknya sama pentingnya dengan ekor distribusi . Xlog(X)logX
Whuber
2
@whuber Anda benar; Anda memerlukan dukungan untuk berada di ROC dari seri Taylor, jadi khususnya, hampir pasti. Saya akan memperbarui pos untuk mencerminkan ini. X0<X<2μ
Mike McCoy
2
Saya masih berpikir saya kehilangan sesuatu. Misalnya, ketika memiliki distribusi Normal terpotong ke , itu jelas "sangat terkonsentrasi," memiliki rata-rata , dan hampir pasti dalam radius konvergensi (yang analitik di interior disk unit yang berpusat pada , yang berisi ), namun tidak terbatas. X(1,1)(0,2)μ=1f(x)=1/x=1/(1(1x))1(0,2μ)E[f(X)]
whuber
1
@ gron Anda telah membuat beberapa kesalahan kecil. Ketika , turunan . Kondisi ini tidak berlaku karena untuk setiap . Anda juga dapat memverifikasi bahwa (2) tidak berlaku karena fungsi apa pun yang memenuhi (2) juga memenuhi , dan karenanya memiliki tidak ada singularitas ( keseluruhannya , per tautan). f(x)=1/x|f(p)(μ)|=p!/μp
(2)=p!p(1p/2)μp
μ>0log(p!f(p)(μ))/pf
Mike McCoy
1
@ gron Anda memerlukan dua hal: (1) memastikan bahwa RV Anda memiliki dukungan ketat dalam ROC dari rangkaian daya log (yaitu, untuk ), dan (2) pastikan bahwa momen RV berkurang cukup cepat sehingga estimasi kesalahan untuk atas terbatas. Adapun cara mengendalikan momen, Anda harus mengajukan pertanyaan baru karena itu akan mengambil terlalu banyak karakter (dan saya ingin tahu tentang cara-cara baru sendiri). [0+ε,2με]ε>0Em
Mike McCoy
10

Meskipun jawaban saya tidak akan mendekati tingkat kecanggihan matematika dari jawaban yang lain, saya memutuskan untuk mempostingnya karena saya percaya ini memiliki sesuatu untuk dikontribusikan - walaupun hasilnya akan "negatif", seperti yang mereka katakan.

Dengan nada ringan, saya akan mengatakan bahwa OP adalah "menghindari risiko" , (seperti kebanyakan orang, dan juga sains itu sendiri), karena OP memerlukan kondisi yang cukup untuk pendekatan ekspansi deret Taylor urutan ke-2 menjadi "menjadi" dapat diterima ". Tapi itu bukan kondisi yang perlu.

Pertama, prasyarat yang diperlukan tetapi tidak cukup untuk nilai yang diharapkan dari Sisa menjadi lebih rendah dari varian rv, seperti yang disyaratkan OP, adalah bahwa seri konvergen di tempat pertama. Haruskah kita mengasumsikan konvergensi? Tidak.

Ungkapan umum yang kita periksa adalah

E[g(Y)]=fY(y)[i=0g(i)(μ)(yμ)ii!]dy[1]

Seperti yang dinyatakan oleh Loistl (1976) , dengan merujuk pada buku "Kalkulus dan Statistik" Gemignani (1978, p. 170), syarat untuk konvergensi jumlah tak terbatas adalah (aplikasi uji rasio untuk konvergensi)

yμ<|yμ|<limi|(g(i)(μ)g(i+1)(μ)(i+1))|[2]

... di mana adalah rv rata-rata. Meskipun ini juga merupakan kondisi yang cukup (uji rasio tidak meyakinkan jika hubungan di atas berlaku dengan kesetaraan), seri akan berbeda jika ketidaksetaraan berpegang pada arah yang lain.μ

Loistl memeriksa tiga bentuk fungsional spesifik untuk , eksponensial, daya, dan logaritma (makalahnya di bidang Utilitas yang Diharapkan dan Pilihan Portofolio, jadi ia menguji bentuk fungsional standar yang digunakan untuk mewakili fungsi utilitas cekung). Untuk bentuk-bentuk fungsional ini, ia menemukan bahwa hanya untuk bentuk fungsional eksponensial tidak ada pembatasan pada yang diberlakukan. Sebaliknya, untuk kekuatan, dan untuk kasus logaritmik (di mana kita sudah memiliki ), kita menemukan bahwa validitas ketidaksetaraan setara dengan g()yμ0<y[2]

yμ<μ0<y<2μ

Ini berarti bahwa jika variabel kami bervariasi di luar rentang ini, ekspansi Taylor sebagai pusat ekspansi rata-rata variabel akan berbeda.

Jadi: untuk beberapa bentuk fungsional, nilai fungsi di beberapa titik domainnya sama dengan ekspansi Taylor yang tak terbatas, tidak peduli seberapa jauh titik ini dari pusat ekspansi. Untuk bentuk-bentuk fungsional lainnya (termasuk logaritma), tempat menarik harus agak "dekat" dengan pusat ekspansi yang dipilih. Dalam kasus di mana kita memiliki rv, ini berarti pembatasan pada dukungan teoritis dari variabel (atau pemeriksaan rentang yang diamati secara empiris).

Loitl, menggunakan contoh numerik, menunjukkan juga bahwa meningkatkan urutan ekspansi sebelum pemotongan dapat membuat masalah menjadi lebih buruk untuk akurasi perkiraan. Kita harus mencatat bahwa secara empiris, rangkaian waktu dari variabel yang diamati dalam sektor keuangan menunjukkan variabilitas yang lebih besar daripada yang dibutuhkan oleh ketimpangan. Jadi Loitl kemudian mengadvokasi bahwa metodologi pendekatan seri Taylor harus dihapuskan sepenuhnya, mengenai Teori Pilihan Portofolio.

Rebound datang 18 tahun kemudian dari Hlawitschka (1994) . Wawasan dan hasil yang berharga di sini adalah, dan saya kutip

... meskipun suatu seri pada akhirnya dapat bertemu, sedikit yang dapat dikatakan tentang seri parsialnya; konvergensi dari suatu seri tidak menyiratkan bahwa istilah-istilah tersebut segera berkurang ukurannya atau bahwa istilah tertentu cukup kecil untuk diabaikan. Memang, adalah mungkin, seperti yang ditunjukkan di sini, bahwa suatu seri mungkin tampak berbeda sebelum akhirnya menyatu dalam batas. Kualitas perkiraan momen untuk utilitas yang diharapkan yang didasarkan pada beberapa istilah pertama dari seri Taylor, oleh karena itu, tidak dapat ditentukan oleh sifat konvergensi dari seri infinite. Ini adalah masalah empiris, dan secara empiris, perkiraan dua saat untuk fungsi utilitas yang dipelajari di sini berkinerja baik untuk tugas pemilihan portofolio. Hlawitschka (1994)

Sebagai contoh, Hlawitschka menunjukkan bahwa pendekatan tingkat ke-2 adalah "berhasil" apakah seri Taylor konvergen atau tidak , tetapi ia juga memverifikasi hasil Lotl, bahwa meningkatkan urutan perkiraan dapat membuatnya lebih buruk. Tetapi ada kualifikasi untuk keberhasilan ini: Dalam Pilihan Portofolio, Utilitas yang Diharapkan digunakan untuk menentukan peringkat sekuritas dan produk keuangan lainnya. Ini adalah ukuran ordinal , bukan kardinal. Jadi apa yang ditemukan Hlawitschka adalah bahwa pendekatan urutan ke-2 mempertahankan peringkat sekuritas yang berbeda, dibandingkan dengan peringkat yang berasal dari nilai eksak , dan tidakE(g(Y) bahwa selalu memberikan hasil kuantitatif yang cukup dekat dengan nilai yang tepat ini (lihat tabel A1 di hal. 718).

Jadi, di mana itu meninggalkan kita? Dalam limbo, saya akan mengatakan. Tampaknya baik dalam teori maupun empiris, penerimaan terhadap pendekatan Taylor orde-2 sangat tergantung pada banyak aspek berbeda dari fenomena spesifik yang diteliti dan metodologi ilmiah yang digunakan - itu tergantung pada asumsi teoretis, pada bentuk-bentuk fungsional yang digunakan, pada variabilitas yang diamati dari seri ...

Tetapi mari kita akhiri ini secara positif: saat ini, kekuatan komputer menggantikan banyak hal. Jadi kita bisa mensimulasikan dan menguji validitas pendekatan orde 2, untuk berbagai nilai variabel dengan murah, apakah kita bekerja pada masalah teoritis, atau empiris.

Alecos Papadopoulos
sumber
8

Bukan jawaban yang sebenarnya, tetapi sebuah contoh untuk menunjukkan bahwa segala sesuatu tidak begitu baik, dan bahwa hipotesis tambahan diperlukan untuk menjadikan hasil ini benar.

Tentukan sebagai campuran antara seragam dan normal , komponen yang seragam dipilih dengan probabilitas , dan normal dengan probabilitas . Anda memiliki dan menyatu menjadi ketika berubah menjadi tak terhingga, karena jika saya tidak salah.XnU([1n;1n])N(nn1,1n)1n11n=n1nE(Xn)=10n

E(Xn2)=13n2×1n+((nn1)2+1n)×n1n,

Sekarang tentukan (dan atau apa pun). Variabel acak didefinisikan dengan baik tetapi tidak memiliki nilai yang diharapkan, karena tidak didefinisikan, tidak peduli seberapa besar .f(x)=1/xf(0)=0f(Xn)

1n1n1xdx
n

Kesimpulan saya adalah bahwa Anda jelas memerlukan hipotesis tentang perilaku global atau - lebih mungkin, lebih elegan - pada kecepatan di mana kepadatan meluruh ketika Anda jauh dari nilai yang diharapkan. Saya yakin bahwa hipotesis seperti itu dapat ditemukan di literatur klasik (dan bahkan di buku teks), sayangnya pelatihan saya tidak dalam statistik dan saya masih berjuang dengan literatur sendiri ... toh saya harap ini membantu.fXn

PS. Bukankah ini contoh contoh bagi jawaban Nick? Siapa yang salah?

Elvis
sumber
1
Pernyataan yang lebih umum dari argumen Anda adalah bahwa ada dan terbatas untukE[Xk]k=1,2,3
probabilityislogic
Saya pikir komentar saya di atas tidak benar - apa yang seharusnya ada adalah bahwa fungsi mengakui ekspansi Taylor Series pada titik . Contoh yang Anda berikan, Anda memiliki yang tidak kontinu pada . Saya pikir ini berarti bahwa tidak dapat diperluas dalam seri Taylor untuk contoh Anda. f(x)x=μf(x)=1xx=0f
probabilityislogic
Bisa jadi, pada . Lalu ada jari-jari konvergensi ... Mungkin Anda membutuhkan jari-jari konvergensi yang tak terbatas ?! Itu persyaratan yang kuat. μ=1
Elvis
1
Elvis, ya, kita membutuhkan kondisi global. Pada dasarnya, sisanya harus berperilaku baik setelah tertimbang oleh ekor distribusi. Untuk sesuatu yang mirip dengan contoh Anda yang muncul baru-baru ini, lihat di sini , di sini dan di sini .
kardinal
4

Ini bukan jawaban yang lengkap, hanya cara berbeda untuk sampai pada pendekatan urutan kedua.

Saya pikir cara terbaik untuk pergi adalah menggunakan teorema nilai rata-rata Cauchy, daripada bekerja dengan istilah sisa dari seri Taylor. Jika kita menerapkannya satu kali, kita memiliki

f(X)=f(μ)+f(ξ1)(Xμ)

untuk beberapa saat atau saat . Kami sekarang menerapkan teorema nilai rata-rata lagi ke dan kami milikiXξ1μXμXξ1μXμf(ξ1)

f(ξ1)=f(μ)+f(ξ2)(ξ1μ)

untuk beberapa ketika atau saat . memasukkan ini ke dalam fomula pertama memberiXξ1ξ2μXμXξ1ξ2μXμ

f(X)=f(μ)+f(μ)(Xμ)+f(ξ2)(ξ1μ)(Xμ)

Perhatikan bahwa hasil ini hanya mensyaratkan bahwa adalah kontinu dan dua kali dapat dibedakan antara dan . Namun ini hanya berlaku untuk tetap , dan mengubah berarti perubahan yang sesuai pada . Metode delta urutan kedua dapat dilihat sebagai membuat asumsi global bahwa dan pada seluruh rentang dukungan , atau setidaknya di atas wilayah massa probabilitas tinggi.fXμXXξiξ1μ=12(Xμ)ξ2=μX

probabilityislogic
sumber