Inferensi vs estimasi?

30

Apa perbedaan antara "inferensi" dan "estimasi" di bawah konteks pembelajaran mesin ?

Sebagai seorang pemula, saya merasa bahwa kita menyimpulkan variabel acak dan memperkirakan parameter model. Apakah pemahaman saya ini benar?

Jika tidak, apa perbedaan sebenarnya, dan kapan saya harus menggunakan yang mana?

Juga, yang mana adalah sinonim dari "belajar"?

Sibbs Gambling
sumber
Saya menemukan jawaban ini di Quora , dan tidak yakin dengan kebenarannya.
Sibbs Gambling
4
Pembelajaran mesin hanyalah statistik otomatis (menurut saya), jadi saya tidak yakin definisi akan berbeda dalam statistik secara lebih umum
shadowtalker
5
Kanonik statistik sastra membuat perbedaan yang jelas dan konsisten antara menyimpulkan sifat dari model yang mendasari diduga (dalam kerangka teori keputusan) dan memprediksi nilai-nilai dari variabel acak. Estimasi adalah jenis kesimpulan khusus. Ini dapat dikontraskan dengan eksplorasi dan, sampai batas tertentu, pengujian hipotesis. "Belajar," sebagai kata kerja transitif, tidak memiliki arti statistik standar.
whuber
@whuber, saran konyol - membuat jawaban ..?
StasK
2
@StasK Itu akan - kecuali itu tidak menjawab pertanyaan, yang menanyakan tentang pembelajaran mesin daripada statistik. Saya menawarkan komentar itu dalam upaya untuk memberikan sedikit latar belakang dari mana untuk memahami dan mengevaluasi jawaban ML, terutama karena beberapa jawaban tersebut tampaknya membuat perbedaan yang tidak standar antara inferensi, estimasi, dan prediksi.
whuber

Jawaban:

30

Kesimpulan statistik dibuat dari seluruh kumpulan kesimpulan yang dapat diambil dari dataset yang diberikan dan model hipotetis terkait, termasuk kesesuaian model tersebut. Mengutip dari Wikipedia ,

Inferensi adalah tindakan atau proses untuk memperoleh kesimpulan logis dari premis-premis yang diketahui atau dianggap benar.

dan,

Kesimpulan statistik menggunakan matematika untuk menarik kesimpulan dengan adanya ketidakpastian.

Estimasi hanyalah satu aspek inferensi di mana seseorang menggantikan parameter yang tidak diketahui (terkait dengan model hipotetis yang menghasilkan data) dengan solusi optimal berdasarkan data (dan mungkin informasi sebelumnya tentang parameter tersebut). Itu harus selalu dikaitkan dengan evaluasi ketidakpastian estimasi yang dilaporkan, evaluasi yang merupakan bagian integral dari kesimpulan.

Kemungkinan maksimum adalah salah satu contoh estimasi, tetapi tidak mencakup keseluruhan inferensi. Sebaliknya, analisis Bayesian menawarkan mesin inferensi lengkap.

Xi'an
sumber
4
+1 terutama untuk "Ini harus selalu dikaitkan dengan evaluasi ketidakpastian estimasi yang dilaporkan" yang tidak dilakukan dalam pembelajaran mesin dan "ilmu data". Hanya melakukan pembandingan terhadap set data yang diketahui bukan itu.
Momo
4

Sementara estimasi semata-mata bertujuan untuk menghasilkan nilai-nilai parameter yang tidak diketahui (misalnya, koefisien dalam regresi logistik, atau dalam hyperplane pemisah dalam mesin vektor dukungan), inferensi statistik mencoba untuk melampirkan ukuran ketidakpastian dan / atau pernyataan probabilitas untuk nilai-nilai parameter (kesalahan standar dan interval kepercayaan). Jika model yang diasumsikan ahli statistik kira-kira benar, maka asalkan data yang masuk baru terus sesuai dengan model itu, pernyataan ketidakpastian mungkin memiliki beberapa kebenaran di dalamnya, dan memberikan ukuran seberapa sering Anda akan membuat kesalahan dalam menggunakan model untuk membuat keputusan Anda.

Sumber pernyataan probabilitas ada dua. Kadang-kadang, seseorang dapat mengasumsikan distribusi probabilitas yang mendasari apa pun yang Anda ukur, dan dengan beberapa ilmu matematika (integrasi multivariat dari distribusi Gaussian, dll.), Memperoleh distribusi probabilitas hasil (rata-rata sampel dari data Gaussian itu sendiri Gaussian ). Konjugasi prior dalam statistik Bayesian termasuk dalam kategori santet itu. Di lain waktu, seseorang harus bergantung pada hasil asimtotik (sampel besar) yang menyatakan bahwa dalam sampel yang cukup besar, segala sesuatu terikat untuk berperilaku dengan cara tertentu (Teorema Batas Pusat: mean sampel data dari data yang sesuai dengan mean dan varians kira-kira Gaussian dengan mean dan variansσ 2 μ σ 2 / nμσ2μσ2/n terlepas dari bentuk distribusi data asli).

Yang paling dekat dengan pembelajaran mesin adalah validasi silang ketika sampel dipisah menjadi bagian pelatihan dan validasi, dengan yang terakhir secara efektif mengatakan, "jika data baru terlihat seperti data lama, tetapi sama sekali tidak terkait dengan data yang digunakan dalam mengatur model saya, maka ukuran realistis dari tingkat kesalahan adalah ini dan itu ". Ini diturunkan sepenuhnya secara empiris dengan menjalankan model yang sama pada data, daripada mencoba menyimpulkan sifat-sifat model dengan membuat asumsi statistik dan melibatkan setiap hasil matematika seperti CLT di atas. Bisa dibilang, ini lebih jujur, tetapi karena menggunakan lebih sedikit informasi, dan karenanya memerlukan ukuran sampel yang lebih besar. Juga, secara implisit mengasumsikan bahwa proses tidak berubah,

Sementara frasa "menyimpulkan posterior" mungkin masuk akal (saya bukan Bayesian, saya tidak dapat benar-benar tahu apa istilah yang diterima), saya tidak berpikir ada banyak yang terlibat dalam membuat asumsi dalam langkah inferensial itu. Semua asumsi Bayesian adalah (1) dalam model prior dan (2) dalam model yang diasumsikan, dan begitu mereka diatur, posterior mengikuti secara otomatis (setidaknya dalam teori melalui teorema Bayes; langkah-langkah praktis mungkin sangat rumit, dan Sipps Gambling ... permisi, pengambilan sampel Gibbs mungkin komponen yang relatif mudah untuk sampai ke posterior itu). Jika "menyimpulkan posterior" mengacu pada (1) + (2), maka itu adalah rasa dari kesimpulan statistik kepada saya. Jika (1) dan (2) dinyatakan secara terpisah, dan kemudian "menyimpulkan posterior" adalah sesuatu yang lain, maka saya tidak

Tugas
sumber
2

Misalkan Anda memiliki sampel populasi yang representatif.

Kesimpulannya adalah ketika Anda menggunakan sampel itu untuk memperkirakan model dan menyatakan bahwa hasilnya dapat diperluas ke seluruh populasi, dengan akurasi tertentu. Membuat inferensi berarti membuat asumsi pada populasi hanya menggunakan sampel yang representatif.

Estimasi adalah ketika Anda memilih model yang sesuai dengan sampel data Anda dan menghitung dengan presisi tertentu yang menjadi parameter model. Ini disebut estimasi karena Anda tidak akan pernah bisa menghitung nilai sebenarnya dari parameter karena Anda hanya memiliki sampel data, dan bukan seluruh populasi.

lorelai
sumber
"Inferensi adalah ketika Anda menggunakan sampel untuk memperkirakan model" (dan dengan demikian untuk memperkirakan parameternya). "Estimasi adalah ketika Anda menghitung ... parameter model". Apakah Anda melihat perbedaan?
nbro
2

Ini adalah upaya untuk memberikan jawaban bagi siapa pun tanpa latar belakang statistik. Bagi mereka yang tertarik pada detail lebih lanjut, ada banyak referensi yang bermanfaat ( seperti yang ini misalnya ) pada subjek.

Jawaban singkat:

Estimasi temukan nilai yang tidak diketahui (perkiraan) untuk subjek yang menarik>

Statistik Inferensi menggunakan distribusi probabilitas subjek yang menarik untuk membuat kesimpulan probabilistik>

Jawaban panjang:

Istilah "estimasi" sering digunakan untuk menggambarkan proses menemukan estimasi untuk nilai yang tidak diketahui, sementara "inferensi" sering merujuk pada inferensi statistik, sebuah proses menemukan distribusi (atau karakteristik) variabel acak dan menggunakannya untuk menarik kesimpulan.

Pikirkan tentang menjawab pertanyaan: Berapa tinggi rata-rata orang di negara saya?

Jika Anda memutuskan untuk menemukan perkiraan, Anda bisa berkeliling selama beberapa hari dan mengukur orang asing yang Anda temui di jalan (membuat sampel) dan kemudian menghitung perkiraan Anda misalnya sebagai rata-rata sampel Anda. Anda baru saja melakukan estimasi!

Di sisi lain, Anda mungkin ingin menemukan lebih dari perkiraan, yang Anda tahu adalah angka tunggal dan pasti salah. Anda dapat mencoba menjawab pertanyaan dengan keyakinan tertentu, seperti: Saya 99% yakin bahwa tinggi rata-rata seseorang di negara saya adalah antara 1,60m dan 1,90m.

Untuk membuat klaim seperti itu, Anda perlu memperkirakan distribusi tinggi orang yang Anda temui dan membuat kesimpulan berdasarkan pengetahuan ini - yang merupakan dasar kesimpulan statistik.

Hal penting yang perlu diingat (seperti yang ditunjukkan dalam jawaban Xi'an) adalah menemukan penaksir adalah bagian dari kesimpulan statistik.

berarti-untuk-makna
sumber
1
"Seberapa tinggi orang acak berikutnya" adalah pertanyaan tentang prediksi statistik dan bukan estimasi. "Berapakah kisaran tengah 95% dari semua orang" adalah perkiraan (interval). Meskipun dua pertanyaan (dan metode penyelesaian) terkait erat dan terdengar mirip, mereka berbeda dalam beberapa hal penting - dan dijawab secara berbeda pula. Perbedaan muncul dari keacakan orang berikutnya dalam pertanyaan pertama, yang tidak ada dalam pertanyaan kedua.
whuber
Saya setuju bahwa contohnya tidak ideal. Mengingat sifat pertanyaan itu, saya mencoba memberikan contoh yang tidak biasa bagi orang yang bukan ahli statistik. Jawaban saya yang paling mudah untuk "estimasi" adalah bahwa hal itu melibatkan pemasangan parameter model statistik, tetapi kemudian saya akan memperkenalkan istilah "fitting" dan "model statistik" yang keduanya membutuhkan penjelasan. Pada akhir hari, sementara prediksi seperti yang dijelaskan dalam contoh adalah melihat ke depan, saya masih akan menganggapnya sebagai perkiraan
Berarti-makna
Mengubah contoh agar tidak mengandung prediksi.
Berarti-makna
1

Nah, ada orang-orang dari berbagai disiplin ilmu saat ini yang membuat karir mereka di bidang ML, dan kemungkinan mereka berbicara dengan dialek yang sedikit berbeda.

Namun, istilah apa pun yang mereka gunakan, konsep di belakang berbeda. Jadi, penting untuk menjelaskan konsep-konsep ini, dan kemudian menerjemahkan dialek-dialek itu dengan cara yang Anda sukai.

Misalnya.

Dalam PRML oleh Bishop,

tahap inferensi di mana kami menggunakan data pelatihan untuk mempelajari model untukp(Ck|x)

Jadi sepertinya di sini Inference= Learning=Estimation

Tetapi dalam materi lain, inferensi mungkin berbeda dari estimasi, di mana inferenceberarti predictionsementara estimationberarti prosedur pembelajaran parameter.

Response777
sumber
0

Dalam konteks pembelajaran mesin, inferensi mengacu pada tindakan menemukan pengaturan variabel laten (tersembunyi) yang diberikan pengamatan Anda. Ini juga termasuk menentukan distribusi posterior variabel laten Anda. Estimasi tampaknya dikaitkan dengan "estimasi titik", yaitu menentukan parameter model Anda. Contohnya termasuk estimasi kemungkinan maksimum. Dalam maksimalisasi ekspektasi (EM), pada langkah E, Anda melakukan inferensi. Pada langkah M, Anda melakukan estimasi parameter.

Saya pikir saya mendengar orang mengatakan "menyimpulkan distribusi posterior" lebih dari "memperkirakan distribusi posterior". Yang terakhir tidak digunakan dalam inferensi yang tepat seperti biasa. Ini digunakan, misalnya, dalam propagasi ekspektasi atau Bayes variasional, di mana menyimpulkan posterior yang tepat tidak bisa dilakukan dan asumsi tambahan pada posterior harus dibuat. Dalam hal ini, posterior yang disimpulkan adalah perkiraan. Orang mungkin mengatakan "perkiraan posterior" atau "estimasi posterior".

Semua ini hanya pendapat saya saja. Itu bukan aturan.

wij
sumber
0

Saya ingin menambahkan jawaban orang lain dengan memperluas pada bagian "inferensi". Dalam konteks pembelajaran mesin, aspek inferensi yang menarik adalah memperkirakan ketidakpastian. Ini umumnya rumit dengan algoritma ML: bagaimana Anda menempatkan standar deviasi pada label klasifikasi yang diambil oleh neural net atau pohon keputusan? Dalam statistik tradisional, asumsi distribusi memungkinkan kita melakukan matematika dan mencari cara untuk menilai ketidakpastian dalam parameter. Dalam ML, mungkin tidak ada parameter, tidak ada asumsi distribusi, atau keduanya.

Ada beberapa kemajuan yang dibuat di bidang ini, beberapa di antaranya sangat baru (lebih baru dari jawaban saat ini). Salah satu pilihan adalah, seperti yang lain telah disebutkan, analisis Bayesian di mana posterior Anda memberi Anda perkiraan ketidakpastian. Metode tipe bootstrap bagus. Stefan Wager dan Susan Athey, di Stanford, memiliki beberapa pekerjaan dari beberapa tahun terakhir yang mendapatkan kesimpulan untuk hutan acak . Secara analitis, BART adalah metode ansambel pohon Bayesian yang menghasilkan posterior yang dapat ditarik kesimpulan.

Sheridan Grant
sumber