Makalah penelitian pembelajaran mesin sering memperlakukan pembelajaran dan inferensi sebagai dua tugas yang terpisah, tetapi tidak cukup jelas bagi saya apa perbedaannya. Dalam buku ini misalnya mereka menggunakan statistik Bayesian untuk kedua jenis tugas, tetapi tidak memberikan motivasi untuk perbedaan itu. Saya punya beberapa ide yang tidak jelas tentang apa itu, tetapi saya ingin melihat definisi yang solid dan mungkin juga bantahan atau perluasan dari ide-ide saya:
- Perbedaan antara menyimpulkan nilai variabel laten untuk titik data tertentu, dan mempelajari model yang cocok untuk data.
- Perbedaan antara mengekstraksi varians (inferensi) dan mempelajari invariances sehingga dapat mengekstraksi varians (dengan mempelajari dinamika ruang input / proses / dunia).
- Analogi neuroscientific mungkin adalah potensiasi / depresi jangka pendek (jejak memori) vs potensiasi / depresi jangka panjang.
machine-learning
terminology
Lenar Hoyt
sumber
sumber
Jawaban:
Saya setuju dengan jawaban Neil G, tetapi mungkin ungkapan alternatif ini juga membantu:
Pertimbangkan pengaturan model campuran Gaussian sederhana. Di sini kita dapat menganggap parameter model sebagai set komponen Gaussian dari model campuran (masing-masing mean dan variansnya, dan bobot masing-masing dalam campuran).
Diberikan seperangkat parameter model, kesimpulan adalah masalah mengidentifikasi komponen mana yang mungkin telah menghasilkan satu contoh, biasanya dalam bentuk "tanggung jawab" untuk setiap komponen. Di sini, variabel laten hanyalah pengidentifikasi tunggal untuk komponen mana yang menghasilkan vektor yang diberikan, dan kami menyimpulkan komponen mana yang mungkin. (Dalam hal ini, kesimpulan adalah sederhana, meskipun dalam model yang lebih kompleks itu menjadi sangat rumit.)
Belajar adalah proses, diberikan satu set sampel dari model, mengidentifikasi parameter model (atau distribusi lebih dari parameter model) yang paling sesuai dengan data yang diberikan: memilih cara, varian, dan bobot Gaussi '.
Algoritma pembelajaran Expectation-Maximization dapat dianggap sebagai melakukan inferensi untuk set pelatihan, kemudian mempelajari parameter terbaik mengingat inferensi itu, kemudian mengulanginya. Inferensi sering digunakan dalam proses pembelajaran dengan cara ini, tetapi juga merupakan kepentingan independen, misalnya untuk memilih komponen mana yang menghasilkan titik data tertentu dalam model campuran Gaussian, untuk memutuskan keadaan tersembunyi yang paling mungkin dalam model Markov tersembunyi, untuk menghubungkan nilai yang hilang dalam model grafis yang lebih umum, ....
sumber
Inferensi adalah memilih konfigurasi berdasarkan input tunggal. Belajar adalah memilih parameter berdasarkan beberapa contoh pelatihan.
Dalam kerangka model berbasis energi (cara memandang hampir semua arsitektur pembelajaran mesin), inferensi memilih konfigurasi untuk meminimalkan fungsi energi sambil menahan parameter tetap; learning memilih parameter untuk meminimalkan fungsi kerugian .
Seperti yang ditunjukkan oleh conjugateprior, orang lain menggunakan terminologi berbeda untuk hal yang sama. Misalnya Bishop, menggunakan "inferensi" dan "keputusan" untuk masing-masing berarti pembelajaran dan inferensi. Kesimpulan kausal berarti belajar. Tapi apa pun istilah yang Anda putuskan, kedua konsep ini berbeda.
Analogi neurologis adalah pola menembakkan neuron adalah konfigurasi; satu set kekuatan tautan adalah parameternya.
sumber
Ini terlihat seperti kebingungan istilah lintas-disiplin klasik. OP tampaknya menggunakan terminologi seperti ilmu saraf di mana kedua istilah yang dimaksud mungkin memiliki konotasi yang berbeda. Tetapi karena Cross Validated umumnya berkaitan dengan statistik dan pembelajaran maching, saya akan mencoba menjawab pertanyaan berdasarkan penggunaan umum dari istilah-istilah ini di bidang-bidang tersebut.
Dalam statistik klasik, inferensi hanyalah tindakan mengambil apa yang Anda ketahui tentang sampel dan membuat pernyataan matematis tentang populasi dari mana sampel itu (semoga) representatif. Dari buku teks kanonik Casella & Berger (2002): "Subjek teori probabilitas adalah dasar di mana semua statistik dibangun ... melalui model-model ini, ahli statistik dapat menarik kesimpulan tentang populasi, kesimpulan berdasarkan pemeriksaan hanya bagian dari keseluruhan ". Jadi dalam statistik, kesimpulan secara khusus terkait dengan nilai-p, statistik uji, dan distribusi sampel, dll.
Sedangkan untuk belajar, saya pikir tabel ini dari Wasserman's All of Statistics (2003) mungkin membantu:
sumber
Sungguh aneh tidak ada orang lain yang menyebutkan hal ini, tetapi Anda dapat memiliki inferensi hanya dalam kasus di mana Anda memiliki distribusi probabilitas. Di sini mengutip Wiki, yang mengutip kamus Oxford:
Statistik inferensi adalah proses menggunakan analisis data untuk menyimpulkan sifat-sifat dari distribusi probabilitas yang mendasarinya (Kamus Oxford)
https://en.wikipedia.org/wiki/Statribution_inference
Dalam kasus jaringan saraf tradisional, k-NN atau vanilla SVM Anda tidak memiliki kerapatan probabilitas untuk memperkirakan, atau asumsi tentang kerapatan apa pun, dengan demikian, tidak ada inferensi statistik di sana. Hanya pelatihan / pembelajaran. Namun, untuk sebagian besar (semua?) Prosedur statistik, Anda dapat menggunakan inferensi maupun pembelajaran, karena prosedur ini memiliki beberapa asumsi tentang distribusi populasi yang dipertanyakan.
sumber