Mengapa presisi hingga merupakan masalah dalam pembelajaran mesin?

Jawaban:

4

Presisi terbatas adalah representasi desimal dari angka yang telah dibulatkan atau terpotong. Ada banyak kasus di mana ini mungkin perlu atau sesuai. Misalnya 1/3 dan bilangan transendental dan π semuanya memiliki representasi desimal tak terhingga. Dalam bahasa pemrograman C, nilai ganda adalah 8 bit dan tepat untuk sekitar 16 digit. Lihat disini.eπ

http://www.learncpp.com/cpp-tutorial/25-floating-point-numbers/

Untuk secara konkret mewakili salah satu dari angka-angka ini pada komputer (terbatas) harus ada semacam kompromi. Kita bisa menulis 1/3 hingga 9 digit sebagai 0,333333333 yang kurang dari 1/3.

Kompromi ini diperparah dengan operasi aritmatika. Algoritma tidak stabil rentan terhadap kesalahan aritmatika. Inilah sebabnya mengapa SVD sering digunakan untuk menghitung PCA (ketidakstabilan matriks kovarians).

http://www.sandia.gov/~smartin/presentations/SMartin_Stability.pdf

https://en.wikipedia.org/wiki/Numerical_stability

Dalam pengklasifikasi naif bayes Anda akan sering melihat multiplikasi diubah menjadi sejumlah logaritma, yang kurang rentan terhadap kesalahan pembulatan.

https://en.wikipedia.org/wiki/Naive_Bayes_classifier#Multinomial_naive_Bayes


sumber
Terima kasih. Bisakah Anda jelaskan bagaimana svd memecahkan masalah di PCA dan bagaimana mengambil jumlah log mengurangi masalah? Di mana jumlah log ini digunakan dalam pengklasifikasi naif bayes?
GeorgeOfTheRF
Ini lebih banyak pertanyaan mendalam, tapi saya bisa memberikan beberapa petunjuk. itu "memecahkan" itu karena Anda dapat memperoleh PCA dari SVD. Lihat di sini untuk artikel yang luar biasa: arxiv.org/pdf/1404.1100.pdf . SVD lebih disukai karena kurangnya matriks kovarians dalam perhitungannya. Jumlah log dalam naif bayes
0

Satu contoh sederhana: Menghilangkan masalah Gradient di Deep Learning. Ini bukan masalah presisi terbatas, tapi itu juga bagian dari masalahnya.

Martin Thoma
sumber