Bisakah Anda jelaskan apa itu ketepatan terbatas? Mengapa presisi hingga merupakan masalah dalam pembelajaran mesin?
Presisi terbatas adalah representasi desimal dari angka yang telah dibulatkan atau terpotong. Ada banyak kasus di mana ini mungkin perlu atau sesuai. Misalnya 1/3 dan bilangan transendental dan π semuanya memiliki representasi desimal tak terhingga. Dalam bahasa pemrograman C, nilai ganda adalah 8 bit dan tepat untuk sekitar 16 digit. Lihat disini.
http://www.learncpp.com/cpp-tutorial/25-floating-point-numbers/
Untuk secara konkret mewakili salah satu dari angka-angka ini pada komputer (terbatas) harus ada semacam kompromi. Kita bisa menulis 1/3 hingga 9 digit sebagai 0,333333333 yang kurang dari 1/3.
Kompromi ini diperparah dengan operasi aritmatika. Algoritma tidak stabil rentan terhadap kesalahan aritmatika. Inilah sebabnya mengapa SVD sering digunakan untuk menghitung PCA (ketidakstabilan matriks kovarians).
http://www.sandia.gov/~smartin/presentations/SMartin_Stability.pdf
https://en.wikipedia.org/wiki/Numerical_stability
Dalam pengklasifikasi naif bayes Anda akan sering melihat multiplikasi diubah menjadi sejumlah logaritma, yang kurang rentan terhadap kesalahan pembulatan.
https://en.wikipedia.org/wiki/Naive_Bayes_classifier#Multinomial_naive_Bayes
Satu contoh sederhana: Menghilangkan masalah Gradient di Deep Learning. Ini bukan masalah presisi terbatas, tapi itu juga bagian dari masalahnya.
sumber