Jenis normalisasi data mana yang harus digunakan dengan KNN?

Untuk k-NN, saya sarankan menormalkan data antara dan . $0$ $1$

k-NN menggunakan jarak Euclidean , sebagai alat untuk membandingkan contoh. Untuk menghitung jarak antara dua titik dan , di mana adalah nilai dari fitur -th : $x_1 = (f_1^1, f_1^2, ..., f_1^M)$ $x_2 = (f_2^1, f_2^2, ..., f_2^M)$ $f_1^i$ $i$ $x_1$

d (x_{1}, x_{2}) = \sqrt{(f_{1}^{1} - f_{2}^{1})^{2} + (f_{1}^{2} - f_{2}^{2})^{2} + . . . + (f_{1}^{M} - f_{2}^{M})^{2}}

$d(x_1, x_2) = \sqrt{(f_1^1 - f_2^1)^2 + (f_1^2 - f_2^2)^2 + ... + (f_1^M - f_2^M)^2}$

Agar semua fitur menjadi sama pentingnya ketika menghitung jarak, fitur harus memiliki rentang nilai yang sama. Ini hanya dapat dicapai melalui normalisasi.

Jika mereka tidak dinormalisasi dan misalnya fitur memiliki rentang nilai dalam ), sedangkan memiliki rentang nilai dalam . Saat menghitung jarak, suku kedua akan kali lebih penting dari suku pertama, sehingga k-NN lebih mengandalkan fitur kedua dari pada yang pertama. Memastikan normalisasi yang semua fitur yang dipetakan ke yang sama rentang nilai. $f^1$ $[0, 1$ $f^2$ $[1, 10)$ $10$

Standarisasi, di sisi lain, memang memiliki banyak properti berguna, tetapi tidak dapat memastikan bahwa fitur-fitur tersebut dipetakan ke kisaran yang sama. Sementara standardisasi mungkin paling cocok untuk pengklasifikasi lain, ini bukan kasus untuk k-NN atau pengklasifikasi berbasis jarak lainnya.

Djib2011
sumber

Apakah jawaban Anda akan sama jika saya menggunakan jarak yang berbeda dan bukan jarak Euclidean (misalnya jarak Manhattan atau jarak lain bahkan jarak fraksional)? Juga jika kisaran variabel kira-kira dekat satu sama lain.

jeza

Ya saya hanya menunjukkan jarak Euclidean sebagai contoh, tetapi semua metrik jarak menderita dari hal yang sama. Jika rentangnya berdekatan satu sama lain maka itu tidak akan mempengaruhi perhitungan metrik sebanyak itu , tetapi masih akan. Sebagai contoh jika dan , akan tetap lebih penting daripada . Satu hal yang saya lupa sebutkan adalah bahwa standardisasi, jelas, jauh lebih baik daripada tidak melakukan penskalaan fitur apa pun; itu hanya lebih buruk daripada normalisasi.

f^{1} \in [0, 1)

$f^1 \in [0, 1)$

f^{2} \in [0, 1.2)

$f^2 \in [0, 1.2)$

f^{2}

$f^2$

20 %

$20\%$

f^{1}

$f^1$

Djib2011

Ah saya mengerti. "itu lebih buruk dari normalisasi" !?

jeza

Jenis normalisasi data mana yang harus digunakan dengan KNN?

Jawaban: