Saya ingin membandingkan dua algoritma peringkat. Dalam algoritma ini, klien menentukan beberapa kondisi dalam pencariannya. Menurut persyaratan klien, algoritma ini harus menetapkan skor untuk setiap item dalam basis data dan mengambil item dengan skor tertinggi.
Saya telah membaca berbagai topik terkait pertanyaan saya di situs ini dan mencari di internet. Menurut pencarian saya, artikel paling relevan yang menjelaskan tentang beberapa metrik untuk membandingkan algoritma peringkat, adalah ini: Brian McFee dan Gert RG Lanckriet, Metric Learning to Ranking, ICML 2010 ( https://bmcfee.github.io/papers/mlr .pdf ). Saya pikir prec @ k, MAP, MRR, dan NDCG, adalah metrik yang baik untuk digunakan, tetapi saya memiliki masalah:
Algoritme saya mengurutkan hasil, sehingga item pertama dalam daftar hasil saya adalah yang terbaik dengan skor tertinggi, hasil kedua memiliki skor teratas kedua, dan seterusnya. Saya membatasi algoritma pencarian saya, misalnya, menemukan 5 hasil terbaik. Hasilnya adalah 5 item teratas. Jadi, presisi akan menjadi 1. Ketika saya membatasi pencarian saya untuk menemukan hasil terbaik, ia menemukan yang terbaik. Sekali lagi, presisi akan menjadi 1.Tapi masalahnya adalah bahwa, itu tidak dapat diterima untuk orang-orang yang melihat hasil ini.
Apa yang dapat saya? Bagaimana saya bisa membandingkan algoritma ini dan menunjukkan satu lebih baik daripada yang lain?