Kompetisi Kaggle menentukan peringkat akhir berdasarkan set tes yang diadakan.
Satu set tes yang diadakan adalah sampel; mungkin tidak mewakili populasi yang dimodelkan. Karena setiap pengiriman seperti hipotesis, algoritme yang memenangkan kompetisi mungkin saja, secara kebetulan, akhirnya cocok dengan set tes yang lebih baik daripada yang lain. Dengan kata lain, jika set tes yang berbeda dipilih dan kompetisi diulang, apakah rangkingnya tetap sama?
Untuk perusahaan sponsor, ini tidak terlalu penting (mungkin 20 proposal teratas akan meningkatkan baseline mereka). Meskipun, ironisnya, mereka mungkin akhirnya menggunakan model peringkat pertama yang lebih buruk daripada lima besar lainnya. Tetapi, bagi para peserta kompetisi, tampaknya Kaggle pada akhirnya adalah permainan kesempatan - keberuntungan tidak diperlukan untuk menemukan solusi yang tepat, itu diperlukan untuk menemukan solusi yang cocok dengan set tes!
Apakah mungkin untuk mengubah kompetisi sehingga semua tim teratas yang tidak dapat dibedakan secara statistik menang? Atau, dalam kelompok ini, dapatkah model yang paling murah hati dan murah secara komputasi menang?
Jawaban:
Ya, alasan Anda benar. Jika set tes yang berbeda dipilih dan kompetisi diulang, peringkat memang akan berubah. Perhatikan contoh berikut. Semua entri ke kompetisi Kaggle dengan label biner hanya menebak secara acak (dan, katakanlah, secara independen) untuk memprediksi output mereka. Secara kebetulan, salah satu dari mereka akan setuju dengan ketidaksepakatan lebih dari yang lain, meskipun tidak ada prediksi yang terjadi.
Meskipun ini sedikit dibuat-buat, kita dapat melihat bahwa varians di masing-masing model kiriman akan berarti bahwa menerapkan banyak entri seperti itu memang hanya akan cocok dengan kebisingan himpunan set pegangan. Ini memberitahu kita bahwa (tergantung pada varian model individual), model top-N mungkin menggeneralisasi hal yang sama. Ini adalah taman jalur bercabang , kecuali "peneliti" tidak sama (tapi itu tidak masalah).
Memang.
sumber
Ada jenis kompetisi lain di Kaggle yang tidak memiliki elemen peluang. Misalnya, yang satu ini Stanta's Stolen Sleigh .
Ini adalah masalah optimasi diskrit dan bahkan tidak memiliki papan pemimpin pribadi. Apa yang Anda lihat di dewan pimpinan publik adalah hasil akhir.
Dibandingkan dengan pembelajaran yang diawasi, yang memiliki awal yang mudah bagi banyak orang, jenis kompetisi ini lebih "sulit".
sumber