Saya sedang membangun jaring saraf untuk memprediksi nilai sebuah karya seni dengan berbagai input (ukuran, media seni, dll.) Dan saya ingin memasukkan penulis sebagai input juga (sering kali sangat besar faktor dalam nilai satu karya seni).
Kekhawatiran saya saat ini adalah bahwa nama penulis bukan input numerik yang ideal untuk NN (yaitu Jika saya hanya kode setiap penulis dengan nilai integer yang meningkat, saya akan secara tidak langsung memberikan nilai lebih kepada penulis lebih jauh ke bawah daftar -_-) . Pikiranku adalah membuat input terpisah untuk semua penulis dalam set data saya dan kemudian hanya menggunakan satu pengkodean panas untuk lebih mewakili input ke NN.
Namun pendekatan ini mengalami masalah ketika penulis yang tidak termasuk dalam data pelatihan saya digunakan sebagai input ke NN (yaitu penulis baru). Saya dapat menyiasatinya dengan bidang input "penulis lain" tetapi saya khawatir ini tidak akan akurat karena saya tidak akan melatih NN untuk input ini (semua karya seni dengan penilaian memiliki penulis).
Saya belum sepenuhnya memikirkan hal ini, tetapi saya berpikir mungkin melatih 2 NN, satu untuk penilaian tanpa penulis dan satu untuk penilaian dengan penulis untuk memastikan saya memiliki data pelatihan yang cukup untuk "penilaian tanpa penulis" agar tetap cukup akurat.
Saya masih mencoba untuk membuat konsep arsitektur NN terbaik sebelum saya terjebak ke dalam implementasi jadi jika ada yang punya saran / komentar saya akan sangat berterima kasih!
Terima kasih sebelumnya, Vince
PS Saya melakukan ini sebagai kompetisi kecil dengan seorang teman untuk menguji NN vs teknik penilaian komersial tradisional. Tolong bantu saya mendapatkan kemenangan untuk Ilmu Komputer atas Ilmu Aktuaria.
sumber
Jawaban:
Pendekatan paling mudah yang saya sarankan adalah solusi enkode satu-panas tanpa fitur untuk '' penulis lain ''. Jika Anda menggunakan drop-out selama pelatihan, jaringan harus belajar cara menangani vektor input yang tidak memiliki fitur pembuat diatur ke 1. Kemudian, setiap kali Anda memiliki penulis yang tidak dikenal, Anda tidak memiliki 1s sama sekali untuk fitur penulis, dan masih harus belajar bagaimana menghadapinya.
Pendekatan lain yang mungkin adalah pengkodean satu-panas dengan fitur untuk '' penulis lain ''. Agar tetap mendapatkan data latihan untuk bobot itu, Anda cukup menggunakan augmentasi data. Pendekatan augmentasi data yang paling mudah untuk ini adalah membuat salinan instance dalam data pelatihan Anda, tetapi untuk salinan itu setel fitur "penulis lain" menjadi 1 alih-alih penulis yang sebenarnya.
Solusi paling kompleks yang dapat saya pikirkan adalah mengambil representasi string dari penulis, mencoba membuat program Anda menemukan informasi tentang penulis itu secara online (misalnya mencoba mencari halaman wikipedia), mendorong semua teks melalui LSTM. '' Lapisan keluaran '' dari LSTM kemudian dapat digabungkan dengan fitur-fitur Anda yang lain (keduanya bersama-sama akan menjadi '' vektor input '' Anda), susun beberapa lapisan lagi di atasnya, dan latih semuanya untuk untuk mengakhiri. Kecuali jika persaingan dengan teman Anda melibatkan jumlah uang yang serius, ini mungkin akan terlalu rumit untuk sia-sia.
sumber
Saya akan mencoba menemukan beberapa fitur proksi tentang penulis, dan bukan untuk menyandikan identitas penulis. Fitur yang bagus dari seorang penulis termasuk rata-rata fitur lain tentang karya tersebut (seperti ukuran, jenis media, dll), dan sangat penting untuk prediksi Anda, beberapa statistik pada harga jual sebelumnya dari setiap karya. Ingat untuk data pelatihan historis untuk memasukkan data proksi seperti yang akan muncul pada saat penjualan.
Mempunyai proksi-proksi ini kemungkinan akan bekerja jauh lebih baik daripada pengodean identitas penulis yang hot-encode dan mendapatkan algoritma ML untuk menetapkan bobot berdasarkan identitas saja, terutama bagi penulis dengan hanya sejumlah kecil data untuk mewakili mereka.
Ada sedikit alasan sejauh yang saya tahu, untuk mengharapkan string karakter nama penulis berkorelasi dengan nilai karya seni. Ada mungkin ada beberapa yang baik vs buruk nama merek efek, tapi saya berpikir bahwa akan sangat sulit untuk memprediksi bahkan di isolasi dari faktor-faktor lain, dan termasuk data penjualan bersejarah harus mempertimbangkan ini dan yang sejenis efek, kecuali untuk seniman yang tidak memiliki riwayat diketahui.
sumber