Model pembelajaran dalam mana yang dapat mengklasifikasikan kategori yang tidak eksklusif satu sama lain

9

Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK".

Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan softmaxfungsi di lapisan terakhir. Dengan demikian, saya dapat menggunakan 2 model jaringan saraf untuk memprediksi "Ya" / "Tidak" dengan kedua kategori, tetapi jika kita memiliki lebih banyak kategori, itu terlalu mahal. Jadi apakah kita memiliki model pembelajaran dalam atau mesin untuk memprediksi 2 atau lebih kategori pada saat yang sama?

"Edit": Dengan 3 label dengan pendekatan tradisional, itu akan dikodekan oleh [1,0,0] tetapi dalam kasus saya, itu akan dikodekan oleh [1,1,0] atau [1,1,1]

Contoh: jika kita memiliki 3 label, dan sebuah kalimat mungkin cocok dengan semua label ini. Jadi jika output dari fungsi softmax adalah [0,45, 0,35, 0,2] kita harus mengklasifikasikannya menjadi 3 label atau 2 label, atau mungkin satu? masalah utama ketika kita melakukannya adalah: apakah ambang yang baik untuk diklasifikasikan menjadi 1, atau 2, atau 3 label?

machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty voxter
sumber
Kita harus menggunakan fungsi sigmoid alih-alih fungsi softmax. Itu dapat menetapkan beberapa kelas ke titik data.
NITISH MAHAJAN

Jawaban:

6

Anda dapat mencapai klasifikasi multi-label ini dengan mengganti softmax dengan aktivasi sigmoid dan menggunakan crossentropy biner alih-alih crossentropy kategoris sebagai fungsi loss. Maka Anda hanya perlu satu jaringan dengan unit output / neuron sebanyak yang Anda miliki label.

ij

Li=−∑jti,jlog⁡(pi,j)

ti,j=0Li=−∑jti,jlog⁡(pi,j)−∑j(1−ti,j)log⁡(1−pi,j)

Robintibor
sumber
mengapa kita perlu menggunakan crossentropy biner alih-alih crossentropy kategoris sebagai fungsi kerugian? dapatkah Anda menjelaskan lebih lanjut? Sekarang saya menggunakan aktivasi sigmoid @robintibor
voxter
Saya telah menambahkan penjelasan pada jawaban @voxter
robintibor
Cemerlang! Terima kasih. Juga, dapatkah Anda memberikan beberapa dokumen atau tutorial yang menjelaskan lebih banyak matematika tentang fungsi-fungsi dalam pembelajaran mendalam seperti yang Anda jelaskan pada saya?
voxter
1
Bagus. Tutorial ini mungkin membantu: neuralnetworksanddeeplearning.com deeplearning.net/tutorial deeplearning.stanford.edu/tutorial
robintibor