Apa perbedaan antara 'transfer pembelajaran' dan 'adaptasi domain'?

19

Apakah ada perbedaan antara 'transfer pembelajaran' dan 'adaptasi domain'?

Saya tidak tahu tentang konteks, tetapi pemahaman saya adalah bahwa kami memiliki beberapa dataset 1 dan melatihnya, setelah itu kami memiliki dataset 2 yang ingin kami sesuaikan dengan model kami tanpa pelatihan ulang dari awal, untuk mana 'transfer pembelajaran' dan 'adaptasi domain' membantu menyelesaikan masalah ini.

Menurut bidang Jaringan Syaraf Konvolusional:

  • Yang saya maksud dengan 'transfer learning' adalah 'finetuning' [1]

  • Dalam hal ini [2] tidak diawasi, tetapi haruskah 'adaptasi domain' selalu tidak diawasi?

mrgloom
sumber
3
Sebuah Survei tentang Transfer Belajar oleh Pan et. al, 2009 memberikan beberapa wawasan. Mereka mengkategorikan adaptasi domain sebagai jenis pembelajaran transfer.
kedarps

Jawaban:

13

Tampaknya ada beberapa perbedaan pendapat antara para peneliti tentang apa perbedaan antara 'transfer learning' dan 'adaptasi domain'.

Dari {0}:

Gagasan adaptasi domain terkait erat dengan transfer learning. Transfer belajar adalah istilah umum yang mengacu pada kelas masalah pembelajaran mesin yang melibatkan tugas atau domain yang berbeda. Dalam literatur, belum ada definisi standar pembelajaran transfer. Dalam beberapa makalah ini dipertukarkan dengan adaptasi domain.

Dari {1}:

masukkan deskripsi gambar di sini


Referensi:

Franck Dernoncourt
sumber
10

Dari artikel Hal Daume [1]:

Pengaturan klasifikasi standar adalah distribusi input p (X) dan label distribusi p (Y | X). Adaptasi domain: ketika p (X) berubah antara pelatihan dan tes. Transfer pembelajaran: ketika p (Y | X) berubah antara pelatihan dan tes.

Dengan kata lain, dalam DA distribusi input berubah tetapi label tetap sama; dalam TL, distribusi input tetap sama, tetapi label berubah.

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( mirror )
Rahul Jha
sumber
Selamat Datang di Cross Divalidasi ! Silakan luangkan waktu sejenak untuk melihat tur kami . Lebih disukai bahwa jawaban itu lengkap dengan kutipan yang tepat. Jika Anda menggunakan informasi dari tautan Anda untuk memberikan jawaban yang masuk akal untuk pertanyaan dengan tautan untuk membaca lebih lanjut, ini akan menjadi jawaban yang jauh lebih baik.
Tavrock
1
hal(Y|X)hal(X)
Saya setuju dengan @caveman. Untuk banyak skenario belajar transfer itulah masalahnya.
pir
2

Sepanjang literatur tentang transfer belajar, ada sejumlah inkonsistensi terminologi. Frasa seperti pembelajaran transfer dan adaptasi domain digunakan untuk merujuk pada proses yang serupa. Adaptasi domain adalah proses mengadaptasi satu atau lebih domain sumber untuk sarana mentransfer informasi untuk meningkatkan kinerja pelajar target. Proses adaptasi domain berusaha mengubah domain sumber dalam upaya membawa distribusi sumber lebih dekat ke target. Dalam pengaturan Adaptasi Domain, domain sumber dan target memiliki distribusi marginal yang berbeda p (X). Menurut survei Pan, Transfer Pembelajaran adalah istilah yang lebih luas yang juga dapat mencakup kasus ketika ada perbedaan dalam distribusi bersyarat p (Y | X) dari domain sumber dan target. Sebaliknya,

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html
Christos Karatsalos
sumber
Apakah mungkin untuk menambahkan kutipan untuk "survei Pan"? Saya pikir ini akan membuat jawaban ini lebih bermanfaat bagi pembaca masa depan.
Silverfish
Pan, Sinno Jialin, dan Qiang Yang. "Sebuah survei tentang pembelajaran transfer." Transaksi IEEE pada pengetahuan dan rekayasa data 22, no. 10 (2010): 1345-1359. scholar.google.com/... ; citeseerx.ist.psu.edu/viewdoc/…
Christos Karatsalos