Apa perbedaan antara istilah 'fungsi tautan' dan 'fungsi tautan kanonik'? Juga, apakah ada keuntungan (teoretis) dari penggunaan satu di atas yang lain?
Misalnya, variabel respons biner dapat dimodelkan menggunakan banyak fungsi tautan seperti logit , probit , dll. Namun, logit di sini dianggap sebagai fungsi tautan "kanonik".
Jawaban:
Jawaban di atas lebih intuitif, jadi saya mencoba lebih keras.
Apa itu GLM?
Misalkan menunjukkan sekumpulan respons y dan p -dimensi kovariat vektor x = ( x 1 , ... , x p ) dengan nilai yang diharapkan E ( y ) = μ . Untuk i = 1 , ... , n pengamatan independen, distribusi setiap y i adalah keluarga eksponensial dengan kepadatan f ( y i ;Y= ( y, x ) y hal x =( x1, ... , xhal) E(y)=μ i=1,…,n yi
Di sini, parameter yang menarik (parameter alami atau kanonik) adalah θ i , ϕ adalah a parameter skala (dikenal atau dilihat sebagai gangguan) dan γ dan τ adalah fungsi yang diketahui. The n vektor berdimensi nilai input tetap untuk p
Oleh karena itu mereka cenderung digunakan secara default. Namun perlu dicatat, bahwa tidak ada alasan apriori mengapa efek dalam model harus aditif pada skala yang diberikan oleh tautan ini atau lainnya.
sumber
gung mengutip penjelasan yang bagus: tautan kanonik memiliki sifat teoretis khusus dengan kecukupan minimal. Ini berarti bahwa Anda dapat mendefinisikan model logit bersyarat (yang oleh para ekonom disebut sebagai model efek tetap) dengan mengkondisikan jumlah hasil, tetapi Anda tidak dapat mendefinisikan model probit bersyarat, karena tidak ada statistik yang cukup untuk digunakan dengan tautan probit.
sumber
Berikut adalah diagram kecil yang terinspirasi dari kelas 18.650 MIT yang menurut saya cukup berguna karena membantu memvisualisasikan hubungan antara fungsi-fungsi ini. Saya telah menggunakan notasi yang sama seperti pada pos @ momo:
Diagram memungkinkan untuk dengan mudah berpindah dari satu arah ke yang lain, misalnya:
Fungsi tautan kanonik
sumber
Jawaban di atas sudah mencakup apa yang ingin saya katakan. Hanya untuk memperjelas beberapa poin sebagai peneliti pembelajaran mesin:
fungsi tautan tidak lain adalah kebalikan dari fungsi aktivasi. Sebagai contoh, logit adalah kebalikan dari sigmoid, probit adalah kebalikan dari fungsi distribusi kumulatif Gaussian.
Diskusi di atas tidak ada hubungannya dengan keluarga eksponensial, tetapi diskusi yang bagus dapat ditemukan dalam buku PRML Christopher Bishop Bab 4.3.6.
sumber