Ketika melihat vektor eigen dari matriks kovarians, kita mendapatkan arah varians maksimum (vektor eigen pertama adalah arah di mana data paling bervariasi, dll.); ini disebut analisis komponen utama (PCA).
Saya bertanya-tanya apa artinya melihat vektor-vektor eigen / nilai-nilai matriks informasi timbal balik, akankah mereka menunjuk ke arah entropi maksimum?
Jawaban:
Meskipun ini bukan jawaban langsung (karena ini adalah tentang informasi timbal balik pointwise ), lihat kertas yang berkaitan dengan word2vec dengan dekomposisi nilai tunggal matriks PMI:
sumber