Menggunakan biplot nilai yang diperoleh melalui analisis komponen utama, dimungkinkan untuk mengeksplorasi variabel penjelas yang membentuk setiap komponen utama. Apakah ini juga mungkin dengan Analisis Diskriminan Linier?
Contoh yang diberikan menggunakan data adalah "Data Iris Edgar Anderson" ( http://en.wikipedia.org/wiki/Iris_flower_data_set ). Berikut adalah data irisnya :
id SLength SWidth PLength PWidth species
1 5.1 3.5 1.4 .2 setosa
2 4.9 3.0 1.4 .2 setosa
3 4.7 3.2 1.3 .2 setosa
4 4.6 3.1 1.5 .2 setosa
5 5.0 3.6 1.4 .2 setosa
6 5.4 3.9 1.7 .4 setosa
7 4.6 3.4 1.4 .3 setosa
8 5.0 3.4 1.5 .2 setosa
9 4.4 2.9 1.4 .2 setosa
10 4.9 3.1 1.5 .1 setosa
11 5.4 3.7 1.5 .2 setosa
12 4.8 3.4 1.6 .2 setosa
13 4.8 3.0 1.4 .1 setosa
14 4.3 3.0 1.1 .1 setosa
15 5.8 4.0 1.2 .2 setosa
16 5.7 4.4 1.5 .4 setosa
17 5.4 3.9 1.3 .4 setosa
18 5.1 3.5 1.4 .3 setosa
19 5.7 3.8 1.7 .3 setosa
20 5.1 3.8 1.5 .3 setosa
21 5.4 3.4 1.7 .2 setosa
22 5.1 3.7 1.5 .4 setosa
23 4.6 3.6 1.0 .2 setosa
24 5.1 3.3 1.7 .5 setosa
25 4.8 3.4 1.9 .2 setosa
26 5.0 3.0 1.6 .2 setosa
27 5.0 3.4 1.6 .4 setosa
28 5.2 3.5 1.5 .2 setosa
29 5.2 3.4 1.4 .2 setosa
30 4.7 3.2 1.6 .2 setosa
31 4.8 3.1 1.6 .2 setosa
32 5.4 3.4 1.5 .4 setosa
33 5.2 4.1 1.5 .1 setosa
34 5.5 4.2 1.4 .2 setosa
35 4.9 3.1 1.5 .2 setosa
36 5.0 3.2 1.2 .2 setosa
37 5.5 3.5 1.3 .2 setosa
38 4.9 3.6 1.4 .1 setosa
39 4.4 3.0 1.3 .2 setosa
40 5.1 3.4 1.5 .2 setosa
41 5.0 3.5 1.3 .3 setosa
42 4.5 2.3 1.3 .3 setosa
43 4.4 3.2 1.3 .2 setosa
44 5.0 3.5 1.6 .6 setosa
45 5.1 3.8 1.9 .4 setosa
46 4.8 3.0 1.4 .3 setosa
47 5.1 3.8 1.6 .2 setosa
48 4.6 3.2 1.4 .2 setosa
49 5.3 3.7 1.5 .2 setosa
50 5.0 3.3 1.4 .2 setosa
51 7.0 3.2 4.7 1.4 versicolor
52 6.4 3.2 4.5 1.5 versicolor
53 6.9 3.1 4.9 1.5 versicolor
54 5.5 2.3 4.0 1.3 versicolor
55 6.5 2.8 4.6 1.5 versicolor
56 5.7 2.8 4.5 1.3 versicolor
57 6.3 3.3 4.7 1.6 versicolor
58 4.9 2.4 3.3 1.0 versicolor
59 6.6 2.9 4.6 1.3 versicolor
60 5.2 2.7 3.9 1.4 versicolor
61 5.0 2.0 3.5 1.0 versicolor
62 5.9 3.0 4.2 1.5 versicolor
63 6.0 2.2 4.0 1.0 versicolor
64 6.1 2.9 4.7 1.4 versicolor
65 5.6 2.9 3.6 1.3 versicolor
66 6.7 3.1 4.4 1.4 versicolor
67 5.6 3.0 4.5 1.5 versicolor
68 5.8 2.7 4.1 1.0 versicolor
69 6.2 2.2 4.5 1.5 versicolor
70 5.6 2.5 3.9 1.1 versicolor
71 5.9 3.2 4.8 1.8 versicolor
72 6.1 2.8 4.0 1.3 versicolor
73 6.3 2.5 4.9 1.5 versicolor
74 6.1 2.8 4.7 1.2 versicolor
75 6.4 2.9 4.3 1.3 versicolor
76 6.6 3.0 4.4 1.4 versicolor
77 6.8 2.8 4.8 1.4 versicolor
78 6.7 3.0 5.0 1.7 versicolor
79 6.0 2.9 4.5 1.5 versicolor
80 5.7 2.6 3.5 1.0 versicolor
81 5.5 2.4 3.8 1.1 versicolor
82 5.5 2.4 3.7 1.0 versicolor
83 5.8 2.7 3.9 1.2 versicolor
84 6.0 2.7 5.1 1.6 versicolor
85 5.4 3.0 4.5 1.5 versicolor
86 6.0 3.4 4.5 1.6 versicolor
87 6.7 3.1 4.7 1.5 versicolor
88 6.3 2.3 4.4 1.3 versicolor
89 5.6 3.0 4.1 1.3 versicolor
90 5.5 2.5 4.0 1.3 versicolor
91 5.5 2.6 4.4 1.2 versicolor
92 6.1 3.0 4.6 1.4 versicolor
93 5.8 2.6 4.0 1.2 versicolor
94 5.0 2.3 3.3 1.0 versicolor
95 5.6 2.7 4.2 1.3 versicolor
96 5.7 3.0 4.2 1.2 versicolor
97 5.7 2.9 4.2 1.3 versicolor
98 6.2 2.9 4.3 1.3 versicolor
99 5.1 2.5 3.0 1.1 versicolor
100 5.7 2.8 4.1 1.3 versicolor
101 6.3 3.3 6.0 2.5 virginica
102 5.8 2.7 5.1 1.9 virginica
103 7.1 3.0 5.9 2.1 virginica
104 6.3 2.9 5.6 1.8 virginica
105 6.5 3.0 5.8 2.2 virginica
106 7.6 3.0 6.6 2.1 virginica
107 4.9 2.5 4.5 1.7 virginica
108 7.3 2.9 6.3 1.8 virginica
109 6.7 2.5 5.8 1.8 virginica
110 7.2 3.6 6.1 2.5 virginica
111 6.5 3.2 5.1 2.0 virginica
112 6.4 2.7 5.3 1.9 virginica
113 6.8 3.0 5.5 2.1 virginica
114 5.7 2.5 5.0 2.0 virginica
115 5.8 2.8 5.1 2.4 virginica
116 6.4 3.2 5.3 2.3 virginica
117 6.5 3.0 5.5 1.8 virginica
118 7.7 3.8 6.7 2.2 virginica
119 7.7 2.6 6.9 2.3 virginica
120 6.0 2.2 5.0 1.5 virginica
121 6.9 3.2 5.7 2.3 virginica
122 5.6 2.8 4.9 2.0 virginica
123 7.7 2.8 6.7 2.0 virginica
124 6.3 2.7 4.9 1.8 virginica
125 6.7 3.3 5.7 2.1 virginica
126 7.2 3.2 6.0 1.8 virginica
127 6.2 2.8 4.8 1.8 virginica
128 6.1 3.0 4.9 1.8 virginica
129 6.4 2.8 5.6 2.1 virginica
130 7.2 3.0 5.8 1.6 virginica
131 7.4 2.8 6.1 1.9 virginica
132 7.9 3.8 6.4 2.0 virginica
133 6.4 2.8 5.6 2.2 virginica
134 6.3 2.8 5.1 1.5 virginica
135 6.1 2.6 5.6 1.4 virginica
136 7.7 3.0 6.1 2.3 virginica
137 6.3 3.4 5.6 2.4 virginica
138 6.4 3.1 5.5 1.8 virginica
139 6.0 3.0 4.8 1.8 virginica
140 6.9 3.1 5.4 2.1 virginica
141 6.7 3.1 5.6 2.4 virginica
142 6.9 3.1 5.1 2.3 virginica
143 5.8 2.7 5.1 1.9 virginica
144 6.8 3.2 5.9 2.3 virginica
145 6.7 3.3 5.7 2.5 virginica
146 6.7 3.0 5.2 2.3 virginica
147 6.3 2.5 5.0 1.9 virginica
148 6.5 3.0 5.2 2.0 virginica
149 6.2 3.4 5.4 2.3 virginica
150 5.9 3.0 5.1 1.8 virginica
Contoh biplot PCA menggunakan set data iris dalam R (kode di bawah):
Gambar ini menunjukkan bahwa panjang Petal dan lebar Petal penting dalam menentukan skor PC1 dan dalam membedakan antara kelompok Spesies. setosa memiliki kelopak yang lebih kecil dan sepal yang lebih luas.
Rupanya, kesimpulan yang sama dapat diambil dari memplot hasil analisis diskriminan linier, meskipun saya tidak yakin apa yang disajikan plot LDA, maka pertanyaannya. Sumbu adalah dua diskriminan linier pertama (LD1 99% dan LD2 1% dari jejak). Koordinat vektor merah adalah "Koefisien diskriminan linier" juga digambarkan sebagai "skala" (lda.fit $ scaling: matriks yang mengubah pengamatan menjadi fungsi diskriminan, dinormalisasi sehingga dalam kelompok, matriks kovarians berbentuk bola). "penskalaan" dihitung sebagai diag(1/f1, , p)dan f1 is sqrt(diag(var(x - group.means[g, ]))). Data dapat diproyeksikan ke diskriminan linier (menggunakan predict.lda) (kode di bawah ini, seperti yang ditunjukkan https://stackoverflow.com/a/17240647/742447). Data dan variabel prediktor diplot bersama sehingga spesies mana yang ditentukan oleh peningkatan di mana variabel prediktor dapat dilihat (seperti yang dilakukan untuk biplots PCA biasa dan biplot PCA di atas) .:
Dari plot ini, lebar Sepal, Lebar Petal, dan Panjang Petal semuanya berkontribusi ke level yang mirip dengan LD1. Seperti yang diharapkan, setosa tampak kelopak yang lebih kecil dan sepal yang lebih luas.
Tidak ada cara bawaan untuk memplot biplots dari LDA dalam R dan beberapa diskusi online ini, yang membuat saya waspada terhadap pendekatan ini.
Apakah plot LDA ini (lihat kode di bawah) memberikan interpretasi yang valid secara statistik dari skor skala variabel prediktor?
Kode untuk PCA:
require(grid)
iris.pca <- prcomp(iris[,-5])
PC <- iris.pca
x="PC1"
y="PC2"
PCdata <- data.frame(obsnames=iris[,5], PC$x)
datapc <- data.frame(varnames=rownames(PC$rotation), PC$rotation)
mult <- min(
(max(PCdata[,y]) - min(PCdata[,y])/(max(datapc[,y])-min(datapc[,y]))),
(max(PCdata[,x]) - min(PCdata[,x])/(max(datapc[,x])-min(datapc[,x])))
)
datapc <- transform(datapc,
v1 = 1.6 * mult * (get(x)),
v2 = 1.6 * mult * (get(y))
)
datapc$length <- with(datapc, sqrt(v1^2+v2^2))
datapc <- datapc[order(-datapc$length),]
p <- qplot(data=data.frame(iris.pca$x),
main="PCA",
x=PC1,
y=PC2,
shape=iris$Species)
#p <- p + stat_ellipse(aes(group=iris$Species))
p <- p + geom_hline(aes(0), size=.2) + geom_vline(aes(0), size=.2)
p <- p + geom_text(data=datapc,
aes(x=v1, y=v2,
label=varnames,
shape=NULL,
linetype=NULL,
alpha=length),
size = 3, vjust=0.5,
hjust=0, color="red")
p <- p + geom_segment(data=datapc,
aes(x=0, y=0, xend=v1,
yend=v2, shape=NULL,
linetype=NULL,
alpha=length),
arrow=arrow(length=unit(0.2,"cm")),
alpha=0.5, color="red")
p <- p + coord_flip()
print(p)
Kode untuk LDA
#Perform LDA analysis
iris.lda <- lda(as.factor(Species)~.,
data=iris)
#Project data on linear discriminants
iris.lda.values <- predict(iris.lda, iris[,-5])
#Extract scaling for each predictor and
data.lda <- data.frame(varnames=rownames(coef(iris.lda)), coef(iris.lda))
#coef(iris.lda) is equivalent to iris.lda$scaling
data.lda$length <- with(data.lda, sqrt(LD1^2+LD2^2))
scale.para <- 0.75
#Plot the results
p <- qplot(data=data.frame(iris.lda.values$x),
main="LDA",
x=LD1,
y=LD2,
shape=iris$Species)#+stat_ellipse()
p <- p + geom_hline(aes(0), size=.2) + geom_vline(aes(0), size=.2)
p <- p + theme(legend.position="none")
p <- p + geom_text(data=data.lda,
aes(x=LD1*scale.para, y=LD2*scale.para,
label=varnames,
shape=NULL, linetype=NULL,
alpha=length),
size = 3, vjust=0.5,
hjust=0, color="red")
p <- p + geom_segment(data=data.lda,
aes(x=0, y=0,
xend=LD1*scale.para, yend=LD2*scale.para,
shape=NULL, linetype=NULL,
alpha=length),
arrow=arrow(length=unit(0.2,"cm")),
color="red")
p <- p + coord_flip()
print(p)
Hasil LDA adalah sebagai berikut
lda(as.factor(Species) ~ ., data = iris)
Prior probabilities of groups:
setosa versicolor virginica
0.3333333 0.3333333 0.3333333
Group means:
Sepal.Length Sepal.Width Petal.Length Petal.Width
setosa 5.006 3.428 1.462 0.246
versicolor 5.936 2.770 4.260 1.326
virginica 6.588 2.974 5.552 2.026
Coefficients of linear discriminants:
LD1 LD2
Sepal.Length 0.8293776 0.02410215
Sepal.Width 1.5344731 2.16452123
Petal.Length -2.2012117 -0.93192121
Petal.Width -2.8104603 2.83918785
Proportion of trace:
LD1 LD2
0.9912 0.0088
sumber
discriminant predictor variable scaling scores? - Istilah itu bagi saya tidak umum dan aneh.predictor variable scaling scores. Mungkin "skor diskriminan"? Bagaimanapun, saya menambahkan jawaban yang mungkin menarik bagi Anda.Jawaban:
Analisis komponen utama dan output analisis diskriminan linier ; data iris .
Saya tidak akan menggambar biplot karena biplot dapat digambar dengan berbagai normalisasi dan karenanya mungkin terlihat berbeda. Karena saya bukan
Rpengguna, saya mengalami kesulitan untuk melacak bagaimana Anda menghasilkan plot Anda, untuk mengulanginya. Sebagai gantinya, saya akan melakukan PCA dan LDA dan menunjukkan hasilnya, dengan cara yang mirip dengan ini (Anda mungkin ingin membaca). Kedua analisis dilakukan dalam SPSS.Komponen utama dari data iris :
Penting untuk ditekankan bahwa itu adalah pembebanan, bukan vektor eigen, yang dengannya kita biasanya menafsirkan komponen utama (atau faktor dalam analisis faktor) - jika kita perlu menafsirkannya. Memuat adalah koefisien penyesalan variabel pemodelan oleh komponen standar . Pada saat yang sama, karena komponen tidak saling berhubungan, mereka adalah kovarian antara komponen tersebut dan variabel. Pembebanan terstandarisasi (diskala ulang), seperti korelasi, tidak dapat melebihi 1, dan lebih mudah untuk ditafsirkan karena efek dari varians variabel yang tidak sama dihapus.
Ini adalah pemuatan, bukan vektor eigen, yang biasanya ditampilkan pada biplot berdampingan dengan skor komponen; yang terakhir sering ditampilkan kolom dinormalisasi.
Diskriminan linear dari data iris :
Tentang perhitungan ekstraksi diskriminan di LDA, silakan lihat di sini . Kami menafsirkan diskriminan biasanya dengan koefisien diskriminan atau koefisien diskriminan terstandarisasi (yang terakhir lebih berguna karena perbedaan varians dalam variabel dilepas). Ini seperti di PCA. Tetapi, perhatikan: koefisien di sini adalah koefisien penyesalan pemodelan diskriminan oleh variabel , bukan sebaliknya, seperti di PCA. Karena variabel tidak berkorelasi, koefisien tidak dapat dilihat sebagai kovarian antara variabel dan diskriminan.
Namun kami memiliki matriks lain yang dapat berfungsi sebagai sumber alternatif penafsiran diskriminan - dikumpulkan dalam korelasi kelompok antara diskriminan dan variabel. Karena diskriminan tidak berkorelasi, seperti PC, matriks ini dalam arti analog dengan pemuatan standar PCA.
Secara keseluruhan, sementara di PCA kami memiliki satu-satunya matriks - memuat - untuk membantu menafsirkan laten, di LDA kami memiliki dua matriks alternatif untuk itu. Jika Anda perlu memplot (biplot atau apa pun), Anda harus memutuskan apakah akan memplot koefisien atau korelasi.
Dan, tentu saja, perlu diingatkan bahwa dalam PCA data iris komponen tidak "tahu" bahwa ada 3 kelas; mereka tidak dapat diharapkan untuk mendiskriminasi kelas. Diskriminan memang "tahu" ada kelas dan itu adalah pekerjaan alami mereka yang mendiskriminasi.
sumber
Loadings are the coefficients to predict...serta di sini :[Footnote: The components' values...]. Memuat adalah koefisien untuk menghitung variabel dari komponen standar dan ortogonal, berdasarkan apa beban adalah kovarian antara ini dan mereka.Pemahaman saya adalah bahwa biplots analisis diskriminan linier dapat dilakukan, itu sebenarnya diterapkan dalam paket R ggbiplot dan ggord dan fungsi lain untuk melakukannya diposting di utas StackOverflow ini .
Juga buku "Biplots in practice" oleh M. Greenacre memiliki satu bab (bab 11, lihat pdf ) di atasnya dan pada Gambar 11.5 itu menunjukkan biplot dari analisis diskriminan linier dari set data iris:
sumber
Saya tahu ini ditanyakan lebih dari setahun yang lalu, dan ttnphns memberikan jawaban yang sangat baik dan mendalam, tapi saya pikir saya akan menambahkan beberapa komentar untuk mereka (seperti saya) yang tertarik pada PCA dan LDA untuk kegunaannya dalam ekologi ilmu pengetahuan, tetapi memiliki latar belakang statistik yang terbatas (bukan ahli statistik).
PC dalam PCA adalah kombinasi linear dari variabel asli yang secara berurutan secara maksimal menjelaskan varians total dalam dataset multidimensi. Anda akan memiliki PC sebanyak yang Anda lakukan variabel asli. Persentase varian yang dijelaskan oleh PC diberikan oleh nilai eigen dari matriks kesamaan yang digunakan, dan koefisien untuk setiap variabel asli pada setiap PC baru diberikan oleh vektor eigen. PCA tidak memiliki asumsi tentang grup. PCA sangat baik untuk melihat bagaimana beberapa variabel berubah nilainya di seluruh data Anda (dalam biplot, misalnya). Menafsirkan PCA sangat bergantung pada biplot.
LDA berbeda karena alasan yang sangat penting - LDA menciptakan variabel baru dengan memaksimalkan varians antar kelompok. Ini masih kombinasi linear dari variabel asli, tetapi alih-alih menjelaskan varians sebanyak mungkin dengan masing-masing LD berurutan, alih-alih mereka ditarik untuk memaksimalkan PERBEDAAN antara kelompok di sepanjang variabel baru itu. Daripada matriks kesamaan, LDA (dan MANOVA) menggunakan matriks perbandingan antara dan di dalam kelompok jumlah kuadrat dan produk silang. Vektor eigen dari matriks ini - koefisien yang awalnya diperhatikan OP - menggambarkan seberapa besar variabel asli berkontribusi pada pembentukan LDs baru.
Untuk alasan ini, vektor eigen dari PCA akan memberi Anda ide yang lebih baik bagaimana suatu perubahan variabel dalam nilai di cloud data Anda, dan seberapa pentingkah perbedaan total dalam set data Anda, daripada LDA. Namun, LDA, terutama dalam kombinasi dengan MANOVA, akan memberi Anda uji statistik perbedaan centroid multivariat dari grup Anda, dan perkiraan kesalahan dalam alokasi poin ke grup masing-masing (dalam arti, ukuran efek multivariat). Dalam suatu LDA, bahkan jika suatu variabel berubah secara linier (dan secara signifikan) lintas kelompok, koefisiennya pada LD mungkin tidak menunjukkan "skala" dari efek itu, dan sepenuhnya bergantung pada variabel lain yang termasuk dalam analisis.
Saya harap itu jelas. Terima kasih atas waktunya. Lihat gambar di bawah ...
sumber