Buktikan hubungan antara jarak Mahalanobis dan Leverage?

Saya telah melihat formula di Wikipedia. yang menghubungkan jarak Mahalanobis dan Leverage:

Jarak mahalanobis terkait erat dengan statistik leverage, $h$ , tetapi memiliki skala yang berbeda:

$$D^2 = (N - 1)(h - \tfrac{1}{N}).$$

Dalam artikel tertaut , Wikipedia menggambarkan $h$ dalam istilah ini:

Dalam model regresi linear, nilai leverage yang untuk $i^{th}$ data unit didefinisikan sebagai:

$$h_{ii}=(H)_{ii},$$ yang $i^{th}$ elemen diagonal dari topi matriks $H=X(X^{\top}X)^{-1}X^{\top}$ , di mana ⊤ menunjukkan matriks transpos.$^{\top}$

Saya tidak dapat menemukan bukti di mana pun. Saya mencoba memulai dari definisi tetapi saya tidak dapat membuat kemajuan. Adakah yang bisa memberi petunjuk?

Deskripsi saya tentang jarak Mahalanobis di Bawah ke atas penjelasan tentang jarak Mahalanobis? termasuk dua hasil utama:

1. Menurut definisi, itu tidak berubah ketika para regresi secara seragam bergeser.

2. Jarak Mahalanobis kuadrat antara vektor $x$ dan $y$ diberikan oleh

   $$D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$$ mana $\Sigma$ adalah kovarian data.

(1) memungkinkan kita untuk mengasumsikan bahwa sarana dari para regressor semuanya nol. Masih menghitung $h_i$ . Namun, agar klaim itu benar, kita perlu menambahkan satu asumsi lagi:

Model harus menyertakan intersep.

Mengizinkan ini, biarkan ada $k \ge 0$ regressor dan $n$ data, tulis nilai regressor $j$ untuk observasi $i$ sebagai $x_{ij}$ . Biarkan vektor kolom dari nilai-nilai $n$ ini untuk regressor $j$ ditulis $\mathbf{x}_{,j}$ dan vektor baris dari nilai-nilai $k$ ini untuk observasi $i$ ditulis $\mathbf{x}_i$ . Maka model matriksnya adalah

$$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$$

dan, menurut definisi, matriks topi adalah

$$H = X(X^\prime X)^{-1} X^\prime,$$

dari mana entri $i$ sepanjang diagonal adalah

$$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$$

Tidak ada yang bisa dilakukan selain mengerjakan invers matriks pusat - tetapi berdasarkan hasil utama pertama, mudah, terutama ketika kita menulisnya dalam bentuk blok-matriks:

$$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$$

di mana $\mathbf{0} = (0,0,\ldots,0)^\prime$ dan

$$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$$

$\Sigma$

$$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$$

$(1)$

$$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$$

$D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

$$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$$

QED .

$1/n$$X$$n-1$$n-1$$n$

---

$i$

---

Kode R untuk menunjukkan bahwa relasi memang berlaku:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))