Mengapa ada -1 dalam fungsi kepadatan distribusi beta?

Distribusi beta muncul di bawah dua parameter (atau di sini )

\begin{matrix} (1) & f (x) \propto x^{α} (1 - x)^{β} \end{matrix}

$f(x) \propto x^{\alpha} (1-x)^{\beta} \tag{1}$

atau yang tampaknya lebih sering digunakan

\begin{matrix} (2) & f (x) \propto x^{α - 1} (1 - x)^{β - 1} \end{matrix}

$f(x) \propto x^{\alpha-1} (1-x)^{\beta-1} \tag{2}$

Tetapi mengapa sebenarnya ada " " dalam formula kedua? $-1$

Formulasi pertama secara intuitif tampaknya lebih langsung berhubungan dengan distribusi binomial

\begin{matrix} (3) & g (k) \propto p^{k} (1 - p)^{n - k} \end{matrix}

$g(k) \propto p^k (1-p)^{n-k} \tag{3}$

tetapi "dilihat" dari sudut pandang $p$ . Hal ini terutama jelas dalam Model beta-binomial di mana dapat dipahami sebagai sebelum sejumlah keberhasilan dan adalah sebelum sejumlah kegagalan. $\alpha$ $\beta$

Jadi mengapa sebenarnya bentuk kedua mendapatkan popularitas dan apa alasan di baliknya? Apa itu konsekuensi menggunakan salah satu parametrization (misalnya untuk koneksi dengan distribusi binomial)?

Akan lebih bagus jika seseorang juga bisa menunjukkan asal pilihan dan argumen awal untuk itu, tetapi itu bukan keharusan bagi saya.

distributions references beta-distribution history beta-binomial Tim
sumber

Alasan mendalam diisyaratkan dalam jawaban ini :

f

$f$ sama dengan

x^{α} (1 - x)^{β}

$x^\alpha(1-x)^\beta$ relatif terhadap ukuran

d μ = d x / ((x (1 - x))

$d\mu=dx/((x(1-x))$ . Itu mengurangi pertanyaan Anda menjadi "mengapa ukuran khusus itu "? Mengenali bahwa ukuran ini adalah

d μ = d (\log (\frac{x}{1 - x}))

$d\mu=d\left(\log\left(\frac{x}{1-x}\right)\right)$ menyarankan cara "benar" untuk memahami distribusi ini adalah dengan menerapkan transformasi logistik: istilah "

- 1

$-1$ " kemudian akan hilang.

whuber

Saya pikir alasan sebenarnya hal itu terjadi adalah yang historis - karena nampak seperti itu dalam fungsi beta yang namanya distribusinya. Adapun mengapa itu memiliki

- 1

$-1$ dalam kekuasaan, saya berharap bahwa pada akhirnya akan terhubung dengan alasan whuber menyebutkan (meskipun secara historis tidak ada hubungannya dengan ukuran atau bahkan probabilitas).

Glen_b -Reinstate Monica

@ Glen_b Ini lebih dari sekedar sejarah: ada alasan yang kuat. Mereka adalah karena hubungan intim antara fungsi Beta dan Gamma, mengurangi pertanyaan mengapa eksponen dalam

Γ (s) = \int_{0}^{\infty} t^{s - 1} e^{- t} d t

$\Gamma(s)=\int_0^\infty t^{s-1}e^{-t}dt$ adalah

s - 1

$s-1$ dan bukan

s

$s$ . Itu karena

Γ

$\Gamma$ adalah jumlah Gauss . Ekuivalen, itu adalah "hak" untuk melihat

Γ

$\Gamma$ sebagai integral dari homomorfisma perkalian

t \to t^{s}

$t\to t^s$ kali karakter aditif

t \to e^{- t}

$t\to e^{-t}$ terhadap Haar ukuran

d t / t

$dt/t$ pada perkalian kelompok

R^{\times}

$\mathbb{R}^{\times}$ .

whuber

@wh Itu alasan bagus mengapa fungsi gamma harus dipilih seperti itu (dan saya sudah menyarankan alasan seperti itu ada di atas dan saya menerima beberapa bentuk penalaran yang mirip dengan itu - tetapi tentu dengan formalisme berbeda - datang ke pilihan Euler); alasan-alasan kuat yang sesuai terjadi dengan kepadatan; tapi itu tidak membuktikan bahwa ini sebenarnya alasan untuk memilih (mengapa formulir itu dipilih seperti itu), hanya saja itu alasan yang bagus untuk melakukannya. Bentuk fungsi gamma ...

ctd

ctd ... sendiri bisa dengan mudah menjadi alasan yang cukup untuk memilih bentuk itu untuk kepadatan dan untuk orang lain untuk mengikutinya. [Seringkali pilihan dibuat untuk alasan yang lebih sederhana bahwa yang dapat kita identifikasi sesudahnya dan kemudian sering dibutuhkan alasan kuat untuk melakukan hal lain. Apakah kita tahu bahwa itu mengapa hal itu awalnya dipilih] -? Anda menjelaskan dengan jelas bahwa ada alasan mengapa kita harus memilih kepadatan harus seperti itu, daripada mengapa adalah seperti itu. Itu melibatkan urutan orang membuat pilihan (untuk menggunakannya seperti itu, dan mengikuti), dan alasan mereka pada saat mereka memilih.

Glen_b -Reinstate Monica

Jawaban:

Ini adalah kisah tentang derajat kebebasan dan parameter statistik dan mengapa baik bahwa keduanya memiliki koneksi langsung yang sederhana.

Secara historis, " $-1$ " muncul dalam studi Euler tentang fungsi Beta. Dia menggunakan parameterisasi itu pada 1763, dan begitu juga Adrien-Marie Legendre: penggunaannya membentuk konvensi matematika berikutnya. Karya ini mendahului semua aplikasi statistik yang dikenal.

Teori matematika modern memberikan banyak indikasi, melalui banyak aplikasi dalam analisis, teori bilangan, dan geometri, bahwa istilah " " sebenarnya memiliki beberapa makna. Saya telah membuat sketsa beberapa alasan dalam komentar untuk pertanyaan itu. $-1$

Yang lebih menarik adalah parameterisasi statistik "benar" seharusnya. Itu tidak begitu jelas dan tidak harus sama dengan konvensi matematika. Ada jaringan besar distribusi probabilitas yang umum digunakan, terkenal, dan saling terkait. Dengan demikian, konvensi yang digunakan untuk memberi nama (yaitu, parameterisasi) satu keluarga biasanya menyiratkan konvensi terkait untuk menyebutkan keluarga terkait. Ubah satu parameterisasi dan Anda ingin mengubahnya semuanya. Karena itu kita mungkin melihat hubungan ini sebagai petunjuk.

Hanya sedikit orang yang tidak setuju bahwa keluarga distribusi paling penting berasal dari keluarga Normal. Ingat bahwa variabel acak dikatakan "Biasanya didistribusikan" ketika memiliki kepadatan probabilitas sebanding dengan . Ketika dan , dikatakan memiliki standar $X$ $(X-\mu)/\sigma$ $f(x)$ $\exp(-x^2/2)$ $\sigma=1$ $\mu=0$ $X$ distribusi normal .

Banyak dataset dipelajari menggunakan statistik yang relatif sederhana yang melibatkan kombinasi rasional data dan kekuatan rendah (biasanya kuadrat). Bila data yang dimodelkan sebagai sampel acak dari distribusi normal - sehingga setiap dipandang sebagai realisasi dari variabel normal , semua berbagi distribusi umum, dan independen - distribusi statistik tersebut ditentukan oleh distribusi Normal itu. Yang paling sering muncul dalam praktik adalah $x_1, x_2, \ldots, x_n$ $x_i$ $X_i$ $X_i$

,distribusi Studentdengan "derajat kebebasan." Ini adalah distribusi statistik $t_\nu$ $t$ $\nu = n-1$ manamemodelkan rata-rata data dan
$t = \frac{\bar{X}}{se (X)}$ $t = \frac{\bar X}{\operatorname{se}(X)}$ $\bar X = (X_1 + X_2 + \cdots + X_n)/n$ adalah kesalahan standar rata-rata. Pembagian denganmenunjukkan bahwaharusatau lebih besar, di manaadalah bilangan bulatatau lebih besar. Rumusnya, meskipun tampaknya sedikit rumit, adalah akar kuadrat dari fungsi rasional dari data tingkat dua: itu relatif sederhana. $\operatorname{se}(X) = (1/\sqrt{n})\sqrt{(X_1^2+X_2^2 + \cdots + X_n^2)/(n-1) - \bar X^2}$ $n-1$ $n$ $2$ $\nu$ $1$
,yang (chi-squared) distribusidengan "derajat kebebasan" (df). Ini adalah distribusi jumlah kuadrat darivariabel normal standar independen. Distribusi rata-rata kuadrat dari variabel-variabel ini karena itu akan menjadidistribusi diskalakan oleh : Saya akan merujuk ini sebagaidistribusi"dinormalisasi" . $\chi^2_\nu$ $\chi^2$ $\nu$ $\nu$ $\chi^2$ $1/\nu$ $\chi^2$
,yang distribusi rasio dengan parameter adalah rasio dari dua independen normalisasi distribusi dengan dan derajat kebebasan. $F_{\nu_1, \nu_2}$ $F$ $(\nu_1, \nu_2)$ $\chi^2$ $\nu_1$ $\nu_2$

Perhitungan matematis menunjukkan bahwa ketiga distribusi ini memiliki kepadatan. Yang penting, kepadatan distribusi sebanding dengan integrand dalam definisi integral Euler tentang fungsi Gamma ( ). Mari kita bandingkan mereka: $\chi^2_\nu$ $\Gamma$

f_{χ_{ν}^{2}} (2 x) \propto x^{ν / 2 - 1} e^{- x}; f_{Γ (ν)} (x) \propto x^{ν - 1} e^{- x} .

$f_{\chi^2_\nu}(2x) \propto x^{\nu/2 - 1}e^{-x};\quad f_{\Gamma(\nu)}(x) \propto x^{\nu-1}e^{-x}.$

Ini menunjukkan bahwa dua kali variabel memiliki distribusi Gamma dengan parameter . Faktor setengahnya cukup merepotkan, tetapi mengurangi akan membuat hubungan jauh lebih buruk. Ini sudah memasok jawaban yang menarik untuk pertanyaan: jika kita ingin parameter dari distribusi untuk menghitung jumlah variabel normal kuadrat yang memproduksinya (sampai faktor $\chi^2_\nu$ $\nu/2$ $1$ $\chi^2$ $1/2$ ), maka eksponen dalam fungsi densitas keharusan menjadi kurang dari setengah hitungan itu.

Mengapa faktor kurang merepotkan daripada perbedaan dari ? Alasannya adalah bahwa faktor tersebut akan tetap konsisten ketika kita menambahkan sesuatu. Jika jumlah kuadrat dari Standar normal independen sebanding dengan distribusi Gamma dengan parameter (kali beberapa faktor), maka jumlah kuadrat dari standar normal independen sebanding dengan distribusi Gamma dengan parameter (kali faktor yang sama) , di mana jumlah kuadrat dari semua variabel sebanding dengan distribusi Gamma dengan parameter (masih kali faktor yang sama). $1/2$ $1$ $n$ $n$ $m$ $m$ $n+m$ $m+n$ Fakta bahwa menambahkan parameter yang sangat mirip dengan menambahkan jumlah sangat membantu.

Namun, jika kita harus menghapus " " yang tampak sial dari rumus matematika, hubungan baik ini akan menjadi lebih rumit. Misalnya, jika kita mengubah parameterisasi distribusi Gamma untuk merujuk pada kekuatan aktual dalam rumus, sehingga distribusi akan terkait dengan distribusi "Gamma " (karena kekuatan dalam PDF adalah ), maka jumlah dari tiga distribusi harus disebut "Gamma $-1$ $x$ $\chi^2_1$ $(0)$ $x$ $1-1=0$ $\chi^2_1$ $(2)$ " distribution. In short, the close additive relationship between degrees of freedom and the parameter in Gamma distributions would be lost by removing the $-1$ from the formula and absorbing it in the parameter.

Similarly, the probability function of an $F$ ratio distribution is closely related to Beta distributions. Indeed, when $Y$ has an $F$ ratio distribution, the distribution of $Z=\nu_1 Y/(\nu_1 Y + \nu_2)$ has a Beta $(\nu_1/2, \nu_2/2)$ distribution. Its density function is proportional to

f_{Z} (z) \propto z^{ν_{1} / 2 - 1} (1 - z)^{ν_{2} / 2 - 1} .

$f_Z(z) \propto z^{\nu_1/2 - 1}(1-z)^{\nu_2/2-1}.$

Furthermore--taking these ideas full circle--the square of a Student $t$ distribution with $\nu$ d.f. has an $F$ ratio distribution with parameters $(1,\nu)$ . Once more it is apparent that keeping the conventional parameterization maintains a clear relationship with the underlying counts that contribute to the degrees of freedom.

From a statistical point of view, then, it would be most natural and simplest to use a variation of the conventional mathematical parameterizations of $\Gamma$ and Beta distributions: we should prefer calling a $\Gamma(\alpha)$ distribution a " $\Gamma(2\alpha)$ distribution" and the Beta $(\alpha, \beta)$ distribution ought to be called a "Beta $(2\alpha, 2\beta)$ distribution." In fact, we have already done that: this is precisely why we continue to use the names "Chi-squared" and " $F$ Ratio" distribution instead of "Gamma" and "Beta". Regardless, in no case would we want to remove the " $-1$ " terms that appear in the mathematical formulas for their densities. If we did that, we would lose the direct connection between the parameters in the densities and the data counts with which they are associated: we would always be off by one.

whuber
sumber

Thanks for your answer (I +1d already). I have just a small follow-up question: maybe I'm missing something, but aren't we sacrificing the direct relation with binomial by using the -1 parametrization?

Tim

I'm not sure which "direct relation with binomial" you're referring to, Tim. For instance, when the Beta

(a, b)

$(a,b)$ distribution is used as a conjugate prior for a Binomial sample, clearly the parameters are exactly the right ones to use: you add

a

$a$ (not

a - 1

$a-1$ ) to the number of successes and

b

$b$ (not

b - 1

$b-1$ ) to the number of failures.

whuber

The notation is misleading you. There is a "hidden $-1$ " in your formula $(1)$ , because in $(1)$ , $\alpha$ and $\beta$ must be bigger than $-1$ (the second link you provided in your question says this explicitly). The $\alpha$ 's and $\beta$ 's in the two formulas are not the same parameters; they have different ranges: in $(1)$ , $\alpha,\beta>-1$ , and in $(2)$ , $\alpha,\beta>0$ $\alpha$ $\beta$ $(1)$ $\alpha=-1$ (or less) and $\beta=0$ , then try to integrate the (kernel of the) density between $0$ and $1$ . Equivalently, try the same in $(2)$ for $\alpha=0$ (or less) and $\beta=1$ .

Zen
sumber

The issue of a range of definition for

α

$\alpha$ and

β

$\beta$ seems to go away when the integral is interpreted, as Pochhammer did in 1890, as a specific contour integral. In that case it can be equated to an expression that determines an analytic function for all values of

α

$\alpha$ and

β

$\beta$ --including all complex ones. This throws light on the concern in the question: why exactly has this specific parameterization been adopted, given there are many other possible parameterizations that seem like they might serve equally well?

whuber

To me, the OP's doubt seems to be much more basic. He's kind of confused about the "-1" in (2), but not in (1) (not true, of course). It seems that your comment is answering a different question (much more interesting, by the way).

Zen

Thanks for your effort and answer, but it still does not answer my main concern: why -1 was chosen? Following your logic, basically any value could be chosen changing the arbitrary lower bound to something else. I can't see why -1 or 0 could be better or worse lower bound for parameter values besides the fact that 0 is "aesthetically" nicer bound. On another hand, Beta(0, 0) would be nice "default" for uniform distribution when using the first form. Yes, those are very subjective comments, but that is my main point: are there any non-arbitrary reasons for such choice?

Tim

Zen, I agree there was a question of how to interpret the original post. Thank you, Tim, for your clarifications.

whuber

Hi, Tim! I don't see any definitive reason, although it makes more direct the connection with the fact that for

α, β > 0

$\alpha,\beta>0$ , if

U \sim G a m m a (α, 1)

$U\sim\mathrm{Gamma}(\alpha,1)$ and

V \sim G a m m a (β, 1)

$V\sim\mathrm{Gamma}(\beta,1)$ are independent, then

X = U / (U + V)

$X=U/(U+V)$ is

B e t a (α, β)

$\mathrm{Beta}(\alpha,\beta)$ , and the density of

X

$X$ is proportional to

x^{α - 1} (1 - x)^{β - 1}

$x^{\alpha-1}(1-x)^{\beta-1}$ . But then you can question the parameterization of the gamma distribution...

Zen

For me, the existence of -1 in the exponent is related with the develpment of the Gamma function. The motivation of the Gamma function is to find a smooth curve to connect the points of a factorial $x!$ . Since it is not possible to compute $x!$ directly if $x$ is not integer, the idea was to find a function for any $x \geq 0$ that satisfies the recurrence relation defined by the factorial, namely

$f(1)=1\\ f(x+1)=x \cdot f(x).$

Solution was by means of the convergence of an integral. For the function defined as

$f(x+1) = \displaystyle\int_{0}^{\infty} t^{x}e^{-x} dt,$

integration by parts provides the following:

$\begin{align} f(x+1) & = \displaystyle\int_{0}^{\infty} t^{x}e^{-x} dt \\ & = \Big[-t^{x}e^{-x} \Big]^{\infty}_{0} + \displaystyle\int_{0}^{\infty} x\cdot t^{x-1}e^{-x} dt \\ &= \lim_{x \to \infty} (-t^{x}e^{-x}) - 0 \cdot e^{-0} + x\cdot \displaystyle\int_{0}^{\infty} t^{x-1}e^{-x} dt \\ &= 0 - 0 + x\cdot \displaystyle\int_{0}^{\infty} t^{x-1}e^{-x} dt \\ &= x \cdot f(x) . \end{align}$

So, the function above satisfies this property, and the -1 in the exponent derives from the procedure of integration by parts. See the Wikipedia article https://en.wikipedia.org/wiki/Gamma_function .

Edit: I apologise if my post is not fully clear; I am just trying to point that, in my idea, the existence of -1 in the beta distribution comes from the generalisation of the factorial by means of the Gamma function. There are two conditions: $f(1)=1$ and $f(x+1)=x \cdot f(x)$ . We have $\Gamma(x) = (x-1)!$ , therefore it satisfies $\Gamma(x+1) = x \cdot \Gamma(x) = x \cdot (x-1)! = x!$ . In addition, we have $\Gamma(1) = (1-1)! = 0! = 1$ . As for the beta distribution with parameters $\alpha, \beta$ , generalisation of the Binomial coefficient is $\dfrac{\Gamma(\alpha + \beta)}{\Gamma(\alpha) \cdot \Gamma(\beta)} = \dfrac{(\alpha + \beta - 1)!}{(\alpha-1)! \cdot (\beta-1)!}$ . There we have the -1 in the denominator, for both parameters.

aatr
sumber

This makes no sense because the recurrence function satisfied by the factorial is not what you state:

(x + 1)! \neq x \cdot x! .

$(x+1)! \ne x \cdot x!.$

whuber

The function

f (x)

$f(x)$ satisfying the recurrence relation is the Gamma:

Γ (x + 1) = x \cdot Γ (x)

$\Gamma(x+1) = x \cdot \Gamma(x)$ . This is how it is defined.

aatr

Yes: but your stated motivation is based on the factorial function, not the Gamma.

whuber

It is important to recall the relation between Gamma and factorial:

Γ (x) = (x - 1)!

$\Gamma(x) = (x-1)!$ .

aatr

Unfortunately, that's circular logic: you start off with the factorial, characterize Gamma as interpolating it, and then conclude that's why there's a -1. In fact, your post exhibits the -1 as if it fell out mistakenly by confusing Gamma with the factorial. Few will find that either illuminating or convincing.

whuber