Mengapa f beta menentukan beta seperti itu?

10

Ini adalah skor F beta:

F_{β} = (1 + β^{2}) \cdot \frac{hal r e c saya s saya Hai n \cdot r e c Sebuah l l}{(β^{2} \cdot hal r e c saya s saya Hai n) + r e c Sebuah l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

Artikel Wikipedia menyatakan bahwa . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Saya tidak mendapatkan ide. Mengapa mendefinisikan seperti itu? Dapatkah saya mendefinisikan seperti ini: $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{hal r e c saya s saya Hai n \cdot r e c Sebuah l l}{(β \cdot hal r e c saya s saya Hai n) + r e c Sebuah l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

Dan bagaimana cara menunjukkannya β times as much importance?

machine-learning precision-recall model-evaluation rapi
sumber

2

Lihat jawaban yang lebih baru di bawah ini yang mencakup kalkulus diferensial yang membahas "mengapa Beta kuadrat dan bukan Beta".

javadba

18

Membiarkan menjadi bobot dalam definisi pertama yang Anda berikan dan sebagai bobot dalam definisi kedua, kedua definisi tersebut setara ketika Anda menetapkan , jadi kedua definisi ini hanya mewakili perbedaan notasi dalam definisi skor . Saya telah melihatnya mendefinisikan kedua cara pertama (misalnya pada halaman wikipedia ) dan yang kedua (misalnya di sini ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

Ukuran diperoleh dengan mengambil rata-rata harmonis dari presisi dan mengingat, yaitu kebalikan dari rata-rata kebalikan dari kebalikan dan kebalikan dari penarikan: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Alih-alih menggunakan bobot dalam penyebut yang sama dan menjumlahkan ke 1 ( untuk recall dan untuk presisi), kita dapat menetapkan bobot yang masih berjumlah 1 tetapi untuk yang bobot saat recall adalah kali lebih besar dari bobot pada presisi ( untuk recall dan untuk presisi). Ini menghasilkan definisi kedua Anda dari skor : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Sekali lagi, jika kita menggunakan alih-alih sini, kita akan sampai pada definisi pertama Anda, jadi perbedaan antara kedua definisi tersebut hanya notasi. $\beta^2$ $\beta$

Josliber
sumber

1

mengapa mereka mengalikan dengan istilah presisi alih-alih istilah recall?

β

$\beta$

Anwarvic

1

Kalkulus diferensial yang membahas "mengapa Beta kuadrat dan bukan Beta" dimasukkan dalam jawaban yang lebih baru di bawah ini.

javadba

@Anwarvic Mereka mengalikan dengan recall terbalik . Setelah memperhitungkan dan memperluas dengan ada istilah tersisa

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

user2740

5

Alasan untuk mendefinisikan skor F-beta dengan adalah persis kutipan yang Anda berikan (yaitu ingin melampirkan kali lebih penting untuk diingat sebagai presisi) memberikan definisi khusus untuk apa artinya melampirkan kali lebih penting untuk diingat daripada presisi. $\beta^{2}$ $\beta$ $\beta$

Cara khusus mendefinisikan kepentingan relatif dari dua metrik yang mengarah ke formulasi dapat ditemukan dalam Pengambilan Informasi (Van Rijsbergen, 1979): $\beta^{2}$

Definisi: Kepentingan relatif yang dilampirkan pengguna pada presisi dan penarikan kembali adalah rasio di mana , di mana adalah ukuran efektivitas berdasarkan presisi dan daya ingat. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Motivasi untuk ini:

Cara paling sederhana yang saya tahu untuk mengukur ini adalah dengan menentukan rasio di mana pengguna bersedia untuk memperdagangkan kenaikan dalam presisi untuk kerugian yang sama dalam penarikan. $P/R$

Untuk melihat bahwa mengarah ini ke formulasi kita bisa mulai dengan rumus umum untuk mean harmonik tertimbang dan dan menghitung derivatif parsial mereka sehubungan dengan dan . Sumber yang dikutip penggunaan (untuk "efektivitas mengukur"), yang hanya dan penjelasan setara apakah kita menganggap atau . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Sekarang, pengaturan derivatif sama untuk satu tempat lain pembatasan pada hubungan antara dan rasio . Mengingat bahwa kami ingin melampirkan kali lebih penting untuk dipanggil sebagai presisi, kami akan mempertimbangkan rasio¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Mendefinisikan sebagai rasio ini dan mengatur ulang untuk memberikan bobot dalam hal : $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Kami memperoleh:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Yang dapat diatur ulang untuk memberikan formulir di pertanyaan Anda.

Dengan demikian, diberikan definisi yang dikutip, jika Anda ingin melampirkan kali lebih penting untuk dipanggil sebagai presisi maka formulasi harus digunakan. Interpretasi ini tidak berlaku jika seseorang menggunakan . Penafsiran yang setara, kurang intuitif, dalam hal kita hanya menggunakan adalah bahwa kita ingin melampirkan kali lebih penting untuk diingat sebagai presisi. $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Anda dapat menentukan skor seperti yang Anda sarankan, namun Anda harus menyadari bahwa dalam kasus ini interpretasi yang didiskusikan tidak berlaku lagi atau Anda menyiratkan beberapa definisi lain untuk menghitung trade off antara presisi dan recall.

Catatan kaki:

$P/R$ digunakan dalam Pengambilan Informasi tetapi ini tampaknya salah ketik, lihat The Truth of F- Meas (Saski, 2007).

Referensi:

Seseorang
sumber

1

Ini harus menjadi jawaban yang diterima.

javadba

3

Untuk menunjukkan sesuatu dengan cepat.

Ini berarti bahwa ketika nilai beta meningkat, Anda lebih menghargai presisi.

Saya sebenarnya berpikir sebaliknya - karena lebih tinggi lebih baik dalam penilaian F-β, Anda ingin penyebutnya kecil. Karena itu, jika Anda mengurangi β, maka model tersebut dihukum lebih sedikit karena memiliki skor presisi yang baik. Jika Anda meningkatkan β, maka skor F-β akan dihukum lebih banyak ketika presisi tinggi.

Jika Anda ingin menimbang skor F-β sehingga nilai presisi, β harus 0 <β <1, di mana β-> 0 hanya nilai presisi (pembilangnya menjadi sangat kecil, dan satu-satunya hal dalam penyebut yang diingat, sehingga skor F-β berkurang dengan meningkatnya recall).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

H Froedge
sumber

0

Alasan bahwa β ^ 2 dikalikan dengan presisi hanyalah cara F-Skor didefinisikan. Ini berarti bahwa ketika nilai beta meningkat, Anda lebih menghargai presisi. Jika Anda ingin melipatgandakannya dengan recall yang juga akan berfungsi, itu hanya berarti bahwa ketika nilai beta meningkat Anda lebih menghargai recall.

Mahmoud
sumber

0

Nilai beta lebih besar dari 1 berarti kami ingin model kami lebih memperhatikan model Recall dibandingkan dengan Precision. Di sisi lain, nilai kurang dari 1 lebih menekankan Presisi.

Mohit Sharma
sumber

Mengapa f beta menentukan beta seperti itu?

Jawaban: