Fungsi Cross-Entropy Loss

Table of Contents

Pemodelan Regresi Logistik - This article is part of a series.

Part 1: Pendahuluan

Part 2: Dasar-Dasar Regresi Logistik

Part 3: Implementasi Regresi Logistik menggunakan Python

Part 4: This Article

Part 5: Evaluasi Model

Part 6: Studi Kasus: Prediksi Diabetes menggunakan Regresi Logistik

Part 7: Ringkasan

Part 8: Quiz

Part 9: Tugas Programming

Fungsi loss pada Regresi Logistik adalah fungsi yang digunakan untuk mengukur sejauh mana prediksi model menyimpand dari nilai sebenarnya pada data pelatihan. Tujuan utama dalam pelatihan model adalah untuk meminimalkan nilai fungsi loss, sehingga model dapat membuat prediksi yang lebih akurat.

A. Definisi Cross-Entropy Loss
#

Fungsi loss yang umum digunakan untuk Regresi Logistik adalah Log Loss, juga dikenal sebagai Cross-Entropy Loss atau Binary Cross-Entropy Loss. Fungsi ini cocok untuk masalah klasifikasi biner. Untuk setiap sampel pada dataset pelatihan, Log Loss dihitung sebagai berikut:

$$L = -\frac{1}{N} \sum_{i=1}^{N}[y_i log(p_i) + (1-y_i)log(1-p_i)]$$

dimana:

$N$ adalah jumlah sampel pada dataset pelatihan.
$y_i$ adalah label aktual untuk sampel ke-$i$ (bernilai 0 atau 1).
$p_i$ adalah probabilitas prediksi model bahwa sampel ke-$i$ termasuk dalam kelas positif.

B. Interpretasi Cross-Entropy Loss
#

Interpretasi dari Cross-Entropy Loss pada Regresi Logistik dapat dicontohkan dengan melibatkan dua kasus utama: ketika label sebenarnya ($y_i$) adalah 1 (kelas positif) dan ketika label sebenarnya adalah 0 (kelas negatif). Mari kita bahas kedua kasus tersebut secara terpisah:

Kasus 1: $y_i=1$

Jika label sebenarnya ($y_i$) adalah 1, maka kontribusi terhadap Cross-Entropy Loss berasal dari suku $log(p_i)$ dimana $p_i$ adalah probabilitas prediksi model bahwa sampel ke-$i$termasuk dalam kelas positif.

Pada kasus ini, meminimalkan $L$ berarti meminimalkan $log(p_i)$. Meminimalkan $log(p_i)$ berarti memaksimalkan $p_i$ karena semakin kecil nilai $log(p_i)$ maka nilai $p_i$ akan semakin besar.

Kasus 2: $y_i=0$

Jika label sebenarnya ($y_i$) adalah 0, maka kontribusi terhadap Cross-Entropy Loss berasal dari suku $p_i$ adalah probabilitas prediksi model bahwa sampel termasuk dalam kelas positif.

Pada kasus ini, meminimalkan $L$ berarti meminimalkan $log(1-p_i)$. Meminimalkan $log(1-p_i)$ berarti memaksimalkan $1-p_i$. Memaksimalkan $1-p_i$ berarti meminimalkan $p_i$ karena semakin besar nilai $log(1-p_i)$ maka nilai $p_i$ akan semakin kecil.

Kesimpulan:

Dengan memperhatikan kasus-kasus tersebut, tujuan selama pelatihan model adalah untuk mengoptimalkan parameter sehingga nilai Cross-Entropy Loss secara keseluruhan di dataset pelatihan diminimalkan. Dengan kata lain, model berusaha untuk meningkatkan probabilitas prediksi ($p_i$) untuk sampel-sampel yang benar-benar milik kelas positif dan menurunkan probabilitas prediksi ($p_i$) untuk sampel-sampel yang sebenarnya milik kelas negatif.

Dengan demikian, interpretasi Cross-Entropy Loss pada Regresi Logistik dapat diartikan sebagai ukuran seberapa baik model mendekati distribusi sebenarnya dari kelas-kelas yang diamati pada dataset pelatihan. Semakin kecil nilai Cross-Entropy Loss, semakin baik model berkinerja dalam memprediksi kelas-kelas target pada data pelatihan.