Menerapkan Perhitungan Confusion Matrix dalam Evaluasi Kinerja Model

3,559 Views

Dalam dunia data science dan machine learning, evaluasi kinerja model adalah langkah krusial untuk memahami sejauh mana model kita dapat melakukan prediksi dengan akurat. Salah satu alat penting dalam evaluasi ini adalah confusion matrix. Artikel ini akan membahas secara mendalam konsep perhitungan confusion matrix, serta bagaimana menginterpretasikan hasilnya untuk memahami keberhasilan dan kegagalan model.

Confusion matrix merupakan salah satu metode yang dapat digunakan untuk mengukur kinerja suatu metode klasifikasi. Pada dasarnya confusion matrix mengandung informasi yang membandingkan hasil klasifikasi yang dilakukan oleh sistem dengan hasil klasifikasi yang seharusnya

Apa itu Confusion Matrix?

Confusion matrix adalah tabel yang digunakan untuk mengevaluasi kinerja suatu model klasifikasi. Tabel ini membandingkan prediksi model dengan nilai sebenarnya dari data yang diuji. Confusion matrix terdiri dari empat elemen utama: True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN).

TN : merupakan data negatif yang terdeteksi dengan benar
FP : merupakan data negatif namun terdeteksi sebagai data positif
TP: merupakan data positif terdeteksi benar
FN :merupakan data positif terdeteksi sebagai data negatif

Sehingga jumlah

TN = 0

FP =2

FN = 1

TP = 1

Formula untuk Menghitung Metrik Evaluasi dari Confusion Matrix:

Akurasi (Accuracy):

Akurasi adalah metrik yang mengukur sejauh mana model klasifikasi dapat memprediksi dengan benar seluruh kategori

$accuracy = \frac{TP+TN}{TP+TN+FP+FN}$

Akurasi memberikan gambaran umum tentang kinerja model, tetapi bisa menjadi tidak representatif jika kelas target tidak seimbang.

Presisi (Precision):

Presisi mengukur sejauh mana prediksi positif model itu benar

$precision = \frac{TP}{TP+FP}$

Presisi berguna ketika fokus pada pengurangan false positive dan penting dalam situasi di mana konsekuensi false positive tinggi

Recall (Sensitivitas atau True Positive Rate):

Recall mengukur sejauh mana model dapat mengidentifikasi semua instance positif yang sebenarnya

$recal = \frac{TP}{TP+FN}$

Recall penting dalam situasi di mana konsekuensi false negative tinggi, seperti pada deteksi penyakit atau kejadian langka

Specificity (True Negative Rate):

Specificity mengukur sejauh mana model dapat mengidentifikasi semua instance negatif yang sebenarnya.

$specifity =\frac{TN}{TN+FP}$

Specificity memberikan informasi tentang sejauh mana model dapat meminimalkan false positive pada kelas negatif.

F1 Score:

F1 Score adalah metrik yang menggabungkan presisi dan recall dalam satu skor tunggal. Ini memberikan keseimbangan antara kedua metrik dan bermanfaat ketika kelas target tidak seimbang

$F1 score = 2 * (\frac{precision*recall}{precision + recall})$

F1 Score berguna ketika perlu mencari keseimbangan antara mengidentifikasi semua instance positif dan meminimalkan false positives.

cara paling mudah Perhitungan Confusion Matrix dalam Evaluasi Kinerja Model, kita bisa menggunakan library berikut

import numpy as np
from sklearn.metrics import (
    confusion_matrix,
    accuracy_score,
    precision_score,
    recall_score,
    f1_score
)

target = np.array([0,1,0,1])
prediksi = np.array([1,1,1,0])



accuracy = accuracy_score(target,prediksi)
precision = precision_score(target,prediksi)
recall = recall_score(target,prediksi)
f1 = f1_score(target,prediksi)

hasil = {'accuracy':accuracy,'precision':precision,'recall':recall,'f1':f1}

hasil

{'accuracy': 0.25, 
'precision': 0.3333333333333333,
 'recall': 0.5, 
'f1': 0.4}

Referensi: