LIBSVM – A Library for Support Vector Machines di GNU Octave

By | April 2, 2021
358 Views

SVM di GNU Octave – Algoritma SVM – Support Vector Machine secara luas telah banyak digunakan untuk machine learning karena sangat robust dalam melakukan klasifikasi non linear sesuai dengan jenis kernel yang digunakan tentunya.

Pembahasan mengenai SVM telah saya tuliskan di website ini baik itungan manual ataupun menggunakan library khsusus. Bagi pengguna Matlab untuk SVM sudah ada secara built in, tapi terkait lisensi Matlab yang cukup mahal (harga sekitar 30 jutaan) maka pilihan untuk membeli lisensi untuk penggunaan pribadi cukup memberatkan sehingga banyak penggunan mencoba untuk beralih menggunakan GNU Octave.

Nah kalian yang pengguna GNU Octave, untuk Library SVM di GNU Octave bisa kalian peroleh disini yaitu LIBSVM — A Library for Support Vector Machines. Berita baiknya bagi penggunan Octave bisa menggunakan library tersebut, caranya sangat mudah koq, kalian download saja disini

Kompilasi source code menjadi mex

Kode LIBSVM — A Library for Support Vector Machines yang ada digithub tersebut ditulis menggunakan bahasa C sehingga kita akan melakukan kompilasi menjadi *.mex.

Didalam github tersebut ada folder matlab

Diatas ada file dengan nama make.m yang berguna untuk melakukan kompilasi dari *.c menjadi *.mex; Caranya sangat mudah setelah kalian download semua kodenya, misalkan saja saya letakan di E:\svm\libsvm-master\matlab

Kalian buka GNU Octave dan arahkan work directory nya sesuai dengan alamat diatas. Pastikan sudah betul pwd nya

>> pwd
ans = E:\svm\libsvm-master\matlab
>>

Langsung saja ketikan make pada command window untuk melakukan kompilasi LIBSVM — A Library for Support Vector Machines di GNU Octave. Kalian bisa cek file *.mex yang terbentuk

Untuk memastikan bahwa SVM bekerja dengan baik, maka gunakan perintah berikut pada command window

svmtrain

Bila menghasilkan output berikut

>> svmtrain
Usage: model = svmtrain(training_label_vector, training_instance_matrix, 'libsvm_options');
libsvm_options:
-s svm_type : set type of SVM (default 0)
        0 -- C-SVC              (multi-class classification)
        1 -- nu-SVC             (multi-class classification)
        2 -- one-class SVM
        3 -- epsilon-SVR        (regression)
        4 -- nu-SVR             (regression)
-t kernel_type : set type of kernel function (default 2)
        0 -- linear: u'*v
        1 -- polynomial: (gamma*u'*v + coef0)^degree
        2 -- radial basis function: exp(-gamma*|u-v|^2)
        3 -- sigmoid: tanh(gamma*u'*v + coef0)
        4 -- precomputed kernel (kernel values in training_instance_matrix)
-d degree : set degree in kernel function (default 3)
-g gamma : set gamma in kernel function (default 1/num_features)
-r coef0 : set coef0 in kernel function (default 0)
-c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1)
-n nu : set the parameter nu of nu-SVC, one-class SVM, and nu-SVR (default 0.5)
-p epsilon : set the epsilon in loss function of epsilon-SVR (default 0.1)
-m cachesize : set cache memory size in MB (default 100)
-e epsilon : set tolerance of termination criterion (default 0.001)
-h shrinking : whether to use the shrinking heuristics, 0 or 1 (default 1)
-b probability_estimates : whether to train a SVC or SVR model for probability estimates, 0 or 1
(default 0)
-wi weight : set the parameter C of class i to weight*C, for C-SVC (default 1)
-v n: n-fold cross validation mode
-q : quiet mode

Selamat, maka kalian telah berhasil melakukan kompilasi, jangan lupa biar bisa dipanggil secara global, kalian harus addpath(), sesuai dengan lokasi diatas, cukup ketikan berikut

addpath(pwd())

Kita cek, apakah sudah berhasil di addpath(), gunakan perintah berikut

path()

hasilnya sebagai berikut, kalian bisa melihat pada baris 2 telah dimasukan kedalam global function

.
E:\svm\libsvm-master\matlab
C:\Octave\OCTAVE~1.0\mingw64\lib\octave\5.1.0\site\oct\x86_64-w64-mingw32
C:\Octave\OCTAVE~1.0\mingw64\lib\octave\site\oct\api-v53\x86_64-w64-mingw32
C:\Octave\OCTAVE~1.0\mingw64\lib\octave\site\oct\x86_64-w64-mingw32
C:\Octave\OCTAVE~1.0\mingw64\share\octave\5.1.0\site\m
C:\Octave\OCTAVE~1.0\mingw64\share\octave\site\api-v53

Nah sekarang LIBSVM – A Library for Support Vector Machines telah siap digunakan di Octave. Cara penggunaanya bagaimana? Kalian bisa baca ini

Misalkan kita akan melakukan klasifikasi biner XOR dengan kernel radial

label =[-1;1;1;-1];
mat = [1,1; 1,0; 0,1; 0,0];
model = svmtrain(mat,label,'-t 2')

hasilnya

model =

  scalar structure containing the fields:

    Parameters =

       0
       2
       3
       1
       0

    nr_class =  2
    totalSV =  4
    rho = 0
    Label =

       1
       0

    sv_indices =

       1
       2
       3
       4

    ProbA = [](0x0)
    ProbB = [](0x0)
    nSV =

       2
       2

    sv_coef =

       1
       1
      -1
      -1

    SVs =

Compressed Column Sparse (rows = 4, cols = 1, nnz = 4 [100%])

  (1, 1) -> -1
  (2, 1) ->  1
  (3, 1) ->  1
  (4, 1) -> -1

SVM berhasil melakukan klasifikasi XOR, namun ketika dilakukan SVMPredict hasilnya kurang memuaskan! Terpaksa saya menggunakan https://upscfever.com/upsc-fever/en/data/en-exercises-21.html saja nampaknya akan lebih bagus.

Saya akan test menggunakan logika XOR karena sifatnya non linear

clc;clear all;close all;
#logika boolean XOR

X = [1,1; 1,0; 0,1; 0,0]
y = [1;0;0;1];

figure,
scatter(X(y==1,1),X(y==1,2),500,'fill');
hold on;
scatter(X(y==-1,1),X(y==-1,2),500,'fill');
hold off;


C = 1;
model = svmTrain(X, y, C, @gaussianKernel, 1e-3, 20)

prediksi = svmPredict(model,X)

hasil

>> model
model =

  scalar structure containing the fields:

    X =

       1   1
       1   0
       0   1
       0   0

    y =

       1
      -1
      -1
       1

    kernelFunction = @gaussianKernel
    b =  0.00097656
    alphas =

       1
       1
       1
       1

    w =

       0
       0

Prediksi Sip OK

>> prediksi
prediksi =

   1
   0
   0
   1

Lebih lanjut, kalian baca saja disini

Leave a Reply

Your email address will not be published.




Enter Captcha Here :