Corner Detection - Softscients

903 Views

Corner Detection – merupakan algoritma morfologi sering kita temui implementasinya pada aplikasi scanner untuk deteksi ujung dari sebuah dokumen. Corner detection berfungsi untuk perhitungan operasi deskewing karena user dalam melakukan capture gambar tidak tegak lurus. Pada pembahasan sebelumnya kita telah menerapkan deteksi lokasi koordinat gambar dengan mouse.

Tahap selanjutya kita diberikan demo cara menggunakan click mouse untuk mendapatkan nilai pixel serta sedikit operasi deskewing tapi ada sedikit kendala yaitu menentukan ke 4 titik lokasi dokumen dilakukan secara manual, oleh sebab itu kita akan bahas mengenai corner detection

Homografi

Gambar digital suatu objek dapat dipahami sebagai contoh persepsi objek yang diproyeksikan pada bidang kamera. Sebuah objek dapat dirasakan dengan cara yang berbeda sehubungan dengan orientasi kamera. Misalnya, proyeksi (gambar) yang kita peroleh ketika bidang kamera dan objek ditempatkan sejajar satu sama lain berbeda dari proyeksi yang kita peroleh ketika ditempatkan miring. Pada dasarnya, proyeksi yang berbeda (pada bidang yang sama) dapat dipertukarkan. Homografi adalah konsep yang dapat membantu kita untuk melakukan reverse-membalikan operasi tersebut.

Secara formal, Homografi (atau kadang-kadang collineation) adalah pemetaan dari sebuah objek ke dirinya sendiri sedemikian rupa sehingga collinearity dari setiap set titik dipertahankan. Pemetaan homografi H antara dua titik x dan x` dapat direpresentasikan sebagai:

$\begin{pmatrix} x'_1\\ x'_2\\ x'_3\\ \end{pmatrix} = \begin{pmatrix} h_{11} & h_{12} & h_{13}\\ h_{21} & h_{22} & h_{23}\\ h_{31} & h_{32} & h_{33}\\ \end{pmatrix} \cdot \begin{pmatrix} x_1\\ x_2\\ x_3\\ \end{pmatrix}$

Pada pembahasan dibawah ini hanya sampai pada corner detection, adapun untuk deskewing nanti dibahas tersendiri

Algoritma corner detection Shi-Tomashi

Shi-Tomashi algorithm to detect corners – yang cukup robust digunakan dan yang lebih happy adalah telah diimplementasikan di OpenCV! jadi kita tidak usah repot buat algoritma untuk digunakan pada aplikasi. Pembahasan akan dibuat bertingkat yaitu menggunakan gambar yang bagus tidak ada noise dan selanjutnya menggunakan pre prosessing operasi morfologi. Perhatikan gambar berikut

Penerapan corner detection seperti berikut

Kode yang digunakan untuk corner detection sebagai berikut, perhatikan perintah corners = cv2.goodFeaturesToTrack(gray, 4, 0.01, 100)

import cv2
import numpy as np
from matplotlib import pyplot as plt
def shi_tomashi(image):
    """
    Use Shi-Tomashi algorithm to detect corners
    Args:
        image: np.array
    Returns:
        corners: list
    """
    gray = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
    corners = cv2.goodFeaturesToTrack(gray, 4, 0.01, 100)
    corners = np.int0(corners)
    corners = sorted(np.concatenate(corners).tolist())
    print('\nLokasi corner...\n')

    im = image.copy()
    for index, c in enumerate(corners):
        x, y = c
        cv2.circle(im, (x, y), 3, 255, -1)
        character = chr(65 + index)
        print(character, ':', c)
        cv2.putText(im, character, tuple(c), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 5, cv2.LINE_AA)

    plt.imshow(im)
    plt.title('Corner Detection: Shi-Tomashi')
    plt.show()
    return corners

image = cv2.imread('corner2.png')
shi_tomashi(image)

hasilnya

Lokasi corner...

A : [160, 336]
B : [422, 492]
C : [459, 88]
D : [817, 220]

Algoritma corner detection approx PolyDP

Pada pembahasan diatas, gambarnya sangat bagus alias mulustrasi tidak perlu diterapkan operasi njlimet tapi apa iya kita akan sering temui hal diatas pada real application? tentu tidak bukan? pasti akan ada banyak sekali noise seperti cahaya tidak merata, objek bergabung dengan lainnya. Operasi thresholding dan morfologi sangat berperan dalam hasil nantinya. Perhatikan gambar berikut (selain pakai OpenCV, saat ini banyak koq tersedia SDK siap pakai khusus untuk menangani kasus-kasus seperti ini)

beruntungnya kita, karena sebagian besar dokumen saat ini banyak tersedia selalu berwarna putih akan sangat jarang kita temui dokumen berwarna hitam. Operasi pre processing akan kita terapkan seperti bluring agar semakin homogen pixelnya serta BW dengan otsu

image = cv2.imread('4. corner detection.png')
gray = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
kernel = np.ones((5, 5), np.float32) / 15
filtered = cv2.filter2D(gray, -1, kernel)

plt.imshow(cv2.cvtColor(filtered, cv2.COLOR_BGR2RGB))
plt.title('Filtered Image')
plt.show()

ret, thresh = cv2.threshold(filtered, 250, 255, cv2.THRESH_OTSU)
plt.imshow(cv2.cvtColor(thresh, cv2.COLOR_BGR2RGB))
plt.title('OTSU threshold')
plt.show()

Langkah selanjutnya adalah deteksi objek yang berukuran besar! di Matlab menggunakan operasi blob kalau di OpenCV dikenal dengan istilah contour.

Perintah untuk mencari contour contours, hierarchy = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)
sedangkan untuk mencari objek besar menggunakan perintah cnt = sorted(contours, key=cv2.contourArea, reverse=True)[0]

image_shape = thresh.shape
canvas = np.zeros(image_shape, np.uint8)
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)
cnt = sorted(contours, key=cv2.contourArea, reverse=True)[0]
cv2.drawContours(canvas, cnt, -1, (255, 255, 255), 3)
plt.title('Contour Terbesar')
plt.imshow(canvas,cmap='gray')
plt.show()

Homografi

Algoritma corner detection Shi-Tomashi

Algoritma corner detection approx PolyDP

Leave a Reply Cancel reply