Fungsi Rekursif untuk Crawler Link Website dan Set Recursion Limit

sys.setrecursionlimit() adalah sebuah fungsi dalam bahasa pemrograman Python yang digunakan untuk mengatur batas kedalaman rekursi saat menggunakan rekursi dalam program. Rekursi adalah sebuah teknik di mana sebuah fungsi memanggil dirinya sendiri secara berulang untuk menyelesaikan tugas tertentu. Fungsi ini biasanya digunakan untuk menghindari terjadinya error “RecursionError: maximum recursion depth exceeded”, yang terjadi ketika rekursi berlanjut terlalu dalam hingga mencapai batas yang telah ditetapkan.

Fungsi sys.setrecursionlimit() menerima satu parameter, yaitu integer yang menentukan jumlah maksimum panggilan rekursif yang diizinkan sebelum Python menghasilkan error. Tetapi, perlu diingat bahwa mengatur nilai terlalu tinggi juga bisa berisiko karena bisa menyebabkan program mengalami kelebihan penggunaan memori atau bahkan menimbulkan kegagalan program dengan cara yang tidak terduga. Oleh karena itu, pengaturan batas rekursi sebaiknya dilakukan dengan hati-hati dan disesuaikan dengan kebutuhan spesifik dari program yang sedang dibuat.

Penggunaan Fungsi Rekursif untuk Crawler Link Website

Berikut adalah contoh fungsi rekursif dalam Python untuk menelusuri (crawling) link di sebuah website menggunakan modul requests dan BeautifulSoup. Fungsi ini akan mengunjungi setiap halaman web dan mengekstrak semua tautan yang ditemukan. Anda perlu menginstal modul tersebut terlebih dahulu jika belum terinstal dengan menjalankan pip install requests beautifulsoup4

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

def crawl_links(url, visited=None):
    if visited is None:
        visited = set()

    # Memeriksa apakah URL sudah dikunjungi sebelumnya
    if url in visited:
        return
    visited.add(url)

    try:
        response = requests.get(url)
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, 'html.parser')

            # Mencetak URL halaman saat ini
            print("Visiting:", url)

            # Ekstrak dan cetak semua tautan di halaman saat ini
            for link in soup.find_all('a', href=True):
                next_link = urljoin(url, link['href'])
                print("Found link:", next_link)
                crawl_links(next_link, visited)  # Rekursif ke tautan berikutnya
    except Exception as e:
        print("Error:", e)

# Contoh pemanggilan fungsi dengan URL awal
crawl_links('https://www.example.com')

Cara kerja

Dalam kode di atas:

• crawl_links() adalah fungsi rekursif yang mengunjungi setiap halaman web dan mengekstrak semua tautan yang ditemukan.
• Setiap URL yang dikunjungi disimpan dalam set visited untuk memastikan tidak ada pengulangan.
• Fungsi akan menghentikan rekursi jika sebuah halaman tidak dapat diakses atau mengalami kesalahan lainnya.
• Modul requests digunakan untuk melakukan permintaan HTTP untuk mengakses halaman web.
• Modul BeautifulSoup digunakan untuk mengekstrak tautan dari halaman HTML.
• Fungsi urljoin() digunakan untuk membangun URL lengkap dari tautan relatif yang ditemukan di halaman web.

SWAP RAM habis out of memory

Penggunaan ulimit berguna untuk mengontrol dan membatasi penggunaan sumber daya oleh proses-proses yang berjalan di sistem, sehingga dapat membantu dalam menghindari situasi di mana proses-proses mengonsumsi terlalu banyak sumber daya sistem, yang dapat menyebabkan sistem menjadi tidak responsif atau bahkan kehabisan sumber daya.

Contoh penggunaan ulimit antara lain:

• Mengatur batasan jumlah file yang dapat dibuka oleh suatu proses.
• Mengatur batasan jumlah memori yang dapat digunakan oleh suatu proses.
• Mengatur batasan jumlah proses yang dapat dibuat oleh suatu pengguna atau grup.

Pengaturan ulimit biasanya dilakukan melalui terminal atau dengan mengedit berkas konfigurasi sistem. Perintah ulimit juga dapat digunakan untuk menampilkan batasan-batasan yang telah ditetapkan.

Perintah Ulimit bukan untuk menaikan RAM

ulimit -s

8192