Bagaimana Data Engineer Mengelola Dataset? Tulisan ini berdasarkan pengalaman kami dalam menangani beberapa dataset yang berukuran sangat besar sehingga butuh mekanisme khsusus agar pada data engineer dapat bekerja lebih efisien. Dataset adalah kumpulan data yang mempunyai properties yang seragam. Dataset mempunyai banyak bentuk seperti file CSV, Gambar, atau dalam Database. Didalam dataset terdiri dari banyak record / jumlah data yang biasa terdiri dari ratusan / ribuan. Dataset ada yang sudah jadi dalam bentuk angka tabel ataupun harus mengolah terlebih dahulu.