Membersihkan dataset adalah proses memeriksa dan memperbaiki data mentah agar akurat, konsisten, dan siap dianalisis. Analisis secanggih apa pun menghasilkan kesimpulan keliru bila datanya kotor, sehingga pembersihan sering memakan porsi waktu terbesar dalam pekerjaan data.
Langkah-langkah
- Simpan salinan data mentah. Jangan menimpa berkas asli.
- Kenali data. Jumlah baris dan kolom, arti tiap kolom, tipe data, dan sumbernya.
- Periksa nilai kosong. Seberapa banyak dan di kolom mana; putuskan apakah diisi, dihapus, atau dibiarkan.
- Periksa duplikat. Tentukan apa yang membuat dua baris dianggap sama.
- Perbaiki tipe data. Tanggal sebagai tanggal, angka sebagai angka.
- Seragamkan penulisan. Huruf besar kecil, singkatan, ejaan, dan satuan.
- Periksa pencilan. Nilai yang sangat jauh dari lainnya; apakah salah catat atau memang nyata?
- Validasi. Periksa rentang yang wajar dan konsistensi antar kolom.
- Dokumentasikan keputusan.
Masalah umum dan penanganannya
| Masalah | Contoh | Penanganan |
|---|---|---|
| Nilai kosong | Alamat surel tidak diisi | Isi bila bisa diverifikasi, tandai "tidak diketahui", atau keluarkan dari analisis tertentu |
| Duplikat | Pelanggan tercatat dua kali | Gabungkan atau hapus berdasarkan kunci yang jelas |
| Format campur | Tanggal 05/10/2026 dan 2026-10-05 | Ubah ke satu format |
| Ejaan berbeda | "Jakarta", "jkt", "DKI Jakarta" | Buat tabel acuan |
| Angka tersimpan sebagai teks | "1.500.000" | Ubah ke angka |
| Pencilan | Penjualan 1000 kali lipat | Periksa sumbernya |
Prinsip penting
- Jangan membuang data tanpa alasan. Pencilan bisa jadi informasi.
- Konsisten. Aturan yang sama diterapkan pada seluruh data.
- Dapat diulang. Simpan langkah dalam skrip, kueri, atau catatan sehingga bisa dijalankan pada data baru.
Alat
Spreadsheet cukup untuk data kecil (cara membersihkan data Excel). Untuk data besar atau berulang, gunakan alat transformasi data atau bahasa pemrograman analisis. Pembersihan merupakan fondasi, yaitu hasil akhir hanya sebaik data awalnya. Pegangannya ialah salin, catat, dan seragamkan. Valtef membangun alat pengolahan data yang berulang; ceritakan kebutuhan Anda.
Pertanyaan yang sering diajukan
Berapa persen nilai kosong yang masih wajar?
Tidak ada angka baku; tergantung kolom dan tujuan analisis.
Apakah pencilan selalu dihapus?
Tidak; selidiki dulu.
Bagaimana membersihkan data yang terus bertambah?
Otomatiskan langkah pembersihan agar konsisten.
