seokita.id

SEO teknis, riset keyword, on-page optimization untuk pasar Indonesia

Crawl Budget: Cara Audit & Optimalkan untuk Situs Indonesia

by Bayu Wicaksono
Crawl Budget: Cara Audit & Optimalkan untuk Situs Indonesia

Halaman Penting Anda Tidak Terindeks? Ini Penyebabnya

Banyak pemilik bisnis fokus membuat konten baru setiap minggu, tapi tidak sadar bahwa Googlebot bahkan tidak sempat merayapi separuh halaman di situs mereka. Hasilnya? Halaman produk, artikel blog, atau landing page yang sudah susah payah dibuat tidak pernah muncul di hasil pencarian.

Penyebabnya sering satu: crawl budget yang tidak dikelola.

Crawl budget adalah jumlah halaman yang bersedia di-crawl Googlebot di situs Anda dalam periode tertentu. Situs dengan ribuan URL sampah—redirect berantai, parameter URL duplikat, halaman filter e-commerce—menghabiskan jatah crawl untuk hal-hal yang tidak perlu diindeks. Halaman yang benar-benar penting justru antri panjang.

Ini bukan teori. Google sendiri mendokumentasikan konsep ini di Search Central, dan efeknya nyata terutama untuk situs dengan lebih dari 1.000 halaman atau situs e-commerce yang punya fitur filter dan sorting.

Kenapa Crawl Budget Kritis untuk Bisnis di Indonesia

Situs e-commerce lokal, marketplace vertikal, dan portal berita Indonesia punya karakteristik yang membuat crawl budget sangat rentan terbuang sia-sia:

1. URL parameter dari fitur filter Situs toko online dengan filter warna, ukuran, harga, dan sorting menghasilkan ratusan hingga ribuan kombinasi URL. Contoh nyata: tokobaju.com/kaos?warna=merah&ukuran=L&sort=harga_asc. Setiap kombinasi dianggap URL unik oleh crawler.

2. Halaman paginasi yang dalam Kategori produk dengan 50+ halaman paginasi (/kategori/sepatu?page=47) jarang punya nilai SEO, tapi tetap di-crawl dan menguras budget.

3. Duplikat konten dari subdomain atau versi HTTP/HTTPS Masih banyak situs Indonesia yang belum tuntas migrasi HTTPS, atau punya versi www dan non-www yang sama-sama bisa diakses tanpa canonical yang tepat.

4. Situs yang lambat Googlebot menyesuaikan kecepatan crawl dengan performa server. Situs yang response time-nya di atas 2 detik akan di-crawl lebih jarang—ini yang disebut crawl rate limit. Jika Anda mengalami masalah kecepatan server, caching plugin WordPress bisa menjadi solusi awal yang efektif.

Jika bisnis Anda masuk salah satu kategori di atas, audit crawl budget adalah prioritas yang tidak bisa ditunda.

Cara Audit Crawl Budget: Checklist 7 Langkah

Berikut langkah audit yang bisa Anda eksekusi minggu ini. Anda butuh akses ke Google Search Console (GSC), Screaming Frog (versi gratis cukup untuk situs di bawah 500 URL), dan Google Analytics.

✅ Langkah 1: Cek Crawl Stats di Google Search Console

Masuk ke GSC → pilih properti → Settings → Crawl stats. Lihat tiga metrik utama:

  • Total crawl requests: berapa banyak URL yang di-crawl dalam 90 hari terakhir
  • Total download size: bandwidth yang digunakan Googlebot
  • Average response time: jika di atas 500ms, ini sinyal masalah server

Perhatikan grafik harian. Lonjakan crawl tiba-tiba biasanya tanda ada URL baru yang tidak terkontrol (misalnya parameter baru dari fitur promo).

✅ Langkah 2: Identifikasi URL yang Tidak Perlu Di-crawl

Gunakan Screaming Frog untuk crawl situs Anda sendiri. Export semua URL, lalu filter berdasarkan:

  • URL dengan parameter (?, &)
  • URL dengan /page/, /p/, ?page=
  • URL dengan status 301, 302 (redirect)
  • URL dengan status 404
  • URL duplikat (konten identik, URL berbeda)

Buat spreadsheet. Kolom: URL, status code, apakah ada di sitemap, apakah perlu diindeks (Ya/Tidak).

✅ Langkah 3: Blokir URL Sampah via robots.txt

Setelah identifikasi, blokir URL yang tidak perlu di-crawl menggunakan robots.txt. Contoh untuk situs e-commerce:

User-agent: *
Disallow: /search?
Disallow: /filter?
Disallow: /sort?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/

Penting: robots.txt mencegah crawling, bukan indexing. Jika halaman sudah terlanjur terindeks dan ingin dihapus dari index, gunakan tag noindex atau Google Search Console URL Removal Tool.

✅ Langkah 4: Konsolidasi Duplicate URL dengan Canonical

Untuk URL parameter yang tidak bisa diblokir sepenuhnya (misalnya karena alasan UX), tambahkan tag canonical yang menunjuk ke URL utama:

<link rel="canonical" href="https://tokobaju.com/kaos" />

Pasang canonical ini di semua varian URL parameter. Ini memberi sinyal ke Google bahwa hanya satu URL yang perlu diindeks, meskipun Googlebot tetap bisa mengunjungi variannya.

✅ Langkah 5: Audit dan Bersihkan Sitemap XML

Sitemap adalah "daftar undangan" untuk Googlebot. Pastikan sitemap Anda hanya berisi:

  • Halaman yang benar-benar ingin Anda indeks
  • URL dengan status 200 (bukan redirect atau 404)
  • Tidak ada URL yang sudah di-noindex

Cek sitemap Anda di GSC → Sitemaps. Jika ada error atau URL yang ditolak, perbaiki sebelum lanjut.

Tool gratis untuk validasi sitemap: XML Sitemap Validator (xmlsitemaps.com) atau langsung lewat GSC.

✅ Langkah 6: Perbaiki Rantai Redirect

Setiap redirect membutuhkan crawl request tambahan. Redirect berantai (A → B → C) tiga kali lebih boros. Gunakan Screaming Frog untuk menemukan redirect chain: Reports → Redirect Chains.

Target: semua redirect langsung dari URL lama ke URL final (A → C), tanpa perantara.

✅ Langkah 7: Tingkatkan Kecepatan Server

Crawl rate Googlebot naik otomatis jika server Anda responsif. Cek response time dengan:

  • Google Search Console → Crawl Stats → Average response time
  • GTmetrix atau PageSpeed Insights untuk Time to First Byte (TTFB)

Target TTFB di bawah 200ms. Jika pakai shared hosting dan TTFB di atas 800ms, pertimbangkan pindah ke VPS atau mengaktifkan CDN (Cloudflare gratis sudah cukup untuk permulaan).

Contoh Nyata: Situs E-commerce 8.000 Halaman

Klien saya di niche fashion lokal punya situs dengan sekitar 8.000 URL yang ter-crawl. Setelah audit, ditemukan:

  • 3.200 URL adalah kombinasi filter (warna × ukuran × sorting)
  • 800 URL adalah halaman paginasi di atas /page/10
  • 400 URL redirect 301 yang belum dikonsolidasi
  • 200 URL dengan status 404 yang masih ada di sitemap

Total URL yang benar-benar perlu diindeks: sekitar 2.400.

Tindakan yang diambil:

  1. Blokir semua URL filter via robots.txt
  2. Tambahkan canonical ke halaman paginasi (menunjuk ke halaman 1 kategori)
  3. Konsolidasi semua redirect chain
  4. Bersihkan sitemap dari URL 404 dan redirect

Hasilnya dalam 6 minggu: Crawl coverage di GSC naik dari 62% ke 89%. Halaman produk baru yang sebelumnya butuh 3–4 minggu untuk terindeks, sekarang masuk index dalam 5–7 hari.

Ini bukan kebetulan. Ketika Googlebot tidak lagi membuang waktu di URL sampah, ia punya lebih banyak kapasitas untuk merayapi halaman yang penting.

Tools yang Anda Butuhkan (Semua Ada Versi Gratis)

Tool Fungsi Versi Gratis
Google Search Console Crawl stats, index coverage Ya, gratis penuh
Screaming Frog Crawl situs, temukan error Gratis hingga 500 URL
Ahrefs Webmaster Tools Backlink & crawl audit Ya, gratis untuk situs sendiri
GTmetrix Cek TTFB & kecepatan Ya, terbatas
Cloudflare CDN & cache Ya, plan gratis cukup

Untuk situs di bawah 500 halaman, versi gratis semua tool di atas sudah lebih dari cukup.

Kesalahan Umum yang Harus Dihindari

❌ Memblokir halaman penting via robots.txt Salah satu kesalahan paling fatal: memblokir folder /product/ atau /blog/ karena ingin "menghemat crawl budget". Ini justru mencegah Googlebot mengindeks konten utama Anda.

❌ Memasukkan URL noindex ke dalam sitemap Sitemap berisi URL noindex adalah kontradiksi—Anda meminta Google untuk mengindeks sekaligus tidak mengindeks halaman yang sama. Google biasanya mengabaikan instruksi noindex-nya.

❌ Menganggap crawl budget hanya masalah situs besar Situs dengan 200 halaman pun bisa punya masalah crawl budget jika 150 halamannya adalah URL parameter duplikat. Ukuran bukan satu-satunya faktor—kualitas URL yang bisa di-crawl jauh lebih penting.

❌ Tidak update sitemap setelah hapus konten Setiap kali Anda menghapus halaman atau mengubah URL, sitemap harus diperbarui. Sitemap dengan URL 404 membuat Googlebot membuang crawl request untuk halaman yang tidak ada.

Prioritas Pertama yang Harus Dikerjakan Sekarang

Jika Anda hanya punya waktu untuk satu hal minggu ini, lakukan ini:

Buka Google Search Console → Settings → Crawl Stats → lihat tab "By response".

Jika lebih dari 20% crawl request mengembalikan status selain 200 (redirect, 404, atau error), Anda punya masalah crawl budget yang aktif membuang jatah Googlebot.

Dari sana, prioritas perbaikan:

  1. Bersihkan 404 dari sitemap dulu (paling cepat, dampak langsung)
  2. Konsolidasi redirect chain
  3. Blokir URL parameter via robots.txt

Tiga langkah itu saja sudah bisa membebaskan puluhan hingga ratusan crawl request per hari untuk halaman yang benar-benar perlu diindeks. Eksekusi dulu, ukur hasilnya di GSC dalam 4–6 minggu.