seokita.id

SEO teknis, riset keyword, on-page optimization untuk pasar Indonesia

Crawl Budget: Cara Audit & Optimalkan untuk Situs Indonesia

by Bayu Wicaksono
Crawl Budget: Cara Audit & Optimalkan untuk Situs Indonesia

Halaman Penting Anda Tidak Terindex? Ini Penyebab yang Sering Terlewat

Banyak pemilik bisnis sudah menulis konten bagus, membangun backlink, dan merapikan on-page SEO — tapi halaman mereka tetap tidak muncul di Google. Salah satu penyebab yang jarang diperiksa: crawl budget habis sebelum Googlebot sempat mengunjungi halaman penting Anda.

Crawl budget bukan istilah yang sering muncul di tutorial SEO pemula. Tapi untuk situs e-commerce dengan ribuan SKU, portal berita, atau situs multihalaman, ini bisa jadi perbedaan antara halaman yang terindex dan yang tidak.

Artikel ini akan menjelaskan apa itu crawl budget, bagaimana cara mengauditnya, dan langkah konkret untuk mengoptimalkannya — khusus untuk konteks situs Indonesia.

Apa Itu Crawl Budget dan Kenapa Bisnis Anda Harus Peduli

Crawl budget adalah jumlah halaman yang bersedia di-crawl oleh Googlebot di situs Anda dalam periode tertentu. Google sendiri mendefinisikannya sebagai kombinasi dari dua faktor:

  1. Crawl rate limit — seberapa cepat Googlebot bisa crawl tanpa membebani server Anda.
  2. Crawl demand — seberapa besar minat Google terhadap halaman-halaman di situs Anda, berdasarkan popularitas dan perubahan konten.

Untuk situs kecil (di bawah 1.000 halaman), crawl budget biasanya bukan masalah besar. Tapi begitu situs Anda tumbuh — misalnya toko online dengan filter kategori, situs properti dengan kombinasi pencarian, atau portal berita dengan arsip panjang — crawl budget bisa menjadi bottleneck nyata.

Contoh kasus nyata: Sebuah situs e-commerce fashion Indonesia dengan ~15.000 halaman produk mengalami masalah di mana halaman produk baru tidak terindex selama 3–4 minggu. Setelah audit, ditemukan bahwa Googlebot menghabiskan 60% crawl budget di halaman filter URL (seperti /kategori?warna=merah&ukuran=M) yang tidak memiliki nilai SEO sama sekali.

Setelah halaman filter di-noindex dan di-block via robots.txt, halaman produk baru mulai terindex dalam 5–7 hari.

Tanda-Tanda Crawl Budget Anda Bermasalah

Sebelum masuk ke audit, kenali dulu gejala-gejalanya:

  • Halaman baru butuh lebih dari 2 minggu untuk terindex meski sudah di-submit ke Google Search Console.
  • Log server menunjukkan Googlebot banyak menghabiskan waktu di URL yang tidak penting.
  • Coverage report di Google Search Console menunjukkan banyak halaman berstatus "Discovered — currently not indexed" dalam waktu lama.
  • Situs Anda punya banyak URL duplikat, parameter URL, atau halaman tipis yang tidak di-block.

Jika salah satu dari ini terasa familiar, lanjutkan ke bagian audit.

Checklist Audit Crawl Budget: 8 Langkah yang Bisa Dikerjakan Minggu Ini

Berikut checklist audit crawl budget yang bisa Anda eksekusi sendiri atau delegasikan ke tim teknis:

1. Periksa Crawl Stats di Google Search Console

Masuk ke Google Search Console → Settings → Crawl Stats. Di sini Anda bisa melihat:

  • Rata-rata jumlah halaman yang di-crawl per hari
  • Distribusi response code (2xx, 3xx, 4xx, 5xx)
  • Jenis file yang paling banyak di-crawl

Yang perlu diperhatikan: Jika response 404 atau redirect 3xx memakan porsi besar, itu sinyal ada kebocoran crawl budget.

2. Analisis Log File Server

Ini langkah yang paling sering dilewati karena dianggap terlalu teknis, padahal hasilnya paling akurat. Minta log file dari hosting Anda (biasanya file access.log), lalu filter baris yang mengandung Googlebot.

Tool yang bisa digunakan:

  • Screaming Frog Log File Analyser (berbayar, tapi ada trial)
  • GoAccess (gratis, open-source, bisa diinstall di server)
  • Excel/Google Sheets untuk filter manual jika log tidak terlalu besar

Dari log file, Anda bisa tahu persis URL mana yang paling sering dikunjungi Googlebot. Jika URL-URL itu bukan halaman prioritas Anda, berarti ada masalah.

3. Identifikasi URL Pemborosan Crawl Budget

URL yang paling sering membuang crawl budget di situs Indonesia:

  • Parameter URL dari filter produk: /produk?sort=harga&kategori=baju&warna=hitam
  • Halaman sesi/tracking: URL dengan parameter seperti ?utm_source=, ?ref=, ?session_id=
  • Halaman pagination yang dalam: /blog/page/47/, /produk/page/200/
  • Halaman duplikat karena trailing slash: /tentang-kami vs /tentang-kami/
  • Versi HTTP vs HTTPS yang belum di-redirect dengan benar
  • Halaman tag WordPress yang tidak relevan: /tag/promo/, /tag/murah/

4. Audit robots.txt

Buka situsanda.com/robots.txt dan periksa apakah URL-URL pemborosan sudah di-block. Contoh konfigurasi yang umum dipakai:

User-agent: Googlebot
Disallow: /*?*sort=
Disallow: /*?*warna=
Disallow: /tag/
Disallow: /search/

Kesalahan umum: Banyak situs Indonesia yang robots.txt-nya masih default dari instalasi WordPress — tidak ada block sama sekali untuk URL parameter.

5. Periksa Internal Link ke Halaman Tidak Penting

Jika situs Anda punya internal link ke halaman 404, halaman noindex, atau halaman redirect, Googlebot tetap akan mengikuti link tersebut dan membuang crawl budget. Gunakan Screaming Frog SEO Spider (gratis sampai 500 URL) untuk crawl situs Anda sendiri dan temukan broken internal link.

6. Cek Sitemap XML

Sitemap harus hanya berisi URL yang:

  • Statusnya 200 (bukan redirect atau 404)
  • Bisa diindex (tidak ada tag noindex)
  • Merupakan halaman prioritas bisnis Anda

Banyak plugin WordPress seperti Yoast atau Rank Math sudah otomatis generate sitemap, tapi perlu dicek apakah halaman yang tidak perlu (seperti halaman tag, author, atau attachment) ikut masuk.

7. Evaluasi Kecepatan Server (Crawl Rate)

Jika server Anda lambat (Time to First Byte > 500ms), Googlebot akan secara otomatis memperlambat crawl rate untuk menghindari membebani server. Akibatnya, crawl budget efektif Anda berkurang.

Cek TTFB dengan PageSpeed Insights atau GTmetrix. Untuk hosting Indonesia, pastikan server berada di lokasi yang dekat dengan pengguna (Jakarta/Singapore) dan gunakan caching yang proper.

8. Konsolidasikan Halaman Tipis

Halaman dengan konten di bawah 300 kata yang tidak punya nilai unik adalah pemborosan crawl budget sekaligus sinyal negatif untuk E-E-A-T. Opsinya:

  • Gabungkan beberapa halaman tipis menjadi satu halaman yang komprehensif
  • Tambahkan konten yang signifikan
  • Atau pasang noindex jika halaman memang tidak perlu diindex

Tools yang Bisa Langsung Digunakan

Tool Fungsi Harga
Google Search Console Crawl stats, coverage report Gratis
Screaming Frog SEO Spider Crawl situs, temukan broken link Gratis (500 URL) / £259/tahun
Screaming Frog Log Analyser Analisis log file server £139/tahun
GoAccess Analisis log file di server Gratis
Ahrefs Site Audit Temukan crawl waste, halaman tipis Berbayar
Semrush Site Audit Audit teknis lengkap Berbayar

Untuk bisnis yang baru mulai, kombinasi Google Search Console + Screaming Frog gratis sudah cukup untuk audit awal.

Studi Kasus: Situs Properti Indonesia dengan 8.000 Halaman

Salah satu klien di niche properti Indonesia datang dengan masalah: listing properti baru tidak muncul di Google meski sudah lebih dari sebulan dipublish. Coverage report-nya penuh dengan status "Discovered — currently not indexed".

Temuan setelah audit:

  • Halaman hasil pencarian internal (/cari?lokasi=jakarta&tipe=apartemen&harga=500jt) bisa diakses Googlebot dan ada ribuan kombinasi URL-nya
  • Halaman agen properti dengan konten tipis (hanya nama dan nomor telepon) berjumlah ~2.000 halaman
  • Sitemap masih menyertakan halaman-halaman tersebut

Langkah yang diambil:

  1. Block semua URL /cari?* di robots.txt
  2. Pasang noindex di halaman agen yang tipis
  3. Bersihkan sitemap — hanya listing aktif yang masuk
  4. Perbaiki redirect chain yang ada (ada 3–4 redirect sebelum sampai ke halaman final)

Hasil setelah 6 minggu: Jumlah halaman terindex naik dari 1.200 menjadi 4.800. Listing baru mulai terindex dalam 3–5 hari setelah publish.

Kesalahan Umum yang Harus Dihindari

⚠️ Kesalahan #1: Mem-block URL di robots.txt tapi tetap menyertakannya di sitemap XML. Ini sinyal kontradiktif untuk Googlebot.

⚠️ Kesalahan #2: Menggunakan noindex untuk halaman yang ingin Anda sembunyikan dari crawl. noindex tidak mencegah crawl — hanya mencegah indexing. Untuk mencegah crawl, gunakan robots.txt.

⚠️ Kesalahan #3: Menganggap crawl budget hanya relevan untuk situs besar. Situs 500 halaman pun bisa punya masalah crawl budget jika banyak URL duplikat atau broken link.

⚠️ Kesalahan #4: Tidak pernah cek log file server. Crawl stats di Google Search Console memberikan gambaran umum, tapi log file memberikan data yang jauh lebih granular.

Optimasi Crawl Budget Adalah Investasi Jangka Panjang

Crawl budget bukan sesuatu yang Anda optimalkan sekali lalu selesai. Setiap kali situs Anda tumbuh — ada fitur baru, kategori baru, atau integrasi baru — ada potensi munculnya URL-URL baru yang membuang crawl budget.

Buat jadwal audit crawl budget minimal setiap kuartal. Gunakan Google Search Console sebagai monitoring rutin, dan lakukan deep-dive dengan log file analisis setiap 6 bulan sekali.

Dengan crawl budget yang efisien, Googlebot bisa fokus ke halaman yang benar-benar penting untuk bisnis Anda — dan halaman-halaman itu akan lebih cepat terindex dan berpotensi ranking lebih baik.

Prioritas Pertama: Mulai dari Log File dan Crawl Stats

Jika Anda hanya punya waktu untuk satu langkah minggu ini, buka Google Search Console → Settings → Crawl Stats sekarang. Lihat distribusi response code dan jenis halaman yang paling banyak di-crawl.

Jika Anda melihat banyak 3xx redirect atau 4xx error memakan porsi besar, itu adalah sinyal pertama yang harus Anda tangani. Perbaiki redirect chain dan hapus internal link ke halaman 404 — ini langkah tercepat dengan dampak paling langsung pada crawl budget Anda.