Empat tahap yang dilewati halaman sebelum muncul di hasil pencarian, dan penyebab umum gagal di tiap tahap.
12m bacaanKuis WajibMicro Badge Lesson
Crawl, render, index, rank
Sebelum sebuah halaman bisa muncul di hasil pencarian Google, halaman itu melewati empat tahap. Kalau gagal di satu tahap, tahap berikutnya tidak pernah terjadi. Karena itu, saat ada yang bilang "web saya nggak muncul di Google", pertanyaan pertamamu adalah: macet di tahap mana?
1. Crawl: Google menemukan dan mengambil URL
Googlebot menemukan URL dari dua sumber utama:
link dari halaman lain yang sudah dikenal Google (termasuk link internal di web kamu sendiri)
sitemap yang kamu kirim lewat Search Console atau kamu sebut di robots.txt
Setelah URL ditemukan, Googlebot mengambil (fetch) halaman itu seperti browser meminta HTML ke server. Di tahap ini yang menentukan adalah:
robots.txt: kalau path-nya diblokir, Googlebot tidak mengambil halaman itu.
Status code: 200 berarti aman. 404 dan 410 berarti halaman tidak ada. 5xx berarti server bermasalah, dan kalau sering terjadi Google akan mengurangi frekuensi crawl.
Kecepatan server: server yang lambat merespons membuat Google mengambil lebih sedikit halaman dalam satu kunjungan.
Halaman yang tidak punya link masuk dan tidak ada di sitemap disebut orphan page. Google bisa saja tidak pernah menemukannya.
2. Render: Google menjalankan JavaScript
HTML yang diambil belum tentu berisi konten akhir. Kalau halaman mengisi kontennya lewat JavaScript di browser, Google perlu menjalankan JavaScript itu dulu. Google memakai Chromium versi terbaru untuk merender halaman, jadi sebagian besar JavaScript modern bisa dijalankan.
Masalahnya ada di antrean: render butuh sumber daya, jadi bisa terjadi lebih lambat daripada crawl. Selain itu, konten yang baru muncul setelah interaksi (klik tombol, scroll tak terbatas, login) tidak akan pernah dilihat Google.
Aturan praktisnya: konten penting harus sudah ada di HTML dari server. Di lesson 3 kamu akan mengecek ini langsung di halaman Next.js.
3. Index: Google menyimpan dan memilih versi utama
Setelah dirender, Google menganalisis isinya (judul, teks, link, structured data) lalu memutuskan apakah halaman itu layak disimpan di index. Beberapa hal yang menghentikan halaman di tahap ini:
noindex di meta tag atau header X-Robots-Tag: halaman diambil, tapi tidak disimpan.
Duplikat: kalau beberapa URL berisi konten yang sama, Google memilih satu sebagai versi utama (canonical) dan yang lain tidak tampil.
Konten tipis: halaman yang nyaris kosong atau sangat mirip halaman lain bisa tidak dipilih.
Ada satu jebakan yang sering terjadi. Kalau sebuah halaman diblokir di robots.txt, Google tidak pernah mengambilnya, sehingga tidak pernah melihat tag noindex di dalamnya. URL itu tetap bisa muncul di hasil pencarian (tanpa deskripsi) kalau banyak link mengarah ke sana. Untuk menyembunyikan halaman dari hasil pencarian, pakai noindex dan jangan blokir di robots.txt.
4. Rank: Google mengurutkan hasil
Halaman yang sudah ada di index baru ikut bersaing saat seseorang mencari sesuatu. Urutannya ditentukan oleh banyak sinyal. Yang paling besar adalah relevansi dan kualitas konten terhadap kata kunci yang dicari. Pengalaman halaman (termasuk kecepatan) ikut dihitung, tapi bobotnya kecil dibanding relevansi.
Implikasinya untuk developer: memperbaiki performa tidak otomatis menaikkan peringkat halaman yang kontennya tidak relevan. Yang bisa kamu jamin sebagai developer adalah tiga tahap pertama berjalan lancar, dan halaman terasa cepat untuk pengunjung yang sudah datang.
Ringkasan
Tahap
Pertanyaan diagnosis
Penyebab umum gagal
Crawl
Apakah Google bisa menemukan dan mengambil URL ini?
Diblokir robots.txt, tidak ada link masuk, error 5xx
Render
Apakah konten muncul setelah halaman dirender?
Konten hanya dimuat lewat JavaScript di client atau setelah interaksi
Index
Apakah Google menyimpan halaman ini?
noindex, duplikat, canonical salah
Rank
Di posisi berapa halaman ini muncul?
Konten kurang relevan, persaingan kata kunci
Di lesson berikutnya kamu akan membagi tugas: tahap mana yang menjadi tanggung jawab developer, dan mana yang bukan.
Checkpoint KuisTarget: 70%
Kuis: Crawl, render, index, rank
Kuis ini wajib untuk sertifikat. Kamu tetap bisa lanjut ke pelajaran berikutnya dan mengerjakannya nanti.