Kenapa halaman private bisa masuk index, perbaikan noindex di mahir.dev, jebakan robots.txt yang masih tersisa, dan batas noindex sebagai pengaman.
14m bacaanKuis WajibMicro Badge Lesson
Studi kasus: halaman private dan noindex
Audit SEO mahir.dev menandai satu temuan sebagai kritikal: halaman yang berisi data pribadi (dashboard, profil, bookmark, sertifikat milik pengguna) tidak punya noindex. Lesson ini membahas kenapa temuan itu kritikal, perbaikan yang sudah dilakukan, dan satu jebakan yang masih tersisa.
Kenapa halaman private bisa masuk index
Halaman yang butuh login tidak otomatis aman dari index. URL-nya bisa bocor ke Google lewat banyak jalan: dibagikan di grup chat yang publik, muncul di referrer, atau ditautkan dari halaman lain. Kalau Google menemukan URL itu dan servernya mengembalikan konten dengan status 200, halaman itu bisa masuk index.
Untuk halaman yang menampilkan data pribadi, risikonya bukan cuma soal SEO. Ini soal privasi pengguna.
Di kode mahir.dev saat ini, robots: { index: false } sudah terpasang di dashboard, profil, bookmark, halaman sertifikat pemilik, halaman verifikasi sertifikat, register, dan halaman checkout.
Untuk banyak halaman di satu folder, pasang robots di layout.tsx folder itu. Semua page di bawahnya ikut mewarisinya.
/dashboard, /profile, dan /bookmarks diblokir di robots.txt dan juga diberi noindex. Ingat aturan dari lesson 1: kalau sebuah path diblokir di robots.txt, Googlebot tidak mengambil halamannya, sehingga tidak pernah membaca tag noindex. URL-nya masih bisa muncul di hasil pencarian tanpa deskripsi kalau ada link yang mengarah ke sana.
Seberapa besar risikonya di kasus ini? Kecil. Halaman dashboard mahir.dev melakukan redirect("/login") kalau pengunjung belum login, dan Googlebot tidak pernah login. Jadi Googlebot tidak akan pernah melihat isi dashboard dalam kondisi apa pun. Yang bisa terjadi paling buruk adalah URL /dashboard muncul tanpa isi.
Tapi polanya tetap perlu dikenali, karena di web lain halaman private belum tentu dilindungi redirect. Aturan umumnya:
Tujuan
Pakai
Jangan
Halaman tidak muncul di hasil pencarian
noindex, dan biarkan bisa di-crawl
blokir di robots.txt
Hemat crawl untuk path yang tidak berguna (misalnya /api/)
robots.txt
blokir halaman yang ingin di-index
Data pribadi tidak bisa diakses orang lain
autentikasi dan otorisasi di server
mengandalkan noindex atau robots.txt
Baris terakhir yang paling penting. noindex dan robots.txt hanya permintaan untuk mesin pencari. Keduanya bukan pengaman. Halaman sertifikat pemilik harus tetap memeriksa bahwa yang membuka memang pemiliknya.
Laporan Pages untuk mahir.dev (data 13 Nov 2026). Dua baris yang berhubungan dengan lesson ini: "Excluded by 'noindex' tag" (82 URL) dan "Blocked by robots.txt" (15 URL). Klik setiap baris untuk melihat daftar URL-nya, lalu pastikan isinya memang halaman yang tidak ingin di-index. URL yang ada di baris "Blocked by robots.txt" tidak pernah dibaca tag noindex-nya.
Halaman verifikasi sertifikat
Halaman /certificates/verify/[kode] memang publik: siapa pun yang punya kode bisa memverifikasi keaslian sertifikat. Tapi mahir.dev tetap memberinya noindex. Alasannya:
jumlah URL-nya terus bertambah satu per sertifikat, tanpa nilai pencarian
isinya mirip dengan halaman sertifikat pemilik, jadi berisiko dianggap duplikat
halaman itu berisi nama pemilik sertifikat, yang tidak perlu muncul di hasil pencarian
Ini contoh keputusan produk, bukan aturan teknis. Web lain bisa memutuskan sebaliknya, misalnya kalau ingin profil publik lulusan bisa ditemukan lewat Google.
Perintah kedua mengecek header X-Robots-Tag, cara lain memasang noindex lewat header HTTP. Cara ini berguna untuk file yang bukan HTML, seperti PDF.
Untuk web yang sudah berjalan, buka laporan Pages di Search Console dan cari URL private yang terlanjur masuk index. Setelah noindex dipasang, URL itu akan keluar dari index saat Google meng-crawl ulang. Untuk kasus mendesak, gunakan fitur Removals di Search Console.
Latihan
Untuk proyek Next.js milikmu:
Buat daftar semua route yang menampilkan data per pengguna.
Cek apakah setiap route punya robots: { index: false } (di page atau layout).
Cek robots.txt: apakah ada route di daftar itu yang juga diblokir? Putuskan mana yang perlu dipertahankan.
Pastikan setiap route di daftar itu memeriksa autentikasi di server.
Checkpoint KuisTarget: 70%
Kuis: Halaman private dan noindex
Kuis ini wajib untuk sertifikat. Kamu tetap bisa lanjut ke pelajaran berikutnya dan mengerjakannya nanti.