Membuat robots.txt dan sitemap dari kode di App Router, isi sitemap yang baik, dan pelajaran dari sitemap.ts mahir.dev.
13m bacaanKuis WajibMicro Badge Lesson
sitemap.ts dan robots.ts
Sitemap memberi tahu Google URL mana saja yang kamu anggap penting. robots.txt memberi tahu path mana yang tidak perlu di-crawl. Di App Router, keduanya bisa dibuat dari kode, sehingga selalu sinkron dengan data di database.
app/robots.ts
ts
import type { MetadataRoute } from "next";
export default function robots(): MetadataRoute.Robots {
Yang layak masuk Disallow: path yang tidak berguna untuk pencarian dan bisa menghabiskan crawl, seperti endpoint API, hasil pencarian internal dengan parameter tak terbatas, atau halaman filter. Yang tidak layak: halaman yang ingin kamu sembunyikan dari hasil pencarian (pakai noindex, lesson 21).
Satu kesalahan yang bisa menghapus seluruh web dari Google adalah Disallow: / yang terbawa dari staging ke production. Cek robots.txt production setiap kali ada perubahan konfigurasi environment.
app/sitemap.ts
ts
import type { MetadataRoute } from "next";export default async function sitemap(): Promise<MetadataRoute.Sitemap> { const courses = await getPublishedCourses(); return [ { url: "https://contoh.com", lastModified: new Date("2026-11-01") }, ...courses.map((c) => ({ url: `https://contoh.com/belajar/${c.slug}`, lastModified: c.updatedAt, })), ];}
Next.js menyajikannya di /sitemap.xml dalam format XML yang benar.
Isi sitemap yang baik
hanya URL yang ingin di-index: status 200, tidak noindex, dan merupakan URL canonical
lastModified diisi tanggal perubahan konten yang sebenarnya. Kalau setiap URL diberi new Date() di setiap request, nilainya tidak bisa dipercaya dan Google cenderung mengabaikannya.
changeFrequency dan priority boleh diisi, tapi Google menyatakan tidak memakainya. Jangan habiskan waktu untuk menyetelnya.
Sitemap besar
Satu file sitemap dibatasi 50.000 URL. Untuk web yang lebih besar, pakai generateSitemaps untuk memecahnya menjadi beberapa file, misalnya /sitemap/0.xml, /sitemap/1.xml, dan seterusnya.
Pelajaran dari sitemap.ts mahir.dev
Sitemap mahir.dev mengambil daftar course, lesson, buku, dan artikel dari beberapa API. Ada tiga keputusan di kodenya yang layak ditiru.
1. Encode setiap segmen URL
ts
// Slug dari CMS bisa berisi `&` (mis. `svelte-props-&-events`) yang membuat XML// sitemap tidak valid. Encode tiap segmen; rutenya tetap terbuka dalam bentuk %26.const path = (...segments: string[]) => segments.map((s) => `/${encodeURIComponent(s)}`).join("");
Satu karakter & yang tidak di-encode membuat seluruh file XML tidak valid, dan Google bisa menolak sitemap itu. Data dari CMS atau input pengguna harus selalu di-encode.
2. Batasi waktu tunggu setiap fetch
ts
// Batasi durasi tiap fetch agar build (yang menjalankan sitemap saat// `next build`) tidak menggantung >60 detik bila backend unreachable.const FETCH_TIMEOUT_MS = 10_000;
Sitemap dijalankan saat build. Kalau backend sedang tidak bisa dihubungi, build ikut menggantung. Dengan timeout dan fallback, sitemap tetap jadi walaupun sebagian datanya kosong.
3. Cache hasil fetch
Setiap fetch di sitemap memakai next: { revalidate: 300 }, sehingga sitemap tidak memanggil API ulang untuk setiap request ke /sitemap.xml.
Mengirim sitemap ke Google
Pastikan robots.txt menyebut URL sitemap.
Kirim URL sitemap di laporan Sitemaps di Search Console.
Setelah beberapa hari, cek status sitemap dan jumlah URL yang ditemukan. Bandingkan dengan laporan Pages: URL yang ada di sitemap tapi tidak masuk index perlu diperiksa satu per satu.
Status "Success" belum berarti sitemap terbaru sudah dibaca. Perhatikan kolom Last read. Ini laporan Sitemaps mahir.dev saat diperiksa untuk course ini:
Sebelum: sitemap terakhir dibaca 26 Mei 2025 dengan 163 URL, padahal sitemap.xml saat itu sudah berisi 545 URL. Halaman course yang dibuat setelah Mei 2025 tidak ditemukan Google lewat sitemap (lihat contoh URL Inspection di lesson 4).
Sesudah: URL sitemap yang sama dikirim ulang lewat kotak "Add a new sitemap" pada 17 Nov 2026, dan dibaca hari itu juga dengan 545 URL. URL yang ditemukan belum tentu langsung masuk index. Cek laporan Pages beberapa hari kemudian.
Ada satu hal lagi dari sitemap.xml mahir.dev: tidak ada satu pun <lastmod>. Tanpa tanggal perubahan, Google tidak punya petunjuk halaman mana yang perlu di-crawl ulang lebih dulu. Perbaikannya adalah mengisi lastModified dari updated_at di data course dan lesson, seperti contoh di atas.
Checklist
/robots.txt di production tidak berisi Disallow: /
robots.txt menyebut lokasi sitemap
sitemap hanya berisi URL canonical yang bisa di-index
lastModified berasal dari data, bukan waktu request
semua segmen URL dari data di-encode
sitemap tetap bisa dibuat saat salah satu sumber data gagal
Checkpoint KuisTarget: 70%
Kuis: sitemap.ts dan robots.ts
Kuis ini wajib untuk sertifikat. Kamu tetap bisa lanjut ke pelajaran berikutnya dan mengerjakannya nanti.