Panduan: Cara Setting Robots.txt Terbaru agar Blog Cepat Terindeks Google
Punya konten berkualitas tapi tidak muncul di mesin pencari? Masalahnya mungkin ada pada Robots.txt. Sebagai pemilik blog, memahami cara kerja "satpam digital" ini sangat krusial agar Google Bot bisa merayapi (crawling) dan mengindeks artikel Anda dengan efisien.
Apa Itu Robots.txt?
Robots.txt adalah file teks sederhana yang diletakkan di direktori akar situs Anda. Fungsinya memberikan instruksi kepada robot mesin pencari (seperti Googlebot atau Bingbot) tentang halaman mana yang boleh dan tidak boleh mereka kunjungi.
Jika salah setting, alih-alih terindeks, blog Anda justru bisa "terkunci" dari pencarian Google.
Settingan Robots.txt Standar untuk Blogger (Custom Domain)
Bagi Anda yang menggunakan platform Blogger dengan domain custom (seperti .my.id atau .com), berikut adalah struktur terbaik yang direkomendasikan:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.nonaxi.my.id/sitemap.xml
Penjelasan Baris Kode:
- User-agent: * : Instruksi ini berlaku untuk semua jenis robot mesin pencari.
- Disallow: /search : Melarang Google mengindeks halaman hasil pencarian internal agar tidak terjadi duplicate content.
- Allow: / : Memberikan izin penuh untuk mengindeks semua halaman artikel dan statis.
- Sitemap : Memberi tahu Google lokasi peta situs Anda agar proses indeksasi lebih cepat.
Cara Pasang di Dashboard Blogger
- Login ke Blogger.com.
- Buka menu Setelan (Settings).
- Scroll ke bawah hingga menemukan bagian Crawler dan Pengindeksan.
- Aktifkan Aktifkan robots.txt kustom.
- Klik pada Robots.txt kustom, lalu tempelkan kode di atas (pastikan ganti URL sitemap dengan URL blog Anda).
- Klik Simpan.
Tips Tambahan agar Indeks Lebih Cepat
1. Jangan Lupakan Tag Header Robot Kustom
Selain file Robots.txt, pastikan pengaturan "Tag header robot kustom" di Blogger juga diaktifkan:
- Tag halaman beranda: all, noodp
- Tag halaman arsip dan penelusuran: noindex, noodp
- Tag postingan dan halaman: all, noodp
2. Submit ke Google Search Console (GSC)
Setelah update Robots.txt, segera buka GSC dan lakukan Uji Robots.txt untuk memastikan tidak ada error. Jangan lupa untuk submit ulang sitemap.xml Anda di menu Sitemaps.
3. Gunakan Link Internal
Googlebot menyukai struktur link yang saling terhubung. Pastikan artikel baru Anda mendapatkan link dari artikel lama yang sudah populer.
Kesimpulan
Setting Robots.txt bukan tentang melarang semua akses, tapi tentang mengarahkan Google Bot ke jalan yang benar. Dengan settingan yang tepat, artikel di blog Nona Xi akan jauh lebih mudah ditemukan oleh pembaca.
Punya kendala saat setting? Silakan tulis pertanyaan Anda di kolom komentar!
Tag: #TipsSEO #Blogger #GoogleSearchConsole #TutorialBlog #NonaXi
Posting Komentar