Robots.txt pada Blogger adalah file teks yang memberi tahu mesin pencari halaman atau bagian mana dari blog yang boleh atau tidak boleh di-crawl.
Fungsi utamanya
- Mengatur akses bot mesin pencari seperti Googlebot.
- Mencegah halaman tertentu diindeks jika memang tidak ingin muncul di hasil pencarian.
- Membantu pengelolaan SEO dengan mengarahkan crawler ke bagian yang penting.
Di Blogger, robots.txt biasanya dipakai untuk
- Menutup akses ke halaman yang tidak perlu diindeks, misalnya halaman arsip atau pencarian internal.
- Mengontrol crawl pada URL tertentu agar tidak membuang crawl budget.
- Menyesuaikan pengaturan SEO blog.
Berikut settingan robots.txt untuk blogger yang umum digunakan
1. Klik Setelan, robots.txt custom.
2. Masukkan settingan berikut ini.
2. Masukkan settingan berikut ini.
User-agent: *
Disallow: /search
Allow: /Sitemap: https://nama blog anda.blogspot.com/sitemap.xml3. Simpan.
Catatan:
Catatan:
- User-agent: adalah jenis bot pencarian.
- Disallow: adalah perintah untuk melarang User-agent merayapi halaman atau direktori tertentu.
- Allow: adalah perintah untuk mengizinkan User-agent merayapi halaman atau direktori tertentu.
- * adalah semua nama User-agent semisal google, bing, yandex.
- /search adalah URL direktori hasil pencarian internal didalam blog.
- /sitemap: URL direktori sitemap pada blog.
- https://nama blog anda.com/sitemap.xml adalah URL sitemap blog, silahkan anda ganti teks yang berwarna merah sesuai dengan nama blog anda.
Melihat robots.txt yang berhasil di atur
Untuk melihat atau mengecek robot.txt yang sudah berhasil anda setting, silahkan anda buka URL blog anda dengan menambahkan direktori robots.txt pada akhir URL blog anda, nanti anda akan di arahkan menuju ke halaman robots.txt.
Contoh:
https://nama blog anda.blogspot.com/robots.txt