Cara Setting Robots txt Blogger yang Benar dan Aman

Robots.txt merupakan file yang digunakan untuk memberikan instruksi kepada mesin pencari mengenai halaman atau URL mana yang boleh dan tidak boleh dirayapi oleh robot mesin pencari.

Pada Blogger, Anda dapat mengatur custom robots.txt secara manual melalui menu Setelan. Pengaturan ini dapat membantu mengontrol perayapan halaman tertentu, terutama halaman hasil pencarian internal yang umumnya tidak perlu dimasukkan ke dalam indeks mesin pencari.

Cara Setting Robots.txt di Blogger

Untuk mengaktifkan dan mengatur robots.txt custom di Blogger, ikuti langkah-langkah berikut.

1. Buka Setelan Blogger

Login ke akun Blogger Anda, kemudian pilih blog yang ingin diatur.

Selanjutnya, buka menu Setelan.

Cari bagian Crawler dan pengindeksan, kemudian aktifkan atau buka opsi robots.txt kustom.

2. Masukkan kode robots.txt

Masukkan kode robots.txt berikut:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://nama-blog-anda.blogspot.com/sitemap.xml

Jika menggunakan domain sendiri, ubah URL sitemap sesuai dengan alamat domain blog Anda.

Contohnya:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.inisiteku.com/sitemap.xml

Catatan: Jangan menyalin contoh di atas secara mentah jika alamat blog Anda berbeda. Ganti URL sitemap dengan alamat blog Anda sendiri.

3. Simpan robots.txt

Setelah kode dimasukkan, klik Simpan.

Robots.txt custom sekarang sudah diterapkan pada blog Anda.

Penjelasan Kode Robots.txt

Agar lebih mudah dipahami, berikut fungsi masing-masing perintah dalam robots.txt.

User-agent: *

User-agent digunakan untuk menentukan robot mesin pencari yang akan menerima aturan tersebut.

Tanda * berarti aturan berlaku untuk semua robot mesin pencari.

Contohnya:

User-agent: *

Artinya, aturan tersebut berlaku secara umum untuk crawler mesin pencari.

Disallow: /search

Disallow digunakan untuk melarang crawler merayapi URL atau direktori tertentu.

Pada contoh:

Disallow: /search

Artinya crawler diarahkan untuk tidak merayapi URL yang berada pada jalur /search.

Pada Blogger, URL seperti /search biasanya digunakan untuk hasil pencarian internal blog.

Allow: /

Allow digunakan untuk mengizinkan crawler mengakses URL atau direktori tertentu.

Contohnya:

Allow: /

Tanda / menunjukkan halaman pada blog secara umum.

Sitemap

Baris berikut digunakan untuk memberi tahu crawler lokasi sitemap blog:

Sitemap: https://nama-blog-anda.blogspot.com/sitemap.xml

Silakan ganti nama-blog-anda.blogspot.com dengan alamat blog Anda.

Jika blog menggunakan domain custom, gunakan domain tersebut. Misalnya:

Sitemap: https://www.inisiteku.com/sitemap.xml

Apa Fungsi Robots.txt pada Blogger?

Robots.txt bukanlah alat untuk menghapus halaman dari hasil pencarian Google. File ini lebih tepat digunakan untuk memberikan petunjuk kepada crawler mengenai URL yang sebaiknya atau tidak perlu dirayapi.

Contohnya, halaman hasil pencarian internal blog dapat dibatasi dengan:

Disallow: /search

Sementara sitemap digunakan untuk membantu crawler menemukan URL yang tersedia di blog.

Perlu diingat bahwa robots.txt bukan pengganti pengaturan noindex. Jika tujuan Anda adalah mencegah halaman tertentu muncul di hasil pencarian, pengaturan noindex dapat menjadi pilihan yang lebih sesuai.

Cara Melihat Robots.txt Blogger

Setelah menyimpan pengaturan, Anda dapat mengecek apakah robots.txt sudah tersedia dengan membuka URL berikut melalui browser:

https://nama-blog-anda.blogspot.com/robots.txt

Jika menggunakan domain custom:

https://www.nama-domain-anda.com/robots.txt

Sebagai contoh, jika alamat blog Anda adalah www.inisiteku.com, maka URL robots.txt adalah:

https://www.inisiteku.com/robots.txt

Jika berhasil, browser akan menampilkan isi file robots.txt yang sedang digunakan oleh blog.

Kesimpulan

Setting robots.txt pada Blogger sebenarnya cukup sederhana. Anda hanya perlu membuka Setelan → Crawler dan pengindeksan → robots.txt kustom, kemudian memasukkan aturan yang sesuai dengan kebutuhan blog.

Untuk konfigurasi umum, kode berikut dapat digunakan:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://nama-blog-anda.blogspot.com/sitemap.xml

Pastikan URL sitemap disesuaikan dengan alamat blog Anda, terutama jika blog sudah menggunakan domain custom.

Sebaiknya jangan menambahkan aturan Disallow secara sembarangan karena kesalahan konfigurasi dapat menyebabkan URL penting tidak dirayapi oleh mesin pencari.