Setting Robots.txt Blogger

Robot.txt, bagi penggiat blogger yang menggunakan wordpress pasti sudah familiar dengan robot.txt ini. Tapi pengguna blogger bisa jadi hal ini masih merupakan hal baru. Kali ini kita akan membahas apa itu robot.txt dan apa fungsinya secara sederhana dan mudah dipahami. :D

Robot.txt dalam penjelasan sederhananya adalah alat untuk memberitahukan mensin crawler / pencari apa yang boleh dan tidak di index olehnya, dalam kata lain robot.txt ini merupakan search preference untuk mesin crawler / pencari. Justru semakin banyak yang dindex mesin pencari semakin baik? Tentu, tapi yang ingin dicegah disini adalah duplikasi index sebuah content yang dapat mengakibatkan adanya search preference yang mengarah pada label atau hanya archive blog yang seharusnya langsung mengarah ke posting atau content yang relevan dengan keyword yang dicari.

Pada dasarnya semua blog sudah memiliki system robot.txt ini, ditandai dengan adanya fitur pembagian label yang di fasilitasi blogger tapi dirasa masih kurang maksimal. Untuk memaksimalkannya blogger akhirnya memberikan fitur robot.txt ini, yang sebelumnya sudah di gunakan di wordpress.

Cara menggunakan robot.txt ini :

1. Masuk Dashboard (dashboard)
2. Pilih Setelan (setting)
3. Pilih Referensi Penelusuran (site preferences)
4. Edit robot.txt khusus (custom robot.txt) yang berada pada bagian bawah
5. Isi dengan :
   

   User-agent: Mediapartners-Google
   Disallow:
   
   User-agent: *
   Disallow: /search
   Allow: /
   
   Sitemap: http://tanganblogger.blogspot.com/feeds/posts/default?orderby=UPDATED

6. Ganti tanganblogger dengan nama blog Anda.
7. Simpan

Setelah semua selesai, setting ini dapat dilihat pada http://namablog.blogspot.com/robots.txt

Untuk lebih jelasnya mari kita urai setiap fungsi dari isi robot.txt tersebut. Kelompok baris robot.txt yang pertama merupakan informasi user agen milik google menandakan bahwa blog merupakan partner google, ini menguntungkan untuk Anda yang ingin menggunakan jasa google adsense agar iklan yang tampil nantinya relevan dengan isi blog Anda, juga untuk memberitahukan bahwa website / blog kita bisa diakses oleh mesin mencari.

Kelompok baris kedua merupakan informasi untuk semua mesin crawler search engine. Disana ada Disallow: /search yang artinya mesin crawler dilarang mengindex page label atau archive yang memank sebaiknya tidak di index untuk mencegah duplikasi hasil pencarian.

Kelompok baris ketiga berisi sitemap blog agar mesin crawler lebih mudah mngindex blog / website Anda.

Sekian untuk setting robot.txt.