Sebelum kita
berbicara tentang robots.txt, yang perlu dan harus sobat tahu adalah tentang
Protokol Robots Exclusion. Mungkin istilah ini jarang atau bahkan
tumben sobat blogger dengar selama sobat blogger menekuni dunia website atau
blog. Oleh karena itu, saya uraikan sedikit tentang Protokol Robots
Exclusion.
Pemilik
situs Web atau blog menggunakan file / robots.txt untuk memberikan instruksi
tentang situs/blog mereka untuk robot web, inilah yang disebut Protokol Robots
Exclusion .
Protokol
Robots Exclusion bekerja dengan cara seperti ini : Ketika sebuah robot akan
mengunjungi URL dari sebuah blog, sebagai contoh http://lenterablogger.blogspot.com/welcome.html.
Sebelum melakukan kunjungan tersebut, Robots Exclusion Protocol akan memeriksa
terlebih dahulu http://lenterablogger.blogspot.com/robots.txt, dan menemukan
User-agent: *
Disallow: /
Kata "User-agent: *" artinya berlaku untuk semua robot dan kata
"Disallow: /" memberi tahu robot untuk tidak mengunjungi beberapa
halaman dari blog tersebut.
Ada dua pertimbangan penting yang harus kita pikirkan ketika menggunakan
/robots.txt yaitu :
- Robot bisa saja mengabaikan /
robots.txt sobat blogger.
- File / robots.txt adalah file
yang tersedia untuk umum.
Berikut ini contoh robots.txt beserta fungsinya
masing-masing :
Memberikan pengecualian semua robot dari seluruh server
User-agent:
*
Disallow: /
Membiarkan
semua robot untuk melakukan Akses di blog tersebut :
User-agent:
*
Disallow:
Memberikan
pengecualian terhadap semua robot dari bagian Server
User-agent:
*
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Memberikan
pengecualian terhadap single robot
User-agent:
BadBot
Disallow: /
Membiarkan
single robot
User-agent:
Google
Disallow:
User-agent: *
Disallow: /
Memberikan
pengecualian terhadap semua file kecuali satu
User-agent:
*
Disallow: /~joe/stuff/
Atau sobat
blogger dapat secara eksplisit melarang semua halaman dianulir:
User-agent:
*
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
Apakah sobat
blogger sudah bisa memahami penjelasan di atas? Mungkin sobat blogger malah tambah
pusing. Jadi, lebih baik saya jelaskan langsung tentang cara menambahkan Custom
robots.txt pada blog yang bernaung di bawah Paltform blogger.com
Cara Setting Custom robots.txt di blog :
- Lihat bagian Crawlers and
indexing
- Klik kata Edit pada Custom
robots.txt ?
- Di bagian Enable custom
robots.txt content?, kasih tanda pada kolom "yes"
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://interestinginfo.net/ /feeds/posts/default?orderby=updated
Tambahan :
Jangan lupa ganti http://interestinginfo.net/
dengan URL blog sobat.
Kode yang saya gunakan untuk Custom robots.txt di atas merupakan kode yang
biasa di terapkan di blog. Kalau sobat blogger ingin menggunakan kode
yang berbeda dengan saya (Lentera Blogger), Sobat bisa gunakan salah satu dari
kode yang sudah saya jabarkan sebelumnya.
Itu adalah tutorial singkat tentang cara Setting Custom robots.txt di blogger.
Semoga informasi ini berguna buat sobat blogger. Untuk mendapatkan informasi
yang lebih banyak tentang robots.txt, sobat blogger bisa mengunjungi halaman
berikut : http://www.robotstxt.org/robotstxt.html