Sebelum kita memasang
robot txt sebaiknya kita terlebih dulu tau apa itu robot txt.Berikut ini saya jelaskan definisinya robot txt dan kegunaanya pada blog yang kita punya.
Robot.txt merupakan sebuah file dengan fungsi yang digunakan untuk membatasi aksses robot mesin pencari,yang sedang merayapi /menjelajahi blog atau website yang sobat miliki.Sebelum mereka menjelajahi halaman blog ataupun website,mereka memeriksa terlebih dulu untuk melihat apakah sebuah file robot.txt ada atau tidak,dan didalam robot.txt ada perintah yang mencegah mereka mengakses untuk halaman tertentu.
Robot.txt sangat diperlukan agar robot crawling tidak mengindex halaman di search engine yang tidak kita inginkan,disebabkan mungkin ada beberapa halaman web yang tidak ingin di index oleh search engine.Kalau kita ingin semua konten dalam blog kita di index oleh mesin pencari kita sangat butuh dan sangat penting memasang robot.txt ini.
Kegunaan Robot txt - robot txt berguna untuk mengarahkan spider bot crawling untuk merayapi halaman blog/website yang sobat miliki, ini sangat penting agar halaman blog lebih mudah terindex oleh search engine.
Ini akan sangat membantu optimasi blog dan mendukung semua halaman blog yang sobat buat ,bisa tampil yang terdepan. Tapi ini bukan jaminan karena kalo kita salah dalam mengkonfigurasi robot txtini ,halaman kita malah di abaikan oleh search engine.
Mari kita simak cara memasang kode robot txt yang benar pada blog berikut ini;
1. Login ke dashboard blogger >Setelan>Preferensi Penelusuran
 |
| Add caption |
2.Klik edit pada robot.txt khusus
3.Masukkan kode berikut ini
User-agent: *
Disallow:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow:
Sitemap: http://www.abc.com/feeds/posts/default?orderby=updated |
-ganti tulisan warna biru diatas dgn url blog/website sobat-klik simpan perubahan4.Agar selaras dalam merayapi halaman blog sobat ada kode lagi yang harus dipasang pada HTML -Klik template >edit HTML>expand template widget -Cari kode <head> kemudian pastekan kode berikut dibawah kode <head>
<meta content='INDEX, FOLLOW' name='GOOGLEBOT'/>
<meta content='index, follow, all' name='robots'/>
<meta content='all' name='googlebot'/>
<meta content='all' name='msnbot'/>
<meta content='all' name='Googlebot-Image'/>
|
-Klik simpan template untuk menyimpan pemasangan kode robot.txt tadi.Demikian sobat cara pemasangan kode robot.txt yang baik dan benar .Semoga bermanfaat untuk sobat yang sedang berusaha mengoptimasi blognya.SALAM BLOGGER
