Apa itu Robots.txt dan Apa Fungsinya..??
Setelah tadi saya posting mengenai Bagaimana Cara Submit Sitemap Blog Di Google, Sekarang saatnya mengurai apa itu robots.txt. Diibaratkan kalau Sitemap.xml/Atom.xml adalah peta yang kita berikan pengunjung mengenai isi website. Supaya pengunjung/Google tahu lokasi-lokasi yang dapat ditemukan dengan mudah, robot.txt adalah palang informasi dan peringatan untuk Mesin Pencari. Adapun letak robots.txt harus tepat berada pada root directory web/hosting. Tidak dianggap jika posisinya ada di dalam sub direcoty/sub domain.
Isi robots.txt dapat dicontohkan sebagai berikut.
Dari contoh di atas (folder1) robots.txt mengatakan pada Google..
Goooogle,, ada yang baru lho.... Masuk sini aja... Lihat-lihat....
Sedangkan baris ketiga dan ke empat (folder2) adalah warning bagi Google.
Heh,, Google.. Jangan masuk ke sini.. Didalem ada Buayanya lho...
dan Google akhirnya menjawab.. Hii.. Atut,,, Okey Dech klo gitu,,, Tengkyu.... aQ tak ke folder1 kalo gitu...
Itu aja cerita tentang persahabatab dari SiRobocop.txt dan Mbah Google. Dan akhirnya mereka hidup berdampingan dan berbahagia... hahaha...
Isi robots.txt dapat dicontohkan sebagai berikut.
User-agent: * Allow: /folder1/ User-Agent: Googlebot Disallow: /folder2/
Dari contoh di atas (folder1) robots.txt mengatakan pada Google..
Goooogle,, ada yang baru lho.... Masuk sini aja... Lihat-lihat....
Sedangkan baris ketiga dan ke empat (folder2) adalah warning bagi Google.
Heh,, Google.. Jangan masuk ke sini.. Didalem ada Buayanya lho...
dan Google akhirnya menjawab.. Hii.. Atut,,, Okey Dech klo gitu,,, Tengkyu.... aQ tak ke folder1 kalo gitu...
Itu aja cerita tentang persahabatab dari Si