Setting file robots.txt di blog Blogger

File robots.txt dan website blog platform blogger

P ada dashboard blog platform Blogspot saat ini, Blogger izinkan dilakukan custom file robots.txt atau membuat file robots.txt khusus. Ini luarbiasa. Kita bisa atur visibility semua posting di search engine. Maksudnya, kita punya authorisasi untuk setting artikel tertentu agar tidak terindeks (atau sebaliknya) search engine.

Secara default, setiap blog blogger mempunyai file robots.txt yang isinya seperti di bawah ini. Pada file robots.txt  ada baris 'Disallow: /search' seperti berikut ini.

User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow : /search
Allow : /

Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasannya :

Mediapartners-Google

Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah setting, maka iklan yang ditayangkan tidak akan menyesuaikan dengan content website Anda.

Tanda (*)

Tanda bintang ini Artinya untuk semua robot.

Disallow: /search

Pada konfigurasi defaultnya jelas terlihat bahwa label-label untuk semua artikel blog kita sudah di-setting untuk TIDAK terindeks dengan dituliskannya :

• Disallow: /search.

Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda,
Jadi misalnya Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini :

• Disallow: /

karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda.

Semua artikel website dan label terindeks search engine

Dan sebaliknya jika semua isi blog ingin dilacak oleh mesin pencari, maka menjadi seperti di bawah ini :

User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow :
Allow : /

Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas, semua artikel dan label akan terindeks oleh mesin pencari Google dan mesin pencari lainnya.

Memblok halaman website tertentu

Untuk memblok robot di halaman tertentu (saya ambil contoh halaman Ihwal saya) Anda cukup menulis seperti berikut :

User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow : /p/ihwal.html
Allow : /

Sitemap : http://www.example.com/feeds/posts/default?orderby=updated

Menanggulangi Masalah Paginasi
Untuk solusi masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi :

---

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated

---

Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi

• http://website-download.blogspot.com/robots.txt

Ganti semua URL contoh di atas http://website-download.blogspot.com dengan URL blog blogger Anda.

PERHATIAN!

Gunakan dengan SANGAT hati-hati. Jika salah menggunakan fitur ini, blog Anda bisa diacuhkan Google. Jika belum tahu benar apa yang akan dilakukan, sebaiknya abaikan saja file robots.txt.

---

That's all we know - Happy be blogger

SITEMAP

PETA WEBSITE DESIGN

THANK YOU for your continued liking 'n sharing. If you haven't liked this post yet, you may do that by hitting the buttons just BELOW. Please drop your comment and questions ……

Anda sedang membaca Setting file robots.txt di blog Blogger

Posted in: Search-Engine-Optimization,SEO-by-Google,Tips-blogger,Tutorial-blog