P ada dashboard Blog platform Blogspot saat ini, Blogger telah mengizinkan dilakukan custom file robots.txt atau membuat file robots.txt khusus. Hal ini sangat bermanfaat karena kita sekarang dapat mengatur visibility dari semua posting kita di mesin pencari. Maksudnya, kita kini dapat authorisasi untuk mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.
Secara default, setiap blog platform Blogger mempunyai robots.txt seperti di bawah ini : Pada file robots.txt ada ada baris 'Disallow: /search' seperti terlihat ini :
User-agent : Mediapartners-Google
Disallow :
User-agent : *
Disallow : /search
Allow : /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED
Disallow :
User-agent : *
Disallow : /search
Allow : /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasannya :
Mediapartners-Google
Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah setting, maka iklan yang ditayangkan tidak akan menyesuaikan dengan content website Anda.Tanda (*)
Tanda bintang ini Artinya untuk semua robot.Disallow: /search
Pada konfigurasi defaultnya jelas terlihat bahwa label-label untuk semua artikel blog kita sudah di-setting untuk TIDAK terindeks dengan dituliskannya :- Disallow: /search.
Jadi misalnya Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini :
- Disallow: /
Semua artikel dan label terindeks mesin pencari
Dan sebaliknya jika semua isi blog ingin dilacak oleh mesin pencari, maka menjadi seperti di bawah ini :
User-agent : Mediapartners-Google
Disallow :
User-agent : *
Disallow :
Allow : /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Disallow :
User-agent : *
Disallow :
Allow : /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Dengan konfigurasi seperti di atas, semua artikel dan label akan terindeks oleh mesin pencari Google dan mesin pencari lainnya.
Memblok halaman tertentu
Untuk memblok robot di halaman tertentu (saya ambil contoh halaman Ihwal saya) Anda cukup menulis seperti berikut :
User-agent : Mediapartners-Google
Disallow :
User-agent : *
Disallow : /p/ihwal.html
Allow : /
Sitemap : http://www.example.com/feeds/posts/default?orderby=updated
Disallow :
User-agent : *
Disallow : /p/ihwal.html
Allow : /
Sitemap : http://www.example.com/feeds/posts/default?orderby=updated
Menanggulangi Masalah Paginasi
Untuk solusi masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi :User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi
Ganti semua URL contoh di atas http://website-download.blogspot.com dengan URL blog blogger Anda.
PERHATIAN!
Gunakan dengan hati-hati. Jika salah menggunakan fitur ini, blog Anda bisa diacuhkan oleh mesin pencari. Jika Anda belum mengerti benar apa yang akan dilakukan, maka sebaiknya abaikan saja file robot.txt.
follow@websitedesign
follow@websitedesign
THANK YOU for your continued liking 'n sharing. If you haven't liked this post yet, you may do that by hitting the buttons just BELOW.
Please drop your comment and questions below ……
