Author by Yosef Doublehorn
Author by : Doublehorn
DAFTAR ISI
Protected by Copyscape Online Infringement Detector

03 Februari 2013

Setting file robots.txt di blog Blogger


File robots.txt dan website blog platform blogger


P ada dashboard blog platform Blogspot saat ini, Blogger izinkan dilakukan custom file robots.txt atau membuat file robots.txt khusus. Ini luarbiasa. Kita bisa atur visibility semua posting di search engine. Maksudnya, kita punya authorisasi untuk setting artikel tertentu agar tidak terindeks (atau sebaliknya) search engine.

Secara default, setiap blog blogger mempunyai file robots.txt yang isinya seperti di bawah ini. Pada file robots.txt  ada baris 'Disallow: /search' seperti berikut ini.

User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow : /search
Allow : /

Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasannya :

Mediapartners-Google

Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah setting, maka iklan yang ditayangkan tidak akan menyesuaikan dengan content website Anda.

Tanda (*)

Tanda bintang ini Artinya untuk semua robot.

Disallow: /search

Pada konfigurasi defaultnya jelas terlihat bahwa label-label untuk semua artikel blog kita sudah di-setting untuk TIDAK terindeks dengan dituliskannya :
  • Disallow: /search.
Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda,
Jadi misalnya Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini :
  • Disallow: /
karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda.

Semua artikel website dan label terindeks search engine

Dan sebaliknya jika semua isi blog ingin dilacak oleh mesin pencari, maka menjadi seperti di bawah ini :

User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow :
Allow : /

Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas, semua artikel dan label akan terindeks oleh mesin pencari Google dan mesin pencari lainnya.

Memblok halaman website tertentu

Untuk memblok robot di halaman tertentu (saya ambil contoh halaman Ihwal saya) Anda cukup menulis seperti berikut :

User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow : /p/ihwal.html
Allow : /

Sitemap : http://www.example.com/feeds/posts/default?orderby=updated

Menanggulangi Masalah Paginasi
Untuk solusi masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi :


User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated


Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi
Ganti semua URL contoh di atas http://website-download.blogspot.com dengan URL blog blogger Anda.

PERHATIAN!
Gunakan dengan SANGAT hati-hati. Jika salah menggunakan fitur ini, blog Anda bisa diacuhkan Google. Jika belum tahu benar apa yang akan dilakukan, sebaiknya abaikan saja file robots.txt.



That's all we know - Happy be blogger

Comments

4 komentar:

http://website-download.blogspot.com/2013/02/penjelasan-dan-cara-setting-robotstxt.html?showComment=1361288064425#c2304238552176726474'> 19/02/13 22.34 Reply

gan, apa sih robots.txt khusus & manfaatnya. ane kok bingung ya

http://website-download.blogspot.com/2013/02/penjelasan-dan-cara-setting-robotstxt.html?showComment=1361294926991#c1416859973749986567'> 20/02/13 00.28 Reply

Hai Belitung Tour! Maaf kawan, saya tidak jawab langsung. Namun saya update saja penjelasannya. Silahkan sobat baca ulang artikel ini dengan cermat dan jangan dibaca cepat - slow saja!

http://website-download.blogspot.com/2013/02/penjelasan-dan-cara-setting-robotstxt.html?showComment=1366421386020#c4013954213684605571'> 20/04/13 08.29 Reply

tanks sharenya .. mau ku coba dulu

http://website-download.blogspot.com/2013/02/penjelasan-dan-cara-setting-robotstxt.html?showComment=1387314963755#c962385858322261313'> 18/12/13 04.16 Reply

Hallo mas ... saya sudah kunjungi file robot.txt nya tapi koq hasilnya sama dengan yang mas bilang standart ya ...

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED

Apakah setingan tempat mas Yusuf memang dikembalikkan ke standartnya atau bagaimana? mohon infonya ya ...

Mantab sekali share-nya terima kasih

Poskan Komentar di Website Design

-

Penelusuran topik khusus di blog ini
Loading