Fungsi file robots.txt adalah mengatur halaman tertentu website (blog) agar diindex atau mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.
Apa itu file Robots.txt? - website archives
Suatu kali saya mencemaskan performance blog karena sudah 5 bulan saya tidak bisa menghapus URL yang dicekal oleh robots.txt. Dari waktu ke waktu jumlah URL yang dicekal meningkat, terakhir naik drastis dari 102 langsung ke 182 URL. PageRank blog PR1 drop ke PR 0. Apa yang harus kulakukan dengan web blog website design milikku.
Google dan search engine lain kadangkala tidak bisa merayapi seluruh artikel atau sangat lambat memunculkan artikel di search engine disebabkan masalah Robots.txt.
- File Robots.txt ialah file dalam directory root suatu blog (website) untuk mengkontrol webpage tertentu agar DIINDEKS oleh spider search engine atau mengatur bagian-bagian tertentu blog agar TIDAK DIINDEKS.
Default robots.txt
Anda bisa melihat isi file robots.txt blog blogger dengan mengetikkan URL seperti ini.
- http://NAMABLOGANDA.blogspot.com/robots.txt
Sesuaikan “NAMABLOGANDA” dengan nama blog Anda.
Secara default isi file robots.txt terdapat baris 'Disallow: /search' seperti terlihat dibawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Penjelasan default robots.txt
- Adanya “Disallow: /search” menjadikan robot Google memblokir semua url yang datang dengan label 'search.'
- Semua label blog beserta URL terkait dicekal (diabaikan) oleh search engine Google.
- Inilah penyebab masalah meningkatnya jumlah URL dicekal.
- Untuk memperbaiki URL Dicekal tersebut Anda perlu menghapus “/search”
Memperbaiki URL dicekal robot.txt via Blogger - website files
Edit file robots.txt dilakukan melalui dashboard Blogger. Kemudahan ini berlaku sejak tahun 2012.
Tutorial
1. Login ke Blogger.com
2. Setelan >>> Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan, pilih Edit di bagian kanan robots.txt khusus
2. Setelan >>> Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan, pilih Edit di bagian kanan robots.txt khusus
4. Pergi ke baris Disallow: /search
5, Hapus /search (sehingga terlihat seperti poin nomor 4 dibawah User-agent"*).
Hasil akhirnya seperti dibawah ini.
- User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Ganti “http://website-download.blogspot.com” dengan URL blog Anda"
6. Klik tombol Simpan prubahan
Alternatif lain
Isi file robots.txt diatas bisa memunculkan masalah paginasi (penomoran halaman posting) di blog blogspot setelah menghapus
- /search
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Ganti example.com dengan URL blog Anda (misalnya http://website-download.blogspot.com). Pastikan semua sesuai seperti yang kita inginkan dengan mengunjungi :
- www.example.com/robots.txt. Atau sebagai contoh seperti ini.
- http://website-download.blogspot.com/robots.txt
Peringatan keras terkait penggunaan robots.txt
PERHATIAN!Anda harus hati-hati. Kesalahan setting robots.txt menyebabkan blog hilang dari indeks search engine Google. Contoh kesalahan, misalnya mengisi “disallow:” dengan hanya garis miring saja.
- Disallow: /
Nangis Bombay, dahhh!!!
Jika ragu, abaikan saja keberadaan URL dicekal sampai Anda yakin dan tahu resiko. Perkaya referensi tentang robots.txt via browsing Google, masuk forum atau blog yang membahas isu ini.
CATATAN
- Kita mengetahui URL dicekal melalui Webmaster tools. Google yang akan mengirim pesan bila terjadi kerusakan serius untuk segera diperbaiki.
- Setidaknya seminggu sekali memeriksa kesehatan blog di Webmaster tools untuk mengetahui ada tidak-nya kerusakan blog Blogger.
That's all we know
![](http://www.blogger.com/img/icon_delete13.gif alt="delete icon di web design){kind=icon}
.
.
.
.
.
.
.
.
![[Valid Atom 1.0]](https://lh3.googleusercontent.com/-AHjNV40KrDw/UextTozh8GI/AAAAAAAAMjU/UG7zSHdmatc/w88-h31-no/valid-atom.jpg "Validate my Atom 1.0 feed")
