Author by Yosef Doublehorn
Author by : Doublehorn

DAFTAR ISI
Protected by Copyscape Online Infringement Detector

03 Februari 2013

Solusi URL website dicekal file robots.txt


Fungsi file robots.txt adalah mengatur halaman tertentu website (blog) agar diindex atau mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.

Apa itu file Robots.txt? - website archives

Suatu kali saya mencemaskan performance blog karena sudah 5 bulan saya tidak bisa menghapus URL yang dicekal oleh robots.txt. Dari waktu ke waktu jumlah URL yang dicekal meningkat, terakhir naik drastis dari 102 langsung ke 182 URL. PageRank blog PR1 drop ke PR 0. Apa yang harus kulakukan dengan web blog website design milikku.

Google dan search engine lain kadangkala tidak bisa merayapi seluruh artikel atau sangat lambat memunculkan artikel di search engine disebabkan masalah Robots.txt.
  • File Robots.txt ialah file dalam directory root suatu blog (website) untuk mengkontrol webpage tertentu agar DIINDEKS oleh spider search engine atau  mengatur bagian-bagian tertentu blog agar TIDAK DIINDEKS.

Default robots.txt

Anda bisa melihat isi file robots.txt blog blogger dengan mengetikkan URL seperti ini.
  • http://NAMABLOGANDA.blogspot.com/robots.txt
Sesuaikan “NAMABLOGANDA” dengan nama blog Anda.
Secara default isi file robots.txt terdapat baris 'Disallow: /search' seperti terlihat dibawah ini.



User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated



Penjelasan default robots.txt
  • Adanya “Disallow: /search” menjadikan robot Google memblokir semua url yang datang dengan label 'search.'
  • Semua label blog beserta URL terkait dicekal (diabaikan) oleh search engine Google.
  • Inilah penyebab masalah meningkatnya jumlah URL dicekal.
  • Untuk memperbaiki URL Dicekal tersebut Anda perlu menghapus “/search

Memperbaiki URL dicekal robot.txt via Blogger - website files

Edit file robots.txt dilakukan melalui dashboard Blogger. Kemudahan ini berlaku sejak tahun 2012.

Tutorial

1.   Login ke Blogger.com
2.   Setelan  >>>  Preferensi dan penelusuran
3.   Pada kolom Perayap dan pengindeksan, pilih Edit di bagian kanan robots.txt khusus
halaman edit file robot
4.   Pergi ke baris Disallow: /search
5,   Hapus   /search  (sehingga terlihat seperti poin nomor 4 dibawah User-agent"*).
      Hasil akhirnya seperti dibawah ini.


      Ganti “http://website-download.blogspot.com” dengan URL blog Anda"

6.   Klik tombol Simpan prubahan 

Alternatif lain

Isi file robots.txt diatas bisa memunculkan masalah paginasi (penomoran halaman posting) di blog blogspot setelah menghapus
  • /search
Apa solusinya? Gunakan isi file robots.txt  dibawah ini untuk memblok halaman paginasi.


User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated


Ganti example.com dengan URL blog Anda (misalnya http://website-download.blogspot.com). Pastikan semua sesuai seperti yang kita inginkan dengan mengunjungi :
Untuk melihat hasilnya, tunggu  4-5 hari sesuai jadwal crawler Googlebots.

Peringatan keras terkait penggunaan robots.txt

PERHATIAN!
Anda harus hati-hati. Kesalahan setting robots.txt menyebabkan blog hilang dari  indeks search engine Google. Contoh kesalahan, misalnya mengisi “disallow:”  dengan hanya garis miring saja.
  • Disallow: /
Sama saja Anda tidak mengizinkan Googlebots menelusuri keseluruhan content. Akibatnya blog lenyap dari hasil pencarian Search Engine dan siapapun tidak akan menemukannya di Google.
Nangis Bombay, dahhh!!!

Jika ragu, abaikan saja keberadaan URL dicekal sampai Anda yakin dan tahu resiko. Perkaya referensi tentang robots.txt via browsing Google, masuk forum atau blog yang membahas isu ini.

CATATAN
  • Kita mengetahui URL dicekal melalui Webmaster tools. Google yang akan mengirim pesan bila terjadi kerusakan serius untuk segera diperbaiki.
  • Setidaknya seminggu sekali memeriksa kesehatan blog di Webmaster tools untuk mengetahui ada tidak-nya kerusakan blog Blogger.


That's all we know

THANK YOU for your continued liking 'n sharing. If you haven't liked this post yet, you may do that by hitting the buttons just BELOW. Please drop your comment and questions ……
Comments

18 komentar:

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1361083245214#c1715918058347985181'> 17/02/13 13.40 Reply

Terima kasih gan atas infonya, soalnya blog ane 117 urlnya dicekal sehingga selama 5 bulan tidak satupun halaman diindeks oleh Mbah googlenya.

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1362170203115#c2267700707569953941'> 02/03/13 03.36 Reply

wah punya ane bisa balik gak ya sob udah 112 yang di cekal

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1362709116647#c214110747720283793'> 08/03/13 09.18 Reply

Maturnuwun Url Saya juga Banyak yg dicekal robot txt Gimana nih dah semua dicoba Masih tetap ada

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1362971300686#c8738886939628511347'> 11/03/13 10.08 Reply

Kalau misalnya ada error seperti yang dijelaskan, apa robot txt nya bisa dinonaktifkan kembali?
Mohon pencerahannya master

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1364057396096#c2315636983091303406'> 23/03/13 23.49 Reply

thanks info

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1373025127560#c8159930111547503296'> 05/07/13 18.52 Reply
Komentar ini telah dihapus oleh administrator blog.
http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1373059523178#c1356464061670093314'> 06/07/13 04.25 Reply

To Pandu, sebaiknya isi file robots.txt dikembalikan ke isi file default/bawaan dari Blogger (lihat struktur isi file pada awal artikel).

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1373967824738#c9054976178819845609'> 16/07/13 16.43 Reply

sampai sekarang saya masi pusing urusin url dicekal gan saya sekarang pake plugin KB robot txt tapi ga ilang juga masih ada 7 url dicekal. aku harus gmana..apa sitemapku bermasalah atau gmana ya gan ..ini mungkin apa karena aku ganti SEO ya gan sebelumnya pake All in one sekarang pake yoars

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1374993526045#c5994111882215208613'> 28/07/13 13.38 Reply

terima kasih gan... info yang sangat berguna...secara blog ane turun drastis jumlah visit nya

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1374994035976#c5591922760206197657'> 28/07/13 13.47 Reply

Saya ikut senang, terimakasih kembali.

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1375062001867#c4572714278480828400'> 29/07/13 08.40 Reply

To Indonesia beautyfulcoubtry... Kalo cuma 7 url yang dicekal itu sedikit dan bisa diabaikan. Karena boleh jadi penyebabnya sudah bawaan dari sononya, yaitu adanya “Disallow: /search” yang menjadikan robot Google memblokir semua url yang datang dengan label 'search'

Singkat kata, semua label blog beserta URL terkait akan dicekal (diabaikan) oleh Google.

Thanks.

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1375115661536#c8984743932762813965'> 29/07/13 23.34 Reply

Oke penjelasannya sangat bisa di pahami

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1375395781613#c2727866116172534222'> 02/08/13 05.23 Reply

To Alaey, kita nggak perlu menghapus semua URL dicekal, karena URL label dan URL terkait dengan label (kategori posting) yang kita buat secara default akan dicekal oleh robots.txt. Jadi tetap ada URL dicekal yang kita biarkan saja. Ini baru dianggap masalah jika jumlah URL dicekal terlalu banyak (misalnya diatas 200).

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1380621804485#c3928221664490915604'> 01/10/13 17.03 Reply

Gan, kalo buat robots.txt Wordpress bisa bantu gak. saya punya 141 halaman nyang gak ke-index gara-gara salah bikin robots.txt. cuma mo tanya apa bisa 141 halaman saya ke index kembali dengan settingan default robots.txt dan berapa lama makan waktu Google buat nge-index nya?
Sekarang ane lagi nangis bombay neh..
sebelumnya terima kasih atas semua saran dan masukan.

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1383604339603#c7376765385353458486'> 05/11/13 05.32 Reply

terima kasih mas infonya,,,,

saya udh coba tapi kenapa ga berkurang ya mas?
mohon pencerahannya mas,,,,, terimakasih

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1384628479650#c1502799144256062954'> 17/11/13 02.01 Reply

Makasih sekali bos ats ilmunya, info ini mmg sangat sy butuhkan...

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1384883926497#c3062821751598816039'> 20/11/13 00.58 Reply

Bos sy sdh cb cr di atas tp kok URL yg dcekal malah tambah bnyk...

http://website-download.blogspot.com/2013/02/tutorial-blogger-solusi-url-dicekal.html?showComment=1409093070350#c878404206319807540'> 27/08/14 05.44 Reply

Terimakasih Bangat , Smoga Sukses yah. Amin

Poskan Komentar di Website Design

-

Penelusuran topik khusus di blog ini
Loading