Sebuah file robots.txt akan memberitahu robot-robot search engine, apakah mereka boleh merayapi bagian-bagian tertentu dari website (blog) dan menambahkan halaman tersebut untuk hasil pencarian search engine (SERP). File robots.txt hidup di web server sebuah blog atau website. Contohnya seperti file robots.txt pada blog blogger berikut ini :
Isi file robots.txt - website files
Untuk melihat seperti apa isi file txt, silahkan buka URL file robots.txt diatas ( .../robots.txt).
Jika situs ingin mendapatkan peringkat (
pagerank) baik di halaman hasil mesin pencari, maka perlu memastikan bahwa file robots.txt tidak memblokir robot-robot mesin pencari dari situs Anda. Di saat yang sama, mungkin punya halaman-halaman webpage yang Anda ingin tidak dimunculkan di halaman hasil pencarian. Untuk tujuan tersebut dapat digunakan file robots.txt untuk memberitahu mesin pencari, halaman-halaman mana yang tidak boleh dirayapi (crawl).Berikut ini contoh isi file robots.txt yang bersumber dari http://powells.com/robots.txt
User-agent: *
Disallow: /cgi-bin/Shopping_cart
Disallow: /cgi-bin/partner
Disallow: /cgi-bin/search.rss
Disallow: /cgi-bin/search.xml
Disallow: /cgi-bin/send_friend
Disallow: /cgi-bin/used_book_alerts
Disallow: /cgi-bin/wishlist
Disallow: /cart
Disallow: /search/
Disallow: /s?*
Disallow: /s3?*
Disallow: /trail
Disallow: /cgi-bin/recs/
Disallow: /cgi-bin/recs/rec_single.cgi
Disallow: /post
Disallow: /book
Disallow: /user
Disallow: /partner
Disallow: /Comments/Report
Disallow: /Comments/Karma
Disallow: /Comments/Submit
Disallow: /login
User-agent: googlebot
Disallow: /cgi-bin/Shopping_cart
Disallow: /cgi-bin/search.rss
Disallow: /cgi-bin/search.xml
Disallow: /cgi-bin/partner
Disallow: /cgi-bin/send_friend
Disallow: /cgi-bin/used_book_alerts
Disallow: /cgi-bin/wishlist
Disallow: /cart
Disallow: /search/
Disallow: /s?*
Disallow: /s3?*
Disallow: /trail
Disallow: /cgi-bin/recs/
Disallow: /cgi-bin/recs/rec_single.cgi
Disallow: /post
Disallow: /book
Disallow: /user
Disallow: /partner Disallow: /Comments/Report
Disallow: /Comments/Karma
Disallow: /Comments/Submit
Disallow: /login
User-agent: Charlotte
Disallow: /cgi-bin/Shopping_cart
Disallow: /cgi-bin/wishlist
Disallow: /cgi-bin/search.xml
Disallow: /cgi-bin/search.rss
Disallow: /cart
Disallow: /search/
Disallow: /s?*
Disallow: /s3?*
Disallow: /trail
User-agent: Slurp
Crawl-delay: 20
User-agent: ScoutJet
Crawl-delay: 30
Blogger telah mengizinkan dilakukan custom file robots.txt atau membuat file robots.txt khusus. Ini sangat bermanfaat karena kita sekarang dapat mengatur visibility dari semua posting di mesin pencari. Maksudnya, kita kini dapat authorisasi untuk mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.
- Untuk setting isi file robots.txt pada template platform blogspot Anda bisa pergi ke menu :
SETTING >> Preferensi Penelusuran
Selanjutnya edit isi file robots.txt.
PERINGATAN!
Jika salah setting, bisa jadi halaman website Anda yang di-indeks oleh mesin pencari bisa tiba-tiba jauh berkurang atau bahkan hilang dari halaman hasil pencarian search engine. Untuk itu pahami command yang ada pada file robots.txt. Untuk memahami file robots.txt
Jangan blokir blog dari search engine utama (Google, Yahoo etc)
Jika salah setting, bisa jadi halaman website Anda yang di-indeks oleh mesin pencari bisa tiba-tiba jauh berkurang atau bahkan hilang dari halaman hasil pencarian search engine. Untuk itu pahami command yang ada pada file robots.txt. Untuk memahami file robots.txt
Jangan blokir blog dari search engine utama (Google, Yahoo etc)
- You are not blocking Google's robot from adding your website's pages to its index.
- You are not blocking Bing's robot from adding your website's pages to its index, or Yahoo's.
- You are not blocking Baidu's robot from adding your website's pages to its index.
- You are not blocking AboutUs from crawling and analyzing your website
SILAHKAN KUNJUNGI :
Penjelasan dan Cara Setting Robots.txt di Blog Blogger
Tutorial Blogger : Solusi URL Dicekal oleh Robots.txt
Pengertian : URL Tidak Dipilih dan Dicekal Robots
Robots.txt Checker : Analisa Penyebab Blocked URL
Disallow : Hati-hati dengan penggunaan Robots.txt
Penjelasan dan Cara Setting Robots.txt di Blog Blogger
Tutorial Blogger : Solusi URL Dicekal oleh Robots.txt
Pengertian : URL Tidak Dipilih dan Dicekal Robots
Robots.txt Checker : Analisa Penyebab Blocked URL
Disallow : Hati-hati dengan penggunaan Robots.txt
That's all we know - Happy blogging
.
.
.
.
.
.
.
.
![[Valid Atom 1.0]](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhgqz1Fz0W3QZkeG4LsKvQplfCdmyhCrU3j95NWl1i-XarshrBBaYCr4hKUMKj5XbhHwJRvEFMd3j2pDLZepCzvjQU0kMiNhvbs51qAWczA_Mrw7y_wj0czorZsxBhfr9Y5Q8IN_vsORSA/w88-h31-no/valid-atom.jpg "Validate my Atom 1.0 feed")
