Author by Yosef Doublehorn
Author by : Doublehorn
DAFTAR ISI
Protected by Copyscape Online Infringement Detector

30 April 2013

Robots.txt : Cara penggunaan untuk website dan blog


Sebuah file robots.txt akan memberitahu robot-robot search engine, apakah mereka boleh merayapi bagian-bagian tertentu dari website (blog) dan menambahkan halaman tersebut untuk hasil pencarian search engine (SERP). File robots.txt hidup di web server sebuah blog atau website. Contohnya seperti file robots.txt pada blog blogger berikut ini :


Isi file robots.txt - website files

Untuk melihat seperti apa isi file txt, silahkan buka URL file robots.txt diatas ( .../robots.txt).

Jika situs ingin mendapatkan peringkat (pagerank) baik di halaman hasil mesin pencari, maka perlu memastikan bahwa file robots.txt tidak memblokir robot-robot mesin pencari dari situs Anda. Di saat yang sama, mungkin punya halaman-halaman webpage yang Anda ingin tidak dimunculkan di halaman hasil pencarian. Untuk tujuan tersebut dapat digunakan file robots.txt untuk memberitahu mesin pencari, halaman-halaman mana yang tidak boleh dirayapi (crawl).

Berikut ini contoh isi file robots.txt yang bersumber dari http://powells.com/robots.txt

User-agent: *
Disallow: /cgi-bin/Shopping_cart
Disallow: /cgi-bin/partner
Disallow: /cgi-bin/search.rss
Disallow: /cgi-bin/search.xml
Disallow: /cgi-bin/send_friend
Disallow: /cgi-bin/used_book_alerts
Disallow: /cgi-bin/wishlist
Disallow: /cart
Disallow: /search/
Disallow: /s?*
Disallow: /s3?*
Disallow: /trail
Disallow: /cgi-bin/recs/
Disallow: /cgi-bin/recs/rec_single.cgi
Disallow: /post
Disallow: /book
Disallow: /user
Disallow: /partner
Disallow: /Comments/Report
Disallow: /Comments/Karma
Disallow: /Comments/Submit
Disallow: /login
User-agent: googlebot
Disallow: /cgi-bin/Shopping_cart
Disallow: /cgi-bin/search.rss
Disallow: /cgi-bin/search.xml
Disallow: /cgi-bin/partner
Disallow: /cgi-bin/send_friend
Disallow: /cgi-bin/used_book_alerts
Disallow: /cgi-bin/wishlist
Disallow: /cart
Disallow: /search/
Disallow: /s?*
Disallow: /s3?*
Disallow: /trail
Disallow: /cgi-bin/recs/
Disallow: /cgi-bin/recs/rec_single.cgi
Disallow: /post
Disallow: /book
Disallow: /user
Disallow: /partner Disallow: /Comments/Report
Disallow: /Comments/Karma
Disallow: /Comments/Submit
Disallow: /login
User-agent: Charlotte
Disallow: /cgi-bin/Shopping_cart
Disallow: /cgi-bin/wishlist
Disallow: /cgi-bin/search.xml
Disallow: /cgi-bin/search.rss
Disallow: /cart
Disallow: /search/
Disallow: /s?*
Disallow: /s3?*
Disallow: /trail
User-agent: Slurp
Crawl-delay: 20
User-agent: ScoutJet
Crawl-delay: 30

Blogger telah mengizinkan dilakukan custom file robots.txt atau membuat file robots.txt khusus. Ini sangat bermanfaat karena kita sekarang dapat mengatur visibility dari semua posting di mesin pencari. Maksudnya, kita kini dapat authorisasi untuk mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.
  • Untuk setting isi file robots.txt pada template platform blogspot Anda bisa pergi ke menu :

    SETTING  >> Preferensi Penelusuran

    Selanjutnya edit isi file robots.txt.

edit file robots txt blogger
PERINGATAN!
Jika salah setting, bisa jadi halaman website Anda yang di-indeks oleh mesin pencari bisa tiba-tiba jauh berkurang atau bahkan hilang dari halaman hasil pencarian search engine. Untuk itu pahami command yang ada pada file robots.txt. Untuk memahami file robots.txt

Jangan blokir blog dari search engine utama (Google, Yahoo etc)
  • You are not blocking Google's robot from adding your website's pages to its index.
  • You are not blocking Bing's robot from adding your website's pages to its index, or Yahoo's.
  • You are not blocking Baidu's robot from adding your website's pages to its index.
Don’t block AboutUs from your website.
  • You are not blocking AboutUs from crawling and analyzing your website




That's all we know - Happy blogging

Comments

0 komentar:

Posting Komentar di Website Design

-

Penelusuran topik khusus di blog ini
Loading