Kegunaan Robots txt untuk SEO blog dan membantu web crawler mengoptimalkan SERP (Search Engine Result pages).
Sebelum menggunakan robots.txt Anda harus memahami file robots.txt terlebih dahulu. Karena kesalahan penggunaan akan berakibat fatal bagi indeks halaman blog di SERP, yaitu TIDAK DI-INDEKS atau halaman web yang diindeks berkurang drastis.
Definisi file robots.txt - arsip website
Robots.txt adalah file dengan content teks sederhana yang memberi informasi ke robot search engine tentang laman-laman dan folder-folder dalam dokumen website (blog) mana yang BOLEH atau TIDAK BOLEH di-indeks oleh Googlebots dan robot search engine lain.
Jika sama sekali tidak ditemukan file robots.txt, maka robots mesin pencari AKAN MENGINDEKS SEMUA HALAMAN, termasuk baris-baris, file teks “disallow” folder atau halaman tertentu yang (sebenarnya) Anda tidak menghendaki untuk diakses oleh robot-robot mesin pencari.
Sebagai contoh, adanya perintah 'Disallow: /contact.html' dalam file robots.txt untuk memastikan bahwa “HALAMAN KONTAK” tidak akan ditampilkan dalam SERPs (Search Engine Result Pages).
Beware “Disallow:/” line! - website files
Mengapa harus sangat berhati-hati dengan baris dalam file robots.txt ini?
Kesalahan penggunaan baris “disallow” banyak terjadi karena para blogger dan webmaster pemula seringkali melakukan “Try and Error” atau “Learning by Doing” dalam proses belajar. Jika Anda termasuk di dalamnya dan coba-coba menuliskan Baris : 'Disallow: /' saja, tanpa diikuti tambahan halaman atau folder apapun, akan BERAKIBAT FATAL – dipastikan SELURUH ISI WEBSITE (semua halaman web) tidak akan diindeks oleh robots – artinya seluruh halaman blog atau website sama sekali tidak ada di halaman hasil pencarian semua search engine.
Semua praktek SEO dan kerja-keras Anda membangun blog atau pun website akan sia-sia.
Maka biasakan Anda selalu memeriksa file robots.txt untuk memastikan bahwa perlakuan Anda terhadap baris disallow dalam file tersebut sudah benar. Dan untuk memastikan keberadaan file tersebut klik saja link ini : robots.txt file.
Manfaat file Robots.txt - website files
Secara default file robots.txt ada dalam dokumen file situs. Jika file ini sama sekali tidak disentuh, maka semua isi blog akan diindeks robots web crawler. Ini tidak baik untuk SEO blog karena content tidak relevan dan tidak penting akan diindeks. Jadi lebih baik Anda menyodorkan file/folder/direktori mana yang tidak ingin dirayapi oleh robots Crawler mesin pencari.
Manfaat penggunaan file robots.txt :
- Meng-indeks dan membatasi halaman web yang ditargetkan
- Mempercepat proses peng-indeks-an
- Menambah nilai SEO pada website
- Mengantisipasi terjadinya duplikat content
- Menjaga file sistem dari peng-indeks-an
Indeksabilitas blog atau website
Seberapa banyak laman situs bisa ter-indeks? Sejauh mana mesin pencari dapat menemukan laman di situs Anda dan membaca teks pada webpage tersebut?
Indeksabilitas situs penting dalam menentukan laman mana yang akan dimasukkan ke SERPs (hasil pencarian search engine). Banyak blog bermasalah di indeksabilitas. Biasanya disebabkan struktur miskin navigasi dan penggunaan komponen yang memungkinkan tidak dapat diindeks (misal kesalahan penggunaan “disallow:/”).
Resiko paling fatal, situs blog Anda hilang dari halaman hasil pencarian mesin pencari dan resiko paling ringan yaitu sedikitnya jumlah webpage yang di-indeks.
Related Post :
- Mengenal File robots.txt dan Cara Penggunaannya
- Penjelasan dan Cara Setting Robots.txt di Blog Blogger
That's all we know - Happy Blogger!!!
.
.
.
.
.
.
.
.
![[Valid Atom 1.0]](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhgqz1Fz0W3QZkeG4LsKvQplfCdmyhCrU3j95NWl1i-XarshrBBaYCr4hKUMKj5XbhHwJRvEFMd3j2pDLZepCzvjQU0kMiNhvbs51qAWczA_Mrw7y_wj0czorZsxBhfr9Y5Q8IN_vsORSA/w88-h31-no/valid-atom.jpg "Validate my Atom 1.0 feed")
