Pengenalan Custom Robots.txt Blogger dan Pengaruhnya terhadap SEO 1/2

Bagi sobat yang sudah terbiasa menggunakan WordPress (org/self hosted) tentunya sudah sangat akrab menggunakan Robots.txt. Dengan robots.txt kita dapat melakukan berbagai macam kostumisasi perintah untuk mengizinkan/tidak mengizinkan robot crawler search engine melakukan crawl terhadap direktori atau halaman tertentu. Robots.txt WordPress sebenarnya adalah virtual dan bukan file fisik sebenarnya, sehingga kostumisasi jadi lebih mudah. Tentunya ini menjadi keuntungan tersendiri buat SEO. Dan sekarang, Blogger telah mempunyai fitur yg sama.

Sekitar lebih dari satu bulan yg kemudian, Blogger memperkenalkan fitur search preferences, buat mengatur berbagai setting optimasi SEO secara on page. Salah satu yg paling krusial adalah pengaturan/kostumisasi robots.txt.   Bukan berarti fitur lain menurut search preferences nir krusial, namun semuanya telah dicover menggunakan hack yg jauh-jauh hari telah kita lakukan, yaitu menggunakan penggunaan meta tags, yg manfaatnya sama serta sampai saat ini jauh lebih efektif.
Artikel ini terdiri menurut 2 bagian:
  1. Pengenalan dan Fungsi Perintah Robots.txt, yang sedang sobat baca pada halaman ini, dan
  2. Case Study dan Penggunaan Robots.txt pada Blogger.

Introduction to Robots.txt Functions

Setelah hampir satu bulan mencoba, sekarang saatnya saya menyampaikan secuil presentasi tentang fitur custom robots.txt Blogger ini.

Sebelumnya, apabila terdapat dari sobat yg masih kurang familiar menggunakan robots.txt, akan aku berikan citra sedikit. Penggunaan robots.txt merupakan buat memberikan informasi pada robot crawler - baik milik search engine, aggregator, maupun robot-robot pengindeks yang lain - bahwa suatu website, direktori, atau arsip/halaman web eksklusif TIDAK BOLEH diindeks. Sebagai contoh, sobat tidak ingin beberapa halaman blog (misal about, sitemap, label, dll) diindeks oleh search engine, maka sobat dapat menggunakan perintah dalam robots.txt supaya beberapa halaman tadi nir diindeks. Maka sebenarnya penggunaan awal berdasarkan robots.txt adalah buat melarang, DISALLOW, baru kemudian pada perkembangannya terdapat perintah mengijinkan, ALLOW.

Sebelum ada fitur robots.txt, kita menggunakan meta indeks buat mengatur ini (noindex, nofollow). Tetapi setelah fitur custom robots.txt blogger diperkenalkan, kita bisa menggunakan gampang mengontrol pengindeks-an.

Robots.txt pada dasarnya berisi dua baris perintah, yang pertama adalah identitas user agent (crawler, robot perayap), dan kedua adalah perintah pelarangan. 
user-agent: *
Disallow:
Perintah pada atas diterjemahkan sebagai berikut: User Agent diisi menggunakan tanda bintang yg berarti mengacu pada SEMUA crawler, baik milik search engine maupun yg lain, misalnya: feed agregator (bahkan robot autoblog!). Sedangkan Disallow tidak diisi/kosong berarti semua, baik root direktori, sub direktori, dan arsip, BOLEH diakses sang crawler.

Jika ingin melarang crawler mengakses website, maka kita memberikan perintah menggunakan tanda / (slash), yg berarti robot crawler nir boleh mengakses semua isi web/blog.
user-agent: *
Disallow: /
Namun bila ingin melarang indeks pada direktori atau laman tertentu, kita tuliskan tanda / diikuti dengan nama direktorinya. Contoh misalnya sobat nir ingin crawler mengindeks semua halaman tidak aktif maka penulisannya merupakan:
user-agent: *
Disallow: /p  (sesuai menggunakan nama direktori laman tidak aktif Blogger)
Allow: /
Allow: / dibubuhi buat mengizinkan crawler mengizinkan root directory, direktori lain, dan page lain diindeks. Arti dari perintah pada atas adalah crawler boleh mengindeks semua kecuali halaman-page statis. Sebenarnya Allow: / tidak dibubuhi pun tidak kasus, namun buat memastikan, Google lalu memperkenalkan serta merekomendasikan perintah tersebut.

Jika ingin mengacu pada robot crawler milik SE eksklusif yg tidak boleh mengindeks, sedangkan yang lain boleh, sobat wajib menambahkan nama user-agentnya, pada baris lain. Contoh ini akan memakai Googlebot, milik Google.
user-agent: *
Disallow: 
user-agent: Googlebot
Disallow: /p
Allow: /
Yup, tentunya kini sobat bisa menggunakan mudah mengartikan perintah robots.txt pada atas.
Posting ini berlanjut ke bagian ke dua yaitu Case Study (Studi Kasus) Robots.txt dan Penggunaannya Pada Blogger. So, go on to part 2. :)

Tidak ada komentar untuk "Pengenalan Custom Robots.txt Blogger dan Pengaruhnya terhadap SEO 1/2"