Case Study Custom Robots.txt dan Penggunaannya pada Blogger 2/2

Posting ini adalah bagian kedua menurut artikel tentang Robots.txt Blogger yang terdiri menurut 2 bagian:
  1. Pengenalan dan Fungsi Perintah Robots.txt serta Pengaruhnya dalam SEO, bagi yang belum baca, simak terlebih dahulu sebelum membaca bagian ini.
  2. Case Study serta Penggunaan Robots.txt dalam Blogger, yang sedang sobat baca dalam page ini

Case Study Robots.txt dalam Blogger

Setelah sobat mengetahui beberapa hal mengenai perintah robots.txt, aku akan coba presentasikan beberapa hal sebagai upaya melihat efektivitas penggunaan robots.txt pada Blogger.

Sebelumnya, perlu saya sampaikan bagi yang belum memahami, sobat dapat mengakses fitur ini melalui dashboard > settings > search preferences serta lihat bagian bawah dalam custom robots.txt. (Note: Jangan melakukan editing dahulu sebelum sobat tahu betul apa yg harus dituliskan).

Sebagai latar belakang, robots.txt sudah terbuat secara otomatis; mengandung perintah default yang sudah diset sang Blogger. Sobat sanggup melihat robots.txt menggunakan mengakses Google Webmaster Tools, serta lihat dalam sub halaman "crawler access". Atau yang lebih mudah, lihat aja langsung arsip nya dengan menambahkan  nama arsip robots.txt pada belakang url blog. //blogmu.blogspot.com/robots.txt, model : //mengenai-soal.blogspot.com/robots.txt. Secara default misalnya ini baris-baris perintahnya:
User-agent: Mediapartners-Google
Disallow:  
User-agent: *
Disallow: /search
Allow:
Sitemap: //mengenai-soal.blogspot.com/feeds/posts/default?orderby=updated
Kelompok baris pertama adalah user agent milik adsense; digunakan menjadi perintah buat mengijinkan robot crawler adsense buat mengindeks website/blog. Fungsinya untuk mengetahui isi web/blog, agar iklan yg ditampilkan lebih relevan, serta ini tidak sama/berkaitan menggunakan crawler Google search engine. Bagi yg memakai adsense pada Blogger, tentun ini menguntungkan serta jangan dihapus. Terus bagi yang menggunakan adsense pada WordPress (self hosted, bukan yg gratisan wordpress.com, itu mah ga boleh pasang iklan, hehe), Joomla, Drupal, dll, masukkan perintah ini buat mempermudah crawler adsense.
Kelompok baris ke 2 adalah perintah buat seluruh crawler SE. Kita lihat disitu ada /search, sebuah direktori yang berisi label Blogger, yang memang lebih baik tidak diindeks.
Dan gerombolan baris ketiga adalah sitemap (feed yg ditambah perintah orderby, berisi list berdasarkan update-update terkini), yg membantu meningkatkan kecepatan pengindeksan.

Case study yg aku lakukan khusus pada label. Label menjadi "page terlarang" buat diindeks lantaran bukan adalah laman riil dan dapat mengakibatkan duplikasi, efeknya tentu tidak baik bagi SEO. Kasus ini pula terjadi pada laman arsip (archive).

Method
1. Menggunakan rel=nofollow pada label.
Saya menghilangkan pelarangan terhadap indeks label ( /search), serta balik menggunakan rel=nofollow dalam label, seperti yg pernah aku sampaikan dulu.
2. Menghilangkan rel=nofollow pada label, dan kembali menggunakan perintah pelarangan indeks label pada robots.txt 9mengembalikan pada setting semula)
Setelah beberapa ketika serta setelah menerima hasil menurut metode pertama, saya balik memakai perintah pelarangan indeks label, serta menghilangkan rel=nofollow label.
3. Menggunakan rel=nofollow label sekaligus pelarangan indeks pada robots.txt (Disallow: /search).
Setelah mendapatkan hasil dari cara kedua, saya menggunakan kedua perintah nofollow dan disallow pada robots.txt.

Results
Hasil menurut ketiga metode percobaan tersebut relatif berbeda:
1. Dengan menggunakan rel=nofollow saja dalam label, error yg muncul pada Webmaster Tools masih saja ada, dari sekitar 90 error dalam saat crawling, pengurangannya tidak signifikan, hanya kurang lebih 10-15 saja pada saat satu minggu, itupun tidak menghindarkan adanya page label yang masih terindeks.
2. Dengan menggunakan pelarangan pada robots.txt, tanpa rel=nofollow, pengurangan error crawl lumayan berkurang, dari sisa di atas (sekitar 65-80 label), sisanya sekitar 30-40 saja hanya kurang dari satu minggu.
3. Dan yang terakhir, menggunakan penggunaan keduanya, hasilnya jauh sangat signifikan, sampai ini aku tulis hasilnya= 0! Tidak ada lagi yang menjadi perkara pada crawl errors pada Webmaster Tools, serta semuanya hanya pada ketika singkat.

Kesimpulan
Seperti yang sudah disampaikan dalam forum-forum webmaster dan oleh search engine seperti Google sendiri, menggunakan robots.txt tidak serta merta dapat langsung melarang indeks. Bahkan kadang-kadang, "suka-suka gue lah...," kata GoogleMisalnya, sobat melarang satu page buat diindeks, namun halaman tadi punya backlink poly (backlink bisa dari page web sendiri/internal link, atau web lain/external link), maka beliau permanen akan ditampilkan menggunakan anchor text sesuai menggunakan backlink yang diindeks Google. Nah menggunakan penggunaan dua perintah sekaligus, setidaknya kita sanggup menghilangkan residu-residu backlink yang masih follow di laman blog sendiri. Dengan demikian, bila sobat mencantumkan link label di laman tertentu, dan dia follow, maka masih diperhitungkan sang Google dan masuk pada crawl error. Bahkan meskipun kita telah menggunakan Disallow pada robot txt. So, bila ingin label tidak diindeks, buat memaksimalkan SEO, gunakan pula rel=nofollow pada label. Asumsi ini tentunya pula berlaku dalam halaman-page lain dimana sobat nir ingin search engine mengindeksnya (arsip contohnya).

Cara Mengedit serta Mengisi Custom Robots.txt

a. Seperti yang sampaikan di atas, akses robots.txt editor melalui  dashboard > settings > search preferences >  crawlers and indexing > custom robots.txt, klik edit.
b. Kemudian klik yes, isikan perintah robots.txt sesuai dengan yang sobat inginkan, dan save.

Penting: Jika memang sobat tidak punya kebutuhan untuk melarang indeks pada halaman tertentu, jangan melakukan apapun. Jika ingin mengembalikan seperti semula (default robots.txt dari Blogger), kembalikan dengan memilih "no" dan save.

Sebenarnya pelarangan indeks sangat penting, kita dapat mengontrol halaman-halaman seperti label (ini sudah diset secara default), dan arsip, yang jelas menyebabkan duplikasi konten. Jika sobat tidak nyaman dengan menggunakan robots.txt untuk menghentikan indeks arsip, saya sarankan menggunakan meta indeks/content buat menghindari duplikasi lantaran arsip, caranya jauh lebih gampang.

Saya melihat penggunaan robots.txt yang digabung dengan beberapa cara lain, contohnya penggunaan rel=nofollow, relatif memberikan output pencarian berkualitas serta traffic yang jauh lebih tinggi. Dan aku harap juga demikian dalam blog sobat.

Salam hangat.

Tidak ada komentar untuk "Case Study Custom Robots.txt dan Penggunaannya pada Blogger 2/2"