Dengan adanya pembaharuan sistem pada webmaster maka muncul juga peringatan pada sebagian blog yaitu adanya masalah postingan yang diindeks meski diblokir oleh robot.txt. Sebelum kita bahas secara mendalam, perlukah hal ini dikhawatirkan? Apakah postingan yang diblokir oleh robot.txt akan mempengaruhi trafik blog? Apakah perlu diperbaiki? Nah, kita akan bahas pada postingan ini dan nanti silakan Anda tentukan sendiri mana yang terbaik yang harus dilakukan.
Baca Juga : Cara Mendapatkan Uang dari iklan AdSense tanpa klik
Munculnya masalah ini yaitu karena ada sebagian postingan yang terdapat di blog Anda sudah diindeks oleh google namun diblokir oleh robot.txt, dengan kata lain ada perintah untuk mencegah agar google tidak merayapi link URL yang dicekal ini. Hal ini bisanya terjadi pada URL dengan Label, bukan pada URL postingan biasa seperti contoh di bawah ini
 |
| contoh URL yang diblokir robot.txt |
URL Label ini pada dasarnya memang sengaja diblokir oleh setelan blog Anda, jika Anda pengguna platform blogger maka hal ini wajar terjadi. Sebenarnya hal ini tidak perlu Anda khawatirkan karena ini tidak akan berbahaya bagi blog Anda.
Apa penyebab masalah diindeks, meski diblokir oleh robot.txt ini?
Nah, secara umum penyebab hal ini terjadi adalah setelan pada blog Anda yang memang sengaja memblokir URL seperti ini, hal ini bisa Anda lihat pada menu setelan blog pada bagian preferensi penelusuran. Jika anda mengaktifkan custom robot.txt maka pasti terdapat perintah disallow untuk /search. Namun jika Anda tidak mengaktifkan fitur ini maka masalah terdapat pada kode HTML pada template blog Anda. Coba cari di HTML blog Anda kode di bawah ini
<b:if cond='data:blog.pageType in {"archive"} or
data:blog.searchLabel or
data:blog.searchQuery'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>
Nah pada kode HTML di atas artinya setiap URL hasil pencarian pada blog Anda tidak akan diindeks, ataupun URL dari label. Nah sebaiknya Anda biarkan saja demikian karena menurut saya pribadi URL tersebut memang tidak penting juga untuk diindeks.
Namun jika Anda tetap ingin mengatasi hal ini maka silakan hapus semua kode nonindex yang terdapat pada template blog Anda. Caranya masuk dulu ke edit HTML template blog Anda lalu silakan cari kode dibawah ini pada template blog Anda
<meta content='noindex,nofollow' name='robots'/>
Nah, silakan hapus semua kode tersebut yang berada diantara kode <head> sampai ke </head>. Setelah Anda menghapus semua kode itu silakan validasikan perbaikan yang Anda lakukan di webmaster tool dan tunggu beberapa hari ke depan dan masalah tersebut akan hilang dengan sendirinya.