Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt
Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt - Ada berbagai macam masalah cakupan indeks pada webmaster atau google search console yang baru. Beberapa hari yang lalu saya mendapatkan sebuah peringatan pada google search console yaitu valid dengan peringatan.
Itu artinya bahwa halaman tersebut valid atau benar adanya namun perayap google tidak bisa atau tidak diizinkan untuk merayapi halaman tersebut, sehingga muncul sebuah pesan peringatan.
Status peringatan dengan alasan diindeks, meski diblokir oleh robots.txt bukan masalah serius yang perlu Anda perbaiki. Masalah ini perlu Anda tinjau kembali, apakah halaman yang diblokir oleh robots.txt tersebut memang tidak seharusnya atau tidak begitu penting untuk dirayapi oleh mesin telusur google?
Jika menurut anda tidak begitu penting maka lebih baik dibiarkan saja. Untuk pengguna platform blogger, masalah ini muncul karena misalnya halaman label di blokir oleh file robots.txt yang Anda gunakan, selain itu juga bisa disebabkan oleh meta tag yang digunakan pada template blog Anda.
Ada beberapa cara untuk mengatasi masalah peringatan indeks tapi diblokir oleh robots.txt, untuk lebih jelasnya silahkan Anda simak tutorialnya di bawah ini.
Apakah Masalah Peringatan Indeks Yang Diblokir Robots.txt Perlu Segera Diperbaiki?
Tergantung,..!
Mengapa..? karena masalah peringatan indeks ada berbagai macam.
Jika masalah yang Anda alami seperti saya, lihat pada gambar di bawah ini:
Contoh Error:
Sehingga ketika googlebot mencoba untuk merayapi blog atau website Anda maka peringatan ini akan muncul karena google tidak diizinkan untuk merayapi halaman tersebut.
Halaman arsip, label, dan hasil pencarian di blog memang tidak perlu diindeks, oleh sebab itu saya membiarkan peringatan ini. Namun, jika hal ini terjadi pada halaman postingan atau halaman produk-produk yang kita miliki.
Maka Anda sangat perlu untuk memperbaiki masalah ini dengan secepat mungkin. Maka dari itu saya mengatakan bahwa masalah peringatan diindeks meski diblokir oleh robots.txt ini tergantung dari halaman mana yang bermasalah.
Jadi jika halaman tersebut tidak begitu penting untuk diindeks di google, maka peringatan ini bisa Anda abaikan saja sedangkan jika Anda ingin halaman/postingan/produk atau jasa yang Anda miliki ingin tampil atau muncul di google maka segeralah perbaiki masalah ini.
Untuk pengguna wordpress dan blogger sebaiknya periksa kembali tag meta pada tema yang digunakan pada blog atau website Anda.
Itu artinya bahwa halaman tersebut valid atau benar adanya namun perayap google tidak bisa atau tidak diizinkan untuk merayapi halaman tersebut, sehingga muncul sebuah pesan peringatan.
Status peringatan dengan alasan diindeks, meski diblokir oleh robots.txt bukan masalah serius yang perlu Anda perbaiki. Masalah ini perlu Anda tinjau kembali, apakah halaman yang diblokir oleh robots.txt tersebut memang tidak seharusnya atau tidak begitu penting untuk dirayapi oleh mesin telusur google?
Jika menurut anda tidak begitu penting maka lebih baik dibiarkan saja. Untuk pengguna platform blogger, masalah ini muncul karena misalnya halaman label di blokir oleh file robots.txt yang Anda gunakan, selain itu juga bisa disebabkan oleh meta tag yang digunakan pada template blog Anda.
Ada beberapa cara untuk mengatasi masalah peringatan indeks tapi diblokir oleh robots.txt, untuk lebih jelasnya silahkan Anda simak tutorialnya di bawah ini.
Apakah Masalah Peringatan Indeks Yang Diblokir Robots.txt Perlu Segera Diperbaiki?
Tergantung,..!
Mengapa..? karena masalah peringatan indeks ada berbagai macam.
Jika masalah yang Anda alami seperti saya, lihat pada gambar di bawah ini:
Contoh Error:
https://www.adsenstock.com/search/label/TutorialIni disebabkan karena saya menggunakan meta tag di bawah ini pada template blog saya, sedangkan pada file robots.txt yang saya gunakan, saya tidak memblokir apapun.
https://www.adsenstock.com/search/label/Tutorial?&max-results=8
<b:if cond='data:blog.pageType in {"archive"} or data:blog.searchLabel or data:blog.searchQuery'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>
Arti tag meta di atas adalah bahwa setiap halaman arsip, halam label, dan halaman hasil pencarian atau penelusuran tidak akan diindeks dan atau rayapi oleh mesin penelusuran google.Sehingga ketika googlebot mencoba untuk merayapi blog atau website Anda maka peringatan ini akan muncul karena google tidak diizinkan untuk merayapi halaman tersebut.
Halaman arsip, label, dan hasil pencarian di blog memang tidak perlu diindeks, oleh sebab itu saya membiarkan peringatan ini. Namun, jika hal ini terjadi pada halaman postingan atau halaman produk-produk yang kita miliki.
Maka Anda sangat perlu untuk memperbaiki masalah ini dengan secepat mungkin. Maka dari itu saya mengatakan bahwa masalah peringatan diindeks meski diblokir oleh robots.txt ini tergantung dari halaman mana yang bermasalah.
Jadi jika halaman tersebut tidak begitu penting untuk diindeks di google, maka peringatan ini bisa Anda abaikan saja sedangkan jika Anda ingin halaman/postingan/produk atau jasa yang Anda miliki ingin tampil atau muncul di google maka segeralah perbaiki masalah ini.
Bagaimana Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt?
Ada dua cara agar status peringatan pada google search console hilang.
Namun sebelum melakukan langkah-langkah ini sebaiknya Anda meninjau sendiri untuk beberapa halaman di blog atau website Anda mungkin ada yang tidak perlu diindeks.
Misalnya halaman label, pencarian dan halaman arsip yang memang sebaiknya tidak perlu diindeks.
Alasannya karena halaman ini bukan merupakan halaman asli yang artinya dapat berubah-ubah, selain itu halaman ini juga memiliki kunjungan yang lebih sedikit sehingga tidak perlu untuk diindeks.
Baca: Cara Submit Sitemap ke Google Webmaster Tool
Baca: Cara Submit Sitemap ke Google Webmaster Tool
Namun jika Anda masih ingin tetap agar status peringatan diindeks, meski diblokir oleh robots.txt ini hilang, silahkan ikuti langkah-langkah di bawah ini.
1. Periksa kembali file robots.tx yang digunakan
Silahkan periksa kembali file robots.txt yang Anda gunakan, apakah ada perintah disallow seperti gambar berikut ini:
Jika ada perintah disallow seperti itu silahkan dihapus atau diganti menjadi allow, caranya bisa Anda lihat di bawah ini:
- Masuk ke Blogger.com
- Klik Setelan > Preferensi penelusuran
- Lalu pada bagian robots.txt khusus silahkan klik Edit
- Jika ada perintah Disallow: /search silahkan dihapus
Disallow: berarti tidak diizinkan
/search berarti seluruh halaman yang berada pada folder .../search/...
Jadi,
Disallow: /search artinya seluruh halaman yang berada pada folder /search tidak diizinkan untuk dirayapi. - Anda juga bisa mengubah perintah disallow menjadi allow, namun jika seperti ini lebih baik dihapus saja
- Terakhir silahkan klik Simpan perubahan
Jika Anda masih menggunakan google search console dengan tampilan yang lama, silahkan buka URL berikut ini:
https://www.google.com/webmasters/tools/robots-testing-tool
Kemudian pilih property atau blog yang ingin Anda ubah file robots.txt nya
2. Periksa kembali tag meta yang digunakan
Untuk pengguna wordpress dan blogger sebaiknya periksa kembali tag meta pada tema yang digunakan pada blog atau website Anda.
Jika tidak ingin muncul peringatan diindeks, meski diblokir oleh robots.txt alangkah baiknya hindari penggunaan tag meta noindex.
Baca Juga: Cara Mengatasi Duplikat Konten
Untuk pengguna blogger, silahkan ikuti langkah-langkahnya di bawah ini untuk menghapus tag meta noindex.
- Masuk ke Blogger.com
- Klik Tema > Edit HTML
- Kemudian cari kode noindex (gunakan ctrl + f untuk mempercepatnya)
- Jika ketemu silahkan hapus kode tersebut, contohnya seperti ini:
<meta content='noindex' name='robots'/>
Silahkan anda Hapus Kode Tersebut - Pastikan kode noindex yang dihapus berada pada bagian <head>...sampai...</head>
- Jika sudah tidak ada lagi kode noindex pada bagian <head> sampai </head> silahkan klik Simpan template
Jika anda sudah Menghapusnya Segera Lakukan Validasi Perbaikan
Jika Anda telah melakukan perbaikan dengan kedua cara di atas, maka segera lakukanlah validasi perbaikan.
Agar tim webmaster google melakukan pemeriksaan terhadap laporan validasi yang Anda ajukan.
Jika validasi yang Anda lakukan sudah benar maka status peringatan mengenai masalah cakupan indeks akan hilang dari aku google search console Anda.
Untuk melakukan validasi perbaikan caranya seperti berikut ini:
- Masuk ke google search console yang baru
- Kemudian pilih website atau blog Anda pada bagian Telusuri properti
- Lalu klik Cakupan indeks > klik pada Valid dengan peringatan > kemudian klik pada status Peringatan (lihat pada gambar kedua)
- Kemudian klik Validasi Perbaikan
- Selesai, silahkan tunggu hasilnya
Demikian adalah artikel sekilas tentang cara mengatasi peringatan diindeks, meski diblokir oleh robots.txt silahkan Anda coba, Semoga artikel ini bermanfaat, jika ada yang mau menambahkan silahkan di kolom komentar.
0 Response to "Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt"
Post a Comment
Silahkan Berkomentar Sesuai Dengan Topik Pembahasan,Komentar Spam Tidak Akan Muncul Sorry..!!!!