Senin, 03 Juni 2019

Mengatasi Masalah Warning Diindeks Meski Diblokir Oleh Robots.txt

By  at Juni 03, 2019  , , ,  No comments


Kalau kita cek semua URL yang diindeks, meski diblokir oleh robots.txt ini adalah semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.
Seperti yang ditunjukan bahwa halaman-halaman tersebut diindeks, meski diblokir oleh robots.txt. Itu karena blogger menggunakan robots.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow:

User-agent: *

0 Post a Comment/Comments:

Posting Komentar