Mengatasi Masalah Warning Diindeks Meski Diblokir Oleh Robots.txt

Kategori Berita

Downloader sosmed

Phankz

Video Tiktok Downloader

Mengatasi Masalah Warning Diindeks Meski Diblokir Oleh Robots.txt

Senin, 03 Juni 2019


Kalau kita cek semua URL yang diindeks, meski diblokir oleh robots.txt ini adalah semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.
Seperti yang ditunjukan bahwa halaman-halaman tersebut diindeks, meski diblokir oleh robots.txt. Itu karena blogger menggunakan robots.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow:

User-agent: *