Cara Setting Robot.txt pada Blog

Sebagai seorang blogger Sobat pasti mengenal Robot.txt dan ini sangat berguna pada blog Sobat agar cepat terindeks oleh google.

Sobat  pasti ingin membuat blog atau Webnya cepat ditelusuri oleh google dan ingin terkenal juga :-)
nah dibawah ini  akan membagikan beberapa tips untuk mensetting robot.txt agar Sobat tidak keliru saat mensettingnya dan ini Aman dari kesalahan karena sudah Admin check di Tools penguji.
Nah simak baik-baik ya sobat :

Berikut adalah Cara Setting Robot.txt yang pertama.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu misalanya halaman About anda, maka Anda cukup menulis robot.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Settingan robot.txt berikut ini adalah untuk mencegah duplikat konten atau judul di blog, khususnya duplikat konten yang terjadi karena website dilihat dari mobile phone :

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED

Jika Ada Masalah Hubungi Kontak Admin dan atau Komentar Dibawah

Pernando Harianja Pendiri dan Pengelola di InfoLoh.com, yang hobby dalam pembuatan Program Komputer, dan ngeBlog. Untuk kenal lebih dekat Follow IG saya: @pernando_harianja

Berbagi :