Robots.txt, sitemap atau frekuensi crawl ?
Bingung juga, setelah beberapa 3 minggu kok halaman yang ke index di google Cuma 3 halaman. Di cek di webmaster tool, sitemap, robots.txt oke-oke aja. Akhirnya bikin percobaan robots.txt nya diganti sama yang original :
User-Agent: *
Allow: /
Sebelumnya kan pake yang dari mas cosa :
# This rule means it applies to all user-agents
User-agent: *
# Disallow all directories and files within
Disallow: /wp-admin/
Disallow: /wp-includes/
# The Googlebot is the main search bot for google
User-agent: Googlebot
# Disallow Google from parsing individual post feeds and trackbacks..
Disallow: */feed/
Disallow: */trackback/
# Disallow all files with ? in url
Disallow: /*?*
Disallow: /*?
# The Googlebot-Image is the image bot for google
User-agent: Googlebot-Image
# Allow Everything
Allow: /*
# This is the ad bot for google
User-agent: Mediapartners-Google*
# Allow Everything
Allow: /*
Terus sitemapnya diganti daily semua di bagian frekuensi, kan pake sitemap generator. Setelah itu, di google webmaster frekuensi crawl di ganti fast.
Diamati setelah 3 harian, eh berhasil juga, langsung ke index 22 halaman. Tapi nggak tahu yang mana, yang bikin ke index hehe. Ada yang tahu?
Baca artikel sebelumnya