Comprendre
Google réserve son guide sur le sujet aux sites de plus d’un million de pages qui changent chaque semaine, ou de plus de 10 000 pages qui changent chaque jour. Un site vitrine de quelques centaines de pages n’a pas à s’en préoccuper.
Sur un grand site, le budget se gaspille sur des pages inutiles : filtres de recherche infinis, doublons, paramètres d’URL, chaînes de redirections. Les pages importantes sont alors visitées moins souvent.
Les leviers : bloquer l’exploration des espaces sans valeur, supprimer les doublons, répondre vite et tenir le sitemap à jour.
Un exemple concret
Exemple illustratif : un site d’annonces
Un site d’annonces immobilières compte des centaines de milliers d’URL, dont une majorité de combinaisons de filtres. Les nouvelles annonces mettent des jours à apparaître dans Google.
L’exploration des filtres est bloquée dans le robots.txt et le sitemap ne liste que les annonces actives. Les nouvelles annonces sont explorées plus vite.
L’erreur fréquente
S’en inquiéter pour un petit site
Optimiser le budget de crawl d’un site de 50 pages ne change rien : Google l’explore sans difficulté. Sur un petit site, travaillez le contenu et les liens, pas l’exploration.