Lors de la réalisation dun audit SEO, de nombreux aspects dun site sont vérifiés afin de s’assurer ces performances SEO. L’un de ces aspects est la gestion de budget crawl de Google. Cette notion, parfois mise de côté, est pourtant lune des pierres angulaires du SEO. Essayons de creuser ce point et de voir comment nous pouvons optimiser le budget crawl dun site.
Qu’est-ce que le budget crawl de Google ?
Le budget crawl correspond à la fréquence de crawl des pages de votre site par les Google bots (les fameux spiders). Chaque site présent dans l’index Google va être crawlé à différentes fréquences en fonction de différents facteurs déterminés par Google.
Parmi ces facteurs retenus par Google, nous pouvons retrouver :
- Le temps de réponse du serveur : est-ce que votre serveur est lent ? Est-il vite dépassé par la navigation du bot sur votre site ?
- La fraicheur de votre contenu : Google pourra décider d’augmenter sa fréquence de crawl sur un site qui propose des mises à jour de contenu régulières (sites d’actualités par exemple).
- La profondeur dun site : Google aura plus de difficulté un site ayant une arborescence profonde. Les pages profondes ne bénéficieront pas dun crawl régulier de Google.
- La pertinence du contenu de votre site : Si Google détermine que votre site présente un contenu pertinent et de qualité pour ces utilisateurs, il pourra décider d’allouer plus de temps de crawl à celui-ci. Au contraire il pourra également délaisser un site avec un contenu jugé sans intérêt.
- La taille et l’autorité de votre site : plus un site est grand et fait preuve d’autorité, plus Google va passer du temps a le crawler. Google crawlera plus fréquemment Amazon que le site de votre coiffeur.
Vous l’aurez compris le budget crawl est un indicateur clé à prendre en compte lors de vos optimisations. Plus votre site sera petit, plus des efforts devront être faits afin de donner envie à Google de visiter plus souvent votre site.
Afin de réconcilier votre site et les bots de Google, voici quelques pistes d’améliorations pour optimiser son budget crawl.
Les astuces pour optimiser le budget crawl dun site
Comme vu dans la première partie, la fréquence de crawl de Google est basée sur plusieurs critères : Le temps de réponse du serveur, la fraicheur du contenu, la profondeur de votre arborescence, la taille de votre site et pertinence du contenu. Voyons maintenant comment jouer sur ces critères pour changer la donne.
Vérifier la rapidité de la réponse serveur de votre site
Le temps de chargement est un critère essentiel à vérifier. Il est important que Google puisse crawler l’ensemble des pages de votre site sans être ralenti par un temps de latence serveur trop fort. Pour s’assurer de cela, vous pouvez utiliser un outil comme PageSpeedInsight de Google et vérifier que votre serveur réponde bien. Si ce point nest pas satisfaisant, rapprochez vous de la personne gérant votre infrastructure afin de trouver des optimisations serveur.
Maitriser la profondeur d’arborescence de votre site
Plus une page est loin de la Home page, moins Google prendra le temps de la crawler. Il est donc essentiel s’assurer de ne pas ne pas trop créer de niveaux d’arborescence au sein de votre site. Une arborescence à trois niveaux semble être un modèle fiable pour la majorité des sites.
Bloquer les pages non stratégiques aux Google Bots
L’un des points essentiels pour optimiser le budget crawl dun site est de s’assurer que les pages non stratégiques pour le SEO ne soient pas accessibles aux Google bots. Ces pages peuvent être par exemple :
- Les pages issues de filtres
- Les pages de résultat de recherche interne
- Les pages sans contenu
- Etc…
Pour bloquer ces pages, plusieurs techniques peuvent être mises en place : placer une direction disallow dans le fichier Robots.txt si la page nest pas déjà indexée dans Google, placer une balise Noindex sur la page ou canonical contenant l’url canonique pour les pages paramétrées notamment.
Publier du contenu intéressant fréquemment sur votre site
Les Google bots crawleront plus souvent un site proposant régulièrement un contenu frais de qualité. Il est donc important de créer un planning éditorial permettant de publier votre contenu de manière fréquente. Éviter de publier votre contenu dun seul coup. Préférez des publications à intervalles régulières.
Pour conclure sur le budget crawl de Google
Vous l’aurez compris, certains reflexes facilement applicables sur votre site vous permettront d’optimiser son budget crawl. Grace à cela, vous donnerez enfin à Google de venir explorer les pages de votre site pus souvent.
