Comment optimiser le budget crawl de Google pour le SEO ?

budget crawl seo

Lors de la réalisation d’un audit SEO, de nombreux aspects d’un site sont vérifiés afin de s’assurer ces performances SEO. L’un de ces aspects est la gestion de budget crawl de Google. Cette notion, parfois mise de côté, est pourtant l’une des pierres angulaires du SEO. Essayons de creuser ce point et de voir comment nous pouvons optimiser le budget crawl d’un site.

Qu’est-ce que le budget crawl de Google ?

Le budget crawl correspond à la fréquence de crawl des pages de votre site par les Google bots (les fameux spiders). Chaque site présent dans l’index Google va être crawlé à différentes fréquences en fonction de différents facteurs déterminés par Google.

Parmi ces facteurs retenus par Google, nous pouvons retrouver :

  • Le temps de réponse du serveur : est-ce que votre serveur est lent ? Est-il vite dépassé par la navigation du bot sur votre site ?

 

  • La fraicheur de votre contenu : Google pourra décider d’augmenter sa fréquence de crawl sur un site qui propose des mises à jour de contenu régulières (sites d’actualités par exemple).

 

  • La profondeur d’un site : Google aura plus de difficulté un site ayant une arborescence profonde. Les pages profondes ne bénéficieront pas d’un crawl régulier de Google.

 

  • La pertinence du contenu de votre site : Si Google détermine que votre site présente un contenu pertinent et de qualité pour ces utilisateurs, il pourra décider d’allouer plus de temps de crawl à celui-ci. Au contraire il pourra également délaisser un site avec un contenu jugé sans intérêt.

 

  • La taille et l’autorité de votre site : plus un site est grand et fait preuve d’autorité, plus Google va passer du temps a le crawler. Google crawlera plus fréquemment Amazon que le site de votre coiffeur.

Vous l’aurez compris le budget crawl est un indicateur clé à prendre en compte lors de vos optimisations. Plus votre site sera petit, plus des efforts devront être faits afin de donner envie à Google de visiter plus souvent votre site.

Afin de réconcilier votre site et les bots de Google, voici quelques pistes d’améliorations pour optimiser son budget crawl.

Les astuces pour optimiser le budget crawl d’un site

Comme vu dans la première partie, la fréquence de crawl de Google est basée sur plusieurs critères : Le temps de réponse du serveur, la fraicheur du contenu, la profondeur de votre arborescence, la taille de votre site et pertinence du contenu. Voyons maintenant comment jouer sur ces critères pour changer la donne.

Vérifier la rapidité de la réponse serveur de votre site

Le temps de chargement est un critère essentiel à vérifier. Il est important que Google puisse crawler l’ensemble des pages de votre site sans être ralenti par un temps de latence serveur trop fort. Pour s’assurer de cela, vous pouvez utiliser un outil comme PageSpeedInsight de Google et vérifier que votre serveur réponde bien. Si ce point n’est pas satisfaisant, rapprochez vous de la personne gérant votre infrastructure afin de trouver des optimisations serveur.

Maitriser la profondeur d’arborescence de votre site

Plus une page est loin de la Home page, moins Google prendra le temps de la crawler. Il est donc essentiel s’assurer de ne pas ne pas trop créer de niveaux d’arborescence au sein de votre site.  Une arborescence à trois niveaux semble être un modèle fiable pour la majorité des sites.

Bloquer les pages non stratégiques aux Google Bots

L’un des points essentiels pour optimiser le budget crawl d’un site est de s’assurer que les pages non stratégiques pour le SEO ne soient pas accessibles aux Google bots. Ces pages peuvent être par exemple :

  • Les pages issues de filtres
  • Les pages de résultat de recherche interne
  • Les pages sans contenu
  • Etc…

Pour bloquer ces pages, plusieurs techniques peuvent être mises en place :  placer une direction disallow dans le fichier Robots.txt si la page n’est pas déjà indexée dans Google, placer une balise Noindex sur la page ou canonical contenant l’url canonique pour les pages paramétrées notamment.

Publier du contenu intéressant fréquemment sur votre site

Les Google bots crawleront plus souvent un site proposant régulièrement un contenu frais de qualité. Il est donc important de créer un planning éditorial permettant de publier votre contenu de manière fréquente. Éviter de publier votre contenu d’un seul coup. Préférez des publications à intervalles régulières.

Pour conclure sur le budget crawl de Google

Vous l’aurez compris, certains reflexes facilement applicables sur votre site vous permettront d’optimiser son budget crawl. Grace à cela, vous donnerez enfin à Google de venir explorer les pages de votre site pus souvent.

Mathieu, Consultant SEO et acquisition. Je vous partage sur ce site tous les articles, guides et tips utiles à toutes les personnes travaillant ou s’intéressant à l'acquisition de trafic Web. Les articles présents sur veille-digitale.com s’articulent autour du référencement payant (SEA, affiliation...), référencement organique (SEO) et l’acquisition de trafic via les réseaux sociaux (Facebook, Instagram, Twitter...)

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici