Qu’est-ce que l’analyse de logs en SEO ?

L’analyse de logs SEO consiste à prendre les fichiers d’accès bruts http de votre serveur web (Apache ou Nginx par exemple), de filtrer les passages d’un bot google et d’établir un plan d’action SEO en fonction des URLs listées et de leurs statuts.

A quoi sert l’analyse logs SEO ?

L’analyse de logs a pour objectif d’observer ce google fait sur votre site, par où il passe et continue d’essayer de passer. L’objectif est de détecter des problèmes de ce type :

• Des urls 404 non redirigées : Elles peuvent être historiques et être repêchées grâce à l’analyse de logs afin de nettoyer le crawl de Google.
• Des erreurs serveurs ponctuelles, typiquement si votre serveur tombe toutes les nuits distribuant les 503 à Google, vous ne le découvrirez qu’avec de l’analyse de logs et pas avec un crawl ponctuel dans des conditions idéales en journées.
• Des pages orphelines : vous découvrirez ainsi des URLs qui ont disparus du maillage, quelle qu’en soit la raison.
• D’anciens pattern d’url techniques inutiles désormais : mais vous pourrez mettre en place des noindex, purger le crawl de ces URLs qui ne servent plus.

Il faut garder en tête que l’analyse de logs va vous montrer ce que vie Google, ce qu’il subit oserais-je dire en venant chez vous. Ce type d’analyse est donc un véritable reflet de votre situation SEO.

Différence entre crawl SEO classique et analyse de logs

Il y a souvent une ambiguïté entre l’intérêt d’un crawl et de l’analyse de logs pure et dure. Dans un crawl standard, vous partez de la home page et découvrez de nouvelles URLs via les liens contenus dans chaque page découverte. C’est une démarche utile mais qui ne couvre pas tout le périmètre de l’analyse de logs. Vous ne découvrirez pas ainsi d’ancienne URLs qui ne sont plus maillées et non redirigées ou pire des URLs orphelines. C’est en ce sens que l’analyse de logs apporte une information plus poussée.

Différence entre analyse de logs et statistiques d’exploration

La Google Search Console propose maintenant des datas qui sont proches de l’analyse de logs comme les ratios de code http 200,301,304,404 etc) les types de fichiers, type de bot et objectif (découverte ou actualisation). On trouve également la liste des pages indexé ou non avec une analyse. Ces rapports de la Google Search Console sont très utiles mais ont le défaut de ne pas s’actualiser facilement, voir d’être complexes à interpréter parfois. Là ou une analyse de logs a le mérite d’être concrète et en temps réel. (Sous réserve bien sûr que les URLs sur lesquelles on a appliqué une action ait été recrawlées)

Mais au fait c’est quoi un accès http ?

HTTP veut dire HyperText Transfer Protocol, c’est le début de toute adresse de page web, on y rajoute un s quand le serveur possède un certificat ssl. Un accès http est donc simplement une demande d’un agent extérieur (que ce soit google ou un utilisateur) à des ressources hébergées par votre site Web. Qu’il s’agisse de page HTML, d’images, de vidéos, de fichier css, JS, XML etc … Chaque demande de l’une de ces ressources est une requête http et est consignée dans un ou plusieurs fichiers.

Ou trouver les fichiers de logs http ?

Dès lors que l’on veut faire de l’analyse de logs, il convient de récupérer les logs concernés. Si vous n’êtes pas familier avec l’exercice, ils sont selon les cas ici :

• Sur un serveur dédié : dans un dossier configuré par votre sysadmin (exemple : /var/log/apache2/access.log mais c’est rare que le réglage par défaut reste, voyez avec votre sysadmin, et profitez en pour lui demander d’isoler dans un répertoire uniquement les logs Google et séparé par sites)
• Sur un VPS avec un gestionnaire comme cpanel : dans la rubrique accès bruts de votre cpanel ou équivalent
• Sur un hébergement mutualisé : dans votre interface de gestion en ligne

Veillez à bien récupérer non seulement les lignes en 200, 3xx, 4xx mais aussi les erreurs en 5xx qui sont parfois séparées. Nous verrons plus tard pourquoi.

Quels sont les outils d’analyse de logs que l’on peut utiliser ?

Disclaimer : il n’y a pas d’accord avec les différents outils SEO ci-dessous, c’est juste mon avis personnel.

• Excel / Google Sheet : On peut faire de belles choses avec des tableau croisées dynamique, ça peut être une solution mais clairement, cela peut vite finir par être gourmand en ressources.
• Python / R : Si vous n’aimez pas les saas ou les tableurs, oui vous pouvez faire de l’analyse en ligne de commande, attention cependant c’est beaucoup moins visuel que les autres outils cités. Et à mon sens c’est complexe de démarrer par cette solution, et plus complexe encore pour remonter des datas à une direction marketing.
• Screaming Frog Log File Analyser : c’est mon outil d’analyse de logs favori personnellement avec un rapport qualité prix fonctionnalités tout à fait efficace pour 129€ par an. la version gratuite sur 500 lignes d’analyse vous aider à vous faire une première idée.
• Seolyzer: C’est un outil Français, qui a de nombreuses fonctionnalités intéressante, et démarre à 39€ / mois.
• On crawl : Encore un outil créé en France, très complet, on parlera presque ici d’une suite d’outils en SAAS. Attention à bien prendre l’offre Core pour la partie analyse de logs. (NB: pas de prix publics mentionnés)
• Botify : Historiquement connu pour la partie analyse de logs, mais désormais pleine intégrée dans leur suite d’outils. Il n’y a ici pas de pige pricing ou tarif sur le site.

Quand faire de l’analyse de logs en SEO ?

L’analyse de logs ponctuelle sera pertinente par exemple en même temps qu’un audit, avant l’audit pour l’analyse et après pour vérifier la prise en compte des correctifs. Elle sera également très utile autour d’une migration de site, quel que soit le type de migration (ndd, url, design)

L’analyse de logs en continue sera elle pertinente pour les SEO in-house en charge d’un site d’une taille conséquente, car leur métier consiste en partie à suivre l’état de santé du site.

L’avis d’Aymeric Bouillat

Depuis que je suis dans le SEO, j’ai souvent croisé Aymeric entrain de parler des logs et je ne me voyais pas faire cet article sans lui proposer d’intervenir, merci à lui d’avoir accepter l’invitation :

L’analyse de logs permet de comprendre précisément ce que Google fait et voit sur votre site. Certes, les statistiques d’exploration proposées par la Search Console fournissent une première indication, mais elles restent souvent échantillonnées et ne permettent pas une analyse détaillée. Or, ce qui peut sembler un détail insignifiant peut en réalité faire toute la différence en matière de SEO.

Que ce soit pour un petit ou un grand site, l’analyse des logs est un excellent indicateur de la structure de maillage interne (et même des liens externes). Par exemple, une page bien maillée aura tendance à être explorée plus fréquemment par Google, ce qui augmente les chances qu’elle soit régulièrement mise à jour dans l’index et présentée aux utilisateurs.

Le comportement de crawl de Google peut parfois surprendre, notamment lorsqu’il découvre des URL dans le code HTML (hors des liens traditionnels). En analysant les logs, il est possible de détecter ces comportements inattendus et d’optimiser l’exploration. Cela permet de limiter le crawl (et éventuellement l’indexation, si aucune directive ne l’en empêche) de pages peu pertinentes en grand nombre, qui risqueraient de nuire à la visibilité globale du site dans les résultats de recherche.

L’analyse des logs permet de mettre en place des garde-fous pour éviter que Google ne s’enlise dans des patterns d’URL peu pertinents. Elle aide également à détecter un grand nombre d’erreurs, ce qui est essentiel pour maintenir une structure de site saine et optimisée.

Aymeric Bouillat

Demain tous à l’analyse de logs ?

A mon sens, quelle que soit la taille de votre site, ou des projets que vous gérez, vous devez au moins une fois dans votre vie vous plonger dans l’analyses de logs. C’est forcément une étape qui vous permettra de comprendre mieux Google et votre métier en voyant (ou pas d’ailleurs) les résultats de vos modifications. C’est un passage quasi obligatoire et formateur, oui c’est très académique, mais je le recommande fortement.

Passé cette étape, il est je pense important de préciser dans cette conclusion que si votre site ne fait que 50 pages, ce n’est clairement pas là que votre temps sera le mieux investi, sauf à chercher quelque chose de très spécifique. Et ici 50 pages n’est qu’à titre indicatif, demander à X experts quel est le seuil, vous aurez x réponses différentes.

En résumé donc, si vous n’avez jamais essayé, plongez-vous dedans, si vous avez le tour des préconisations classiques, jetez un œil dans les logs, peu importe la taille du site, ça peut être un nouveau levier à exploiter.