Une page non indexée ne génère aucun trafic : vérifier systématiquement son statut via la Google Search Console
Les causes techniques les plus fréquentes sont le robots.txt mal configuré et la balise noindex
Le budget crawl limite l’exploration : trop de pages inutiles peuvent bloquer l’indexation des pages importantes
Un contenu jugé faible ou dupliqué peut être exploré mais volontairement non indexé par Google
Un suivi régulier (demandes d’indexation, crawl Screaming Frog, analyse des logs) est indispensable pour corriger le problème rapidement
Les soucis d’indexation sur un site web peuvent provenir de différentes sources, mais l’impact final est le même : une page indexée ne peut pas faire de trafic et c’est un gros manque à gagner pour vous.
Le premier réflexe pour savoir si une page est indexée va être d’aller dans la search console et entrer l’URL de votre page.
Google va vous sortir un rapport qui va indiquer la raison pour laquelle Google n’indexe pas votre page. Les raisons les plus probables sont les suivantes :
Dans ce cas de figure, Google a détecté votre page, mais il ne l’a pas indexée car il ne peut pas l’explorer à cause d’une consigne que vous avez donnée dans votre fichier robots.txt. Cette erreur très fréquente peut avoir des conséquences dramatiques car de nombreux sites souhaitent exclure certaines pages de l’exploration pour améliorer leur budget crawl, mais appliquent des règles d’exclusions trop larges sans vérifier après. Résultat, des pages pertinentes se retrouvent bloquées et tout le référencement est perdu.
La solution ? Faire un crawl complet du site avec un outil comme screaming frog pour identifier les règles présentes dans le robots.txt qui bloquent les pages pertinentes et ensuite les modifier ou les supprimer. Screaming frog vous permet aussi de vous entraîner au robots.txt en simulant un crawl avec un faux robots.txt que vous choisissez dans l’outil qui permet de valider un robots.txt valide avant de le mettre en ligne.
Dans ce cas de figure, Google a bien détecté et exploré votre page. Le souci ? Il ne peut pas l’indexer car une consigne spécifique lui est donnée sur la page en lui indiquant de ne pas l’indexer. Si cette consigne est présente sur une page stratégique de votre site, il faut contacter votre développeur au plus vite pour la faire retirer !
Mais avant de contacter votre développeur, il faut faire un crawl complet du site pour identifier toutes les pages concernées et éventuellement trouver un pattern commun sur le template de page utilisé qui pourrait provoquer ça et éviter que ça ne se reproduise.
Si le souci n’est pas d’un ordre technique, une analyse SEO plus approfondie est nécessaire. Pour comprendre pourquoi une page n’est pas indexée, il faut avant tout comprendre le comportement d’un robot d’indexation sur un site web.
Google est comme toute société, ils doivent s’imposer des limites pour ne pas exploser leur rentabilité en explorant trop souvent des sites de mauvaise qualité. Pour limiter de manière juste et équitable, Google définit pour chaque site un budget crawl. Ce budget crawl est évolutif au fil de l’évolution d’un site. Plus un site est statique ou avec du contenu de mauvaise qualité, moins Google va le visiter et inversement.
Votre objectif en SEO va être de composer avec ce budget crawl en fournissant du contenu de qualité de manière régulière aux robots tout en leur bloquant l’accès aux pages inutiles pour le SEO.
Le risque si vous dépassez votre budget crawl avec des pages de mauvaise qualité ? Google peut passer à côté de vos pages de bonne qualité en ne les détectant pas ou en les mettant de côté pour plus tard.
Ces soucis sont symptomatiques d’un budget crawl dépassé qui ne permet pas à Google d’explorer les nouvelles pages créées.
Dans le cas où Google ne connaît pas votre URL, il n’est pas seulement question de budget crawl. Vous avez probablement aussi un souci lié à votre sitemap qui ne contient pas votre URL et un maillage interne pas assez travaillé qui n’ont pas permis à Google de détecter votre URL.
Dans le cas où Google a détecté votre URL sans l’indexer, le souci vient très clairement du budget crawl. C’est une URL que Google a mis de côté pour plus tard car il avait dépassé son budget crawl sur les pages du sitemap et les pages avec le meilleur maillage interne en s’enfermant probablement dans un “spider trap”. Dans ce cas, il faudra analyser les logs de votre site pour trouver les pages inutiles sur lesquelles les robots passent et qui consomment le budget crawl pour pouvoir les bloquer avec le fichier robots.txt.
Ce cas de figure est très spécifique car il peut être expliqué par de multiples raisons. La plus fréquente est le manque de qualité du contenu. Google va détecter une page avec trop peu de contenu (ou du contenu dupliqué ou de mauvaise qualité) et va donc décider de ne pas l’indexer car il pense que le contenu n’aidera pas les utilisateurs.
Il arrive aussi fréquemement que Google désindexe des pages sans raison suite à des mises à jour. Il est primordial de surveiller ce rapport pour forcer l’indexation des pages pertinentes pour les renvoyer dans l’index car il arrive parfois qu’elle se positionnent très bien après forçage d’indexation. Dans le cas où la page ne s’indexe pas malgré les demandes d’indexation manuelles, il est fortement conseillé de retravailler et modifier le contenu avant de la soumettre à nouveau à l’indexation pour que Google détecte du changement.
Pour vous assurer de bonnes performances, il est primordial pendant quelque temps d’effectuer un suivi d’indexation des nouvelles pages créées en en demandant directement l’indexation auprès de Google. Après quelques jours / semaines à faire des demandes à chaque création de page, il est fréquent de voir Google prendre le rythme en augmentant le budget crawl accordé au site. Il arrive malgré tout que des pages ne soient pas indexées malgré ces actions, donc faire un crawl Screaming Frog régulier du site ave cl’API de la search console connectée vous permettra de savoir quelles pages de vos sites sont indexées et lesquelles ne le sont pas.
L’autre bon réflexe à prendre va être de surveiller régulièrement votre budget crawl avec la search console en suivant les consignes dans cet article détaillé.
