C'est ce qui se produit lorsque vous désindexez accidentellement votre site de Google.

Est-ce que lire ce titre vous donne une mini attaque de panique?

Ayant passé exactement comme le titre l'indique, je peux garantir que votre anxiété est pleinement justifiée.

Si vous souhaitez revivre mon cauchemar avec moi – peut-être à la fois comme une catharsis et une étude de référencement -, nous allons parcourir les événements dans l'ordre chronologique.

Êtes-vous prêt?

Le 4 août 2019

C'était un dimanche matin. Je buvais mon café et je vis dans nos outils de référencement, comme d'habitude, sans rien espérer. Alors… BAM!

Quoi. Le. Enfer?

En tant que référenceurs, nous sommes tous habitués à constater des fluctuations naturelles dans les classements. Des fluctuations, pas des disparitions.

Étape 1: déni

Immédiatement, je pense à un endroit: c’est une erreur. Alors j'ai sauté dans d'autres outils pour confirmer si Ahrefs était en train de perdre la tête.

Google Analytics a également montré une baisse correspondante du trafic, confirmant que quelque chose était définitivement à la hausse. Donc, en tant que SEO, j'ai naturellement supposé le pire…

Étape 2: panique pour Algo

Mise à jour de l'algorithme. S'il vous plaît, s'il vous plaît ne laissez pas cela être une mise à jour algo

J’ai sauté dans l’outil Panguin de Barracuda pour voir si notre numéro coïncidait avec une mise à jour confirmée.

Pas de mises à jour. Phew.

Étape 3: Diagnostic

Personne ne pense clairement quand son cerveau de reptile est engagé. Vous paniquez, vous pensez de façon irrationnelle et vous prenez de mauvaises décisions. Zéro froid.

J’ai fini par penser à ce qui s’est passé: il est très inhabituel que le classement des mots clés disparaisse complètement. Ce doit être technique.

Il doit s'agir d'une indexation.

Une recherche rapide dans Google pour les pages ayant perdu le classement par mot clé a confirmé que ces pages avaient en fait disparu. La console de recherche a signalé la même chose:

Notez l’avertissement en bas:

 Non: «noindex» détecté dans la méta-balise «robots» 

Nous allions maintenant quelque part. Ensuite, il était temps de confirmer cette découverte dans le code source.

Nos pages ont été marquées pour la désindexation. Mais combien de pages ont été désindexées jusqu'à présent?

Étape 4: Surveiller les dégâts

Tous. Après avoir envoyé quelques notes frénétiques à notre développeur, il a confirmé qu'un sprint déployé jeudi soir (le 1er août 2019), presque trois jours auparavant, avait accidentellement poussé le code en direct sur toutes les pages.

Mais l'ensemble du site a-t-il été désindexé?

C’est très improbable, car pour cela, il aurait fallu que Google analyse toutes les pages du site dans les trois jours afin de trouver le balisage «noindex». Search Console ne serait d'aucune aide à cet égard, car ses données seront toujours en retard et ne pourront jamais enregistrer les modifications avant qu'elles ne soient corrigées.

Même en regardant en arrière, nous constatons que la console de recherche n’a collecté qu’un maximum de 249 pages concernées, sur plus de 8 000 indexées. Ce qui est impossible, compte tenu du fait que notre présence en recherche a été réduite d'un tiers toute une semaine après la fixation de l'incident.

Note: Je ne saurai jamais combien de pages ont été complètement désindexées dans Google, mais ce que je sais, c'est que CHAQUE page avait un balisage "noindex" et me souviens vaguement du site Googling: brafton.com et voir environ un huitième de nos pages indexées. Bien sûr, j'aimerais avoir une capture d'écran. Pardon.

Étape 1: résolution du problème

Une fois le problème identifié, notre développeur a annulé la mise à jour et mis le site en production tel qu’il était avant la balise "noindex". Vient ensuite la question de la réindexation de notre contenu.

Étape 2: Obtenez le site redéfini dès que possible

J'ai supprimé l'ancien plan Sitemap, en ai construit un nouveau et l'ai réimporté dans Search Console. J’ai également saisi la plupart des pages de destination de nos produits principaux et demandé manuellement une réindexation (ce que je ne crois pas vraiment faire depuis la dernière mise à jour de SC).

Étape 3: attendez

Nous ne pouvions rien faire d'autre à ce stade-ci, à part attendre. Il y avait tellement de questions:

• Les pages se classeront-elles pour les mêmes mots-clés qu'auparavant?
• Est-ce qu'ils occuperont les mêmes postes?
• Google "pénalisera-t-il" les pages pour avoir brièvement disparu?

Seul le temps le dirait.

8 août 2019 (une semaine) – Baisse de 33% de la présence à la recherche

Pour évaluer les dommages, je vais utiliser la date à laquelle le code erroné a été entièrement déployé et renseigné sur des pages en direct (2 août ) en tant que point zéro. Donc, la première mesure sera terminée sept jours, du 2 au 8 août.

La console de recherche me donnerait probablement la meilleure indication quant à combien notre présence de recherche avait souffert.

Nous avions perdu environ 33,2% de notre trafic de recherche. Aie.

Heureusement, cela marquerait le niveau maximal des dommages que nous avons connus tout au long de l'épreuve.

15 août 2019 (deux semaines) – Baisse du trafic de 23%

Pendant cette période, je surveillais deux choses: le trafic de recherche et les pages indexées. En dépit de la nouvelle soumission de mon sitemap et de l'extraction manuelle de pages dans la console de recherche, de nombreuses pages n'étaient toujours pas indexées, même les pages de destination essentielles. Cela deviendra un thème tout au long de cette chronologie.

En raison de nos dernières pages non indexées, notre trafic souffrait toujours.

Deux semaines après l'incident, nous avions encore une baisse de 8% et nos conversions génératrices de revenus ont chuté avec le trafic (malgré des taux de conversion plus élevés).

Le 22 août 2019 (trois semaines) – Baisse du trafic de 13%

Nos pages indexaient encore lentement. Péniblement lentement, alors que je regardais mes cibles commerciales tomber à travers le sol.

Au moins, il était clair que notre présence de recherche était en train de se rétablir. Mais comment il se remettait m'intéressait particulièrement.

Toutes les pages ont-elles été réindexées, mais avec une présence de recherche réduite?

Une partie seulement des pages a-t-elle été réindexée avec une présence de recherche entièrement restaurée?

Pour répondre à cette question, j'ai jeté un coup d'œil aux pages désindexées et réindexées individuellement. Voici un exemple de l'une de ces pages:

Voici un exemple de page ayant été désindexée pendant une période beaucoup plus courte:

Dans tous les cas que j'ai pu trouver, chaque page a été entièrement restaurée. présence de recherche. Donc, il ne semblait pas y avoir de problème pour savoir si les pages seraient récupérées, mais bien quand les pages seraient réindexées.

En parlant de cela, la console de recherche a une nouvelle fonctionnalité dans laquelle elle “validera” les pages erronées. J'ai commencé ce processus le 26 août. Après cela, SC a lentement rediffusé (je présume) ces pages à hauteur d'environ 10 pages par semaine. Est-ce encore plus rapide qu'une analyse normalement planifiée? Est-ce que ces outils en SC font même quelque chose?

Ce que je savais avec certitude, c'est qu'un certain nombre de pages étaient encore désindexées après trois semaines, y compris des pages de destination commerciales sur lesquelles je comptais pour générer du trafic. Plus sur cela plus tard.

Le 29 août 2019 (quatre semaines) – Baisse du trafic de 9%

À ce stade, j'étais très frustré, car il ne restait qu'environ 150 pages à réindexer, et peu importe combien de fois je inspecté et demandé une nouvelle indexation dans la console de recherche, cela ne fonctionnerait pas.

Ces pages étaient tout à fait capables d'être indexées (comme indiqué par l'inspection d'URL du SC), sans être explorées. En conséquence, nous restions toujours 9% en dessous du niveau de référence, après presque un mois.

Une page en particulier a tout simplement refusé d'être réindexée. Il s’agissait d’une page de produit à haute valeur commerciale sur laquelle je comptais pour les conversions.

Dans mes tentatives pour forcer la réindexation, j'ai essayé:

• l'inspection d'URL et la demande d'indexation (15 fois au cours du mois).
• Mise à jour de la date de publication, puis demande d'indexation.
• Mise à jour du contenu et de la date de publication, puis demande d'indexation.
• Nouvelle soumission de plans Sitemap à SC.

Rien n'a fonctionné. Cette page ne serait pas réindexée. Même histoire pour plus de cent autres URL moins impactantes sur le plan commercial.

Note: Cette page ne serait réindexée que le 1er octobre, soit deux mois complets après sa désindexation.

En passant, voici à quoi ressemblait notre progrès général après quatre semaines:

le 5 septembre 2019 (cinq semaines) – Baisse du trafic de 10,4%

Le grand plateau. À ce stade, nous avons réindexé toutes nos pages, à l’exception des quelque 150 approximativement supposées être «validées».

Elles ne l’étaient pas. Et ils n’étaient pas non plus réinventés.

Il semblait que nous allions probablement nous rétablir complètement, mais le moment était entre les mains de Google et je ne pouvais rien y faire.

Le 12 septembre 2019 (six semaines) – Gain de trafic de 5,3%

Il a fallu environ six semaines avant que nous ayons complètement récupéré notre trafic.

Mais en réalité, nous n’avions toujours pas récupéré notre trafic, car certains contenus étaient surperformés et surcompensaient pour un certain nombre de pages qui n’étaient pas encore indexées. Notamment, notre page produit ne serait pas indexée avant environ 2,5 semaines.

Tout compte fait, notre présence à la recherche s'est rétablie au bout de six semaines. Mais notre contenu n’a été complètement réindexé que huit semaines après la résolution du problème.

Conclusion

Pour commencer, ne désindexez absolument pas votre site Web sur un accident, pour une expérience ou pour toute autre raison. Ça pique. J’estime que nous avons purgé environ 12% de tout le trafic organique, ce qui représente une baisse tout aussi proportionnelle des conversions commerciales.

Qu'avons-nous appris?

Une fois les pages réindexées, elles ont été entièrement restaurées en termes de visibilité des recherches. Le plus gros problème était de les réindexer.

Quelques questions principales auxquelles nous avons répondu avec cette expérience accidentelle:

Avons-nous récupéré?

Oui, nous avons complètement récupéré et toutes les URL semblent conduire à la même visibilité de la recherche.

Combien de temps cela a-t-il pris?

La visibilité de la recherche est revenue à la valeur de base après six semaines. Toutes les pages sont réindexées au bout de huit à neuf semaines environ