Quinze ans, c'est long en SEO

J'ai été dans une humeur introspective ces derniers temps.

Plus tôt cette année (15 ans après avoir lancé Distilled en 2005), nous avons créé une nouvelle société appelée SearchPilot pour nous concentrer sur notre référencement A / B testing et la technologie méta-CMS (anciennement connue sous le nom de Distilled ODN), et fusionnent la partie conseil et conférences de l'entreprise avec Brainlabs .

Je suis maintenant PDG de SearchPilot (qui appartient principalement à les actionnaires de Distilled), et je suis également SEO Partner chez Brainlabs, donc… Je suis désolé tout le monde, mais je reste très fidèle à l'industrie du référencement.

En tant que tel, cela ressemble un peu à la fin d'un chapitre pour moi plutôt que la fin du livre, mais cela m'a quand même fait revenir sur ce qui a changé et ce qui n'a pas changé au cours des 15 dernières années que j'ai passées dans l'industrie.

Je ne peux pas prétendre être faisant partie de la première génération d'experts en référencement, mais ayant construit des sites Web depuis 1996 environ et ayant vu la croissance de Google depuis le début, je Je me sens peut-être de deuxième génération, et peut-être ai-je des histoires intéressantes à partager avec ceux qui sont plus récents dans le jeu.

J'ai creusé mon cerveau pour essayer de me souvenir de ce qui me semblait important à l'époque, et j'ai aussi regardé revenir sur les grandes tendances à travers mon temps dans l'industrie, pour rassembler ce qui, à mon avis, constitue une liste de lecture intéressante que la plupart des personnes travaillant sur le Web aujourd'hui feraient bien de connaître.

Les grandes époques de la recherche

I a plaisanté au début d'une présentation que j'ai faite en 2018 que les grandes époques de la recherche oscillaient entre les directives des moteurs de recherche et les moteurs de recherche se détournant rapidement de ces directives lorsqu'ils ont vu ce que les webmasters faisaient réellement:

Bien que cette diapositive ait été un peu ironique, je pense qu'il y a quelque chose à penser aux époques comme:

1. Construire des sites Web: avez-vous un site Web? Souhaitez-vous un site Web? C'est difficile à croire maintenant, mais dans les premiers jours du Web beaucoup de gens avaient besoin d'être persuadés pour mettre leur entreprise en ligne.
2. Mots clés: La recherche d'informations de base est devenue une recherche d'informations contradictoire car Les webmasters se sont rendu compte qu'ils pouvaient jouer avec le système avec le bourrage de mots-clés, le texte caché, et plus encore.
3. Liens: à mesure que l'échelle du Web dépassait les répertoires sélectionnés par les utilisateurs, les algorithmes de recherche basés sur les liens ont commencé à dominer.
4. Non ces liens: les algorithmes basés sur les liens ont commencé à céder la place aux algorithmes basés sur les liens contradictoires lorsque les webmasters échangeaient, achetaient et manipulaient des liens à travers le graphique Web.
5. Contenu pour la longue traîne: Parallèlement à cette ère, la longueur du long tail a commencé à être mieux compris à la fois par les webmasters et par Google eux-mêmes – et il était dans l'intérêt des deux parties de créer des quantités massives de contenu (souvent obscur) et de le faire indexer au moment où cela était nécessaire. [19659011] Pas ce contenu: Pe peut-être prévisible (voir la tendance ici?), la qualité moyenne du contenu renvoyé dans les résultats de recherche a chuté considérablement, et nous voyons donc les premiers facteurs de classement de l'apprentissage automatique sous la forme de tentatives d'évaluation de la «qualité» (aux côtés de la pertinence et de l'autorité du site Web).
6. Apprentissage automatique: On peut dire que tout à partir de ce moment a été une aventure dans l'apprentissage automatique et l'intelligence artificielle, et a également eu lieu au cours de la carrière de la plupart des spécialistes du marketing travaillant dans le référencement aujourd'hui. Alors, même si j'adore écrire sur ce sujet, j'y reviendrai un autre jour.

Histoire du référencement: moments cruciaux

Même si je suis sûr qu'il y a des histoires intéressantes à raconter sur l'ère pré-Google du référencement, je ne suis pas la bonne personne pour leur dire (si vous avez une excellente ressource, veuillez la laisser tomber dans les commentaires), alors commençons tôt dans le voyage de Google:

Technologie de base de Google

Même si vous entrez dans le référencement en 2020, dans un monde de facteurs de classement appris par machine, je recommanderais toujours de revenir en arrière et de lire les premiers travaux universitaires étonnamment accessibles:

Si vous n'utilisiez pas le Web à l'époque, c'est probablement difficile d'imaginer quelle était une amélioration progressive de l'algorithme basé sur le PageRank de Google par rapport à «l'état de l'art» à l'époque (et c'est difficile à retenir, même pour ceux d'entre nous qui l'étaient):

Google's IPO

En plus de «choses dont il est difficile de se souvenir clairement», au moment de l'introduction en bourse de Google en 2004, très peu de gens s'attendaient à Google pour devenir l'une des entreprises les plus rentables de tous les temps. Au début, les fondateurs avaient parlé de leur mépris pour la publicité et avaient expérimenté des publicités basées sur des mots clés avec un peu de réticence. En raison de cette attitude, même au sein de l'entreprise, la plupart des employés ne savaient pas quelle fusée ils construisaient.

Depuis cette époque, je recommanderais de lire la lettre d'introduction en bourse des fondateurs (voir cet excellent article de ) Danny Sullivan – qui ironiquement maintenant @SearchLiaison chez Google):

«Nos résultats de recherche sont les meilleurs que nous savons produire. Ils sont impartiaux et objectifs, et nous n'acceptons aucun paiement pour eux, ni pour inclusion ou mise à jour plus fréquente. »

« Étant donné que nous ne facturons pas les marchands pour leur inclusion dans Froogle [now Google shopping]nos utilisateurs peuvent parcourir les catégories de produits ou proposer des produits recherche avec l'assurance que les résultats que nous fournissons sont pertinents et impartiaux. » – Dépôt S1

De plus, In the Plex est un livre agréable publié en 2011 par Steven Levy. Il raconte l'histoire de ce que le PDG de l'époque, Eric Schmidt, appelait (à l'époque de l'introduction en bourse) «la stratégie de dissimulation»:

«Ceux qui connaissaient le secret… ont reçu l'ordre de se taire à ce sujet.» [19659002] "Ce que Google cachait, c'est comment il avait déchiffré le code pour gagner de l'argent sur Internet."

Heureusement pour Google, pour les utilisateurs et même pour les spécialistes du marketing de recherche organique, il s'est avéré que ce n'était pas réellement incompatible avec leurs idéaux purs de l'époque pré-IPO parce que, comme le raconte Levy, «lors de tests répétés, les internautes étaient plus satisfaits des pages avec des publicités que de celles où elles étaient supprimées». Ouf!

Tout indexer

En avril 2003, Google a acquis une société appelée Applied Semantics et a lancé une série d'événements qui, je pense, pourraient être la partie la plus sous-estimée de l'histoire de Google.

La technologie Applied Semantics a été intégrée à leur propre technologie publicitaire contextuelle pour former ce qui est devenu AdSense. Bien que les revenus d'AdSense aient toujours été éclipsés par AdWords (maintenant simplement "Google Ads"), son importance dans l'histoire du référencement est difficile à sous-estimer.

En démocratisant la monétisation du contenu sur le Web et en permettant à tout le monde d'être payé pour produire un contenu obscur, il a financé la création de quantités absurdes de ce contenu.

La plupart de ce contenu n'aurait jamais été vu sans l'existence d'un moteur de recherche qui excellait dans sa capacité à fournir d'excellents résultats pour les recherches à longue traîne, même si ces recherches étaient incroyablement rares ou n'avaient jamais été vues

De cette façon, le moteur de recherche de Google (et l'activité de publicité sur les recherches) constituait un puissant volant avec son activité AdSense, permettant de financer la création de contenu dont il avait besoin pour se différencier avec l'index le plus grand et le plus complet du Web.

Comme pour tant de chapitres de l'histoire, cependant, cela a également créé un monstre sous la forme de contenu de mauvaise qualité ou même généré automatiquement qui conduirait finalement à des crises de relations publiques et à des efforts massifs pour réparer.

Si vous ' Si vous êtes intéressé par l’époque de l’index tout, vous pouvez lire plus de mes réflexions à ce sujet dans diapositive 47+ de From the Horse's Mouth .

Spam Web

Les premières formes de spam sur Internet étaient variou s formes de messages, qui ont frappé le grand public en tant que spam. Au début des années 2000, Google a commencé à parler du problème qu'ils appelleraient finalement «spam Web» (la première mention que j'ai vue du spam de lien est dans une présentation d'Amit Singhal de 2005 intitulée Challenges in running a Commercial Web Search Engine [PDF]).

Je soupçonne que même les personnes qui débutent dans le référencement aujourd'hui ont peut-être entendu parler de Matt Cutts – le premier responsable du spam Web – car il est encore souvent référencé bien qu'il n'ait pas travaillé chez Google depuis 2014. J'ai apprécié cela Présentation de 2015 qui parle de sa trajectoire de carrière chez Google.

L'ère de la qualité de la recherche

Au fil du temps, en raison de la nature opposée des webmasters essayant de gagner de l'argent par rapport à Google (et d'autres) essayant de faire le meilleur moteur de recherche possible, le spam Web pur n'était pas le seul problème de qualité auquel Google était confronté. Le jeu du chat et de la souris de la manipulation de repérage – en particulier du contenu de la page, des liens externes et du texte d'ancrage) – serait une caractéristique déterminante de la prochaine décennie et plus de recherche.

C'était après la présentation de Singhal ci-dessus. Eric Schmidt (alors PDG de Google) a déclaré : "Les marques sont la solution, pas le problème … Les marques sont la façon dont vous triez le puisard".

Ceux qui sont plus récents dans l'industrie en auront probablement connu Les mises à jour de Google (telles que les «mises à jour principales» récentes) de première main, et ont très probablement entendu parler de quelques mises à jour spécifiques plus anciennes. Mais "Vince", qui est venu après "Florida" (la première mise à jour majeure confirmée de Google), et déployé peu de temps après les déclarations de Schmidt sur la marque, était particulièrement remarquable pour favoriser les grandes marques. Si vous n'avez pas suivi tout l'historique, vous pouvez consulter les principales mises à jour passées ici :

Une véritable menace pour la réputation

Comme je l'ai mentionné ci-dessus dans la section AdSense, il y avait de fortes incitations pour les webmasters pour créer des tonnes de contenu, ciblant ainsi la longue traîne florissante de la recherche. Si vous aviez un domaine suffisamment fort, Google explorerait et indexerait un nombre immense de pages, et pour les requêtes suffisamment obscures, tout contenu correspondant serait potentiellement classé. Cela a déclenché la croissance rapide des soi-disant «fermes de contenu» qui exploitaient les données de mots-clés de partout où elles le pouvaient et produisaient un contenu de correspondance de mots-clés de faible qualité. Dans le même temps, les sites Web réussissaient en autorisant l'indexation de grandes bases de données de contenu, même sous forme de pages très minces, ou en autorisant l'indexation d'un grand nombre de pages de contenu généré par les utilisateurs.

Il s'agissait d'une véritable menace pour la réputation de Google. , et sont sortis de la chambre d'écho de recherche et de référencement . Les communautés comme Hacker News et StackOverflow étaient devenues un tel bugbear que Matt Cutts a soumis une mise à jour personnelle à la communauté Hacker News lorsque Google a lancé une mise à jour visant à corriger un symptôme spécifique – à savoir que les sites Web de grattoir étaient régulièrement surclassant le contenu original qu'ils copiaient.

Peu de temps après, Google a lancé la mise à jour initialement nommée « farmer update ». Après son lancement, nous avons appris qu'il avait été rendu possible grâce à une percée d'un ingénieur appelé Panda d'où le nom de mise à jour «big Panda» en interne chez Google, et depuis lors, la communauté SEO a principalement appelé c'est la mise à jour Panda.

Bien que nous ayons émis l'hypothèse que le fonctionnement interne de la mise à jour était l'une des premières utilisations réelles de l'apprentissage automatique au cœur de l'algorithme de recherche organique de Google, les fonctionnalités qu'elle modélisait étaient plus facilement comprises comme humaines facteurs de qualité centrés sur la qualité, et nous avons donc commencé à recommander des changements ciblés SEO à nos clients sur la base des résultats d'enquêtes sur la qualité humaine .

Tout va d'abord sur le mobile

J'ai fait une présentation à SearchLove Londres en 2014 où j'ai parlé de la croissance et de l'ampleur incroyables du mobile et du retard avec lequel nous avons réalisé à quel point Google prenait cela au sérieux. J'ai souligné la surprise que beaucoup ressentaient en apprenant que Google concevait d'abord le mobile:

«Vers la fin de l'année dernière, nous avons lancé de très grandes améliorations de conception pour la recherche sur les appareils mobiles et tablettes. Aujourd'hui, nous avons apporté plusieurs de ces modifications à l'expérience de bureau. " – Jon Wiley (ingénieur en chef pour la recherche Google s'exprimant sur Google+, ce qui signifie qu'il n'y a aucun lien vers une référence parfaite pour la citation, mais il est référencé ici ainsi que dans ma présentation).

Cette surprise est venu malgré le fait que, au moment où j'ai fait cette présentation en 2014, nous savions que la recherche mobile avait commencé à cannibaliser la recherche sur ordinateur (et nous avions vu la première baisse des volumes de recherche sur ordinateur):

Et cela s'est produit même si les gens commençaient à dire que la première année où Google réalisait la majorité de ses revenus sur mobile était dans moins de deux ans:

En écrivant ceci en 2020, nous avons l'impression d'avoir pleinement internalisé à quel point le mobile est important, mais il est intéressant de se rappeler qu'il a fallu un certain temps pour qu'il s'imprègne.

L'apprentissage automatique devient la norme

Depuis la mise à jour de Panda, l'apprentissage automatique a été de plus en plus mentionné dans les communications officielles de Google sur les mises à jour d'algorithmes, et il était impliqué dans la veille n plus. Nous savons que, historiquement, il y avait eu une résistance de certains milieux (y compris de Singhal) à l'utilisation de l'apprentissage automatique dans l'algorithme de base en raison de la façon dont il empêchait les ingénieurs humains d'expliquer les résultats. En 2015, Sundar Pichai a pris la relève en tant que PDG, a écarté Singhal (bien que cela puisse avoir été pour d'autres raisons ) et a installé des ventilateurs AI / ML dans des rôles clés.

La ​​boucle est bouclée

] Avant la mise à jour de Floride (en fait, jusqu'à ce que Google déploie une mise à jour qu'ils ont appelée Fritz à l'été 2003), les résultats de recherche étaient régulièrement mélangés dans un processus surnommé le Google Dance :

Most les choses évoluent de plus en plus en temps réel depuis, mais les récentes «mises à jour de base» semblent avoir ramené ce type de dynamique où les changements se produisent selon le calendrier de Google plutôt que sur la base du calendrier des changements de site Web. J'ai émis l'hypothèse que cela est dû au fait que les «mises à jour de base» sont en fait Google en train de recycler un énorme modèle d'apprentissage en profondeur qui est très personnalisé à la forme du Web à l'époque. Quelle que soit la cause, notre expérience de travail avec un large éventail de clients est cohérente avec la ligne officielle de Google selon laquelle :

Les mises à jour du noyau étendues ont tendance à se produire tous les quelques mois. Le contenu qui a été affecté par l'un d'entre eux pourrait ne pas récupérer – en supposant que des améliorations aient été apportées – jusqu'à la sortie de la prochaine mise à jour générale.

Relier les tendances récentes et les découvertes comme celle-ci à une histoire ancienne comme Google Dance n'est qu'une des façons qui connaître l'histoire du référencement est «utile».

Si tout cela vous intéresse

j’espère que ce voyage à travers mes souvenirs a été intéressant. Pour ceux d'entre vous qui ont également travaillé dans l'industrie au cours de ces années, qu'est-ce que j'ai manqué? Quels sont les jalons vraiment importants dont vous vous souvenez? Déposez-les dans les commentaires ci-dessous ou contactez-moi sur Twitter .

Si vous avez aimé cette promenade dans le passé, vous aimerez peut-être aussi ma présentation From the Horse's Mouth où je essayez d'utiliser les déclarations officielles et non officielles de Google pour découvrir ce qui se passe réellement dans les coulisses, et essayez de donner quelques conseils pour faire de même:

Pour nous aider à mieux vous servir, s'il vous plaît envisagez de participer à l'enquête Moz Blog Reader Survey 2020, qui vous demande qui vous êtes, quels sont les défis auxquels vous êtes confrontés et ce que vous aimeriez voir davantage sur le blog Moz.