Comment les moteurs de recherche trouvent, explorent et indexent votre contenu? »Zone Martech

Je ne recommande pas souvent aux clients de créer leurs propres systèmes de commerce électronique ou de gestion de contenu en raison de toutes les options d'extensibilité invisibles qui sont nécessaires de nos jours – principalement axées sur la recherche et l'optimisation sociale. J'ai écrit un article sur comment sélectionner un CMS et je le montre toujours aux entreprises avec lesquelles je travaille qui sont tentées de créer leur propre système de gestion de contenu.

Cependant, il y a absolument des situations où une plateforme personnalisée est une nécessité. Lorsque c'est la solution optimale, je pousse toujours mes clients à développer les fonctionnalités nécessaires pour optimiser leurs sites pour la recherche et les médias sociaux. Il y a essentiellement trois fonctionnalités clés qui sont nécessaires.

• Robots.txt
• Plan du site XML
• Métadonnées

Qu'est-ce qu'un fichier Robots.txt?

Fichier Robots.txt – le Le fichier robots.txt est un fichier texte brut qui se trouve dans le répertoire racine du site et indique aux moteurs de recherche ce qu'ils doivent inclure et exclure des résultats de recherche. Ces dernières années, les moteurs de recherche ont également demandé que vous incluiez le chemin vers un plan de site XML dans le fichier. Voici un exemple du mien, qui permet à tous les robots d'explorer mon site et les dirige également vers mon plan de site XML:

 User-agent: *
Plan du site: https://martech.zone/sitemap_index.xml[19659009[19659009UnplandesiteXMLestessentiellementuntableaudechaquepagedevotresiteetdeladatedesadernièremiseàjourLessitemapsXMLpeuventégalementêtrechaînés…c'est-à-direqu'unsitemapXMLpeutfaireréférenceàunautreC'estgénialsivoussouhaitezorganiseretdécomposerlesélémentsdevotresitedemanièrelogique(FAQpagesproduitsetc)dansleurspropressitemaps


 Les sitemaps sont essentiels pour que vous puissiez efficacement indiquer aux moteurs de recherche quel contenu vous " avez créé et quand il a été modifié pour la dernière fois. Le processus utilisé par un moteur de recherche lorsqu'il accède à votre site n'est pas efficace sans la mise en œuvre d'un plan de site et d'extraits de code. 


  Sans un plan de site XML vous risquez de ne jamais découvrir vos pages. Que faire si vous avez une nouvelle page de destination de produit qui n'est liée ni en interne ni en externe. Comment Google le découvre-t-il? Eh bien, en termes simples ... tant qu’un lien n’a pas été trouvé, vous n’allez pas être découvert. Heureusement, les moteurs de recherche permettent aux systèmes de gestion de contenu et aux plates-formes de commerce électronique de leur déployer un tapis rouge! 


 Google découvre un lien externe ou interne vers votre site. 
 Google indexe la page et la classe en fonction de son contenu et quel est le contenu et la qualité du site du lien référent. 


 Avec un plan de site XML vous ne laissez pas la découverte de votre contenu ou la mise à jour de votre contenu au hasard! Trop de développeurs essaient également de prendre des raccourcis qui les blessent. Ils publient le même extrait enrichi sur l'ensemble du site, fournissant des informations qui ne sont pas pertinentes pour les informations de la page. Ils publient un plan du site avec les mêmes dates sur chaque page (ou tous sont mis à jour lors des mises à jour d'une page), donnant des files d'attente aux moteurs de recherche pour lesquels ils jouent avec le système ou ne sont pas fiables. Ou bien ils ne cinglent pas du tout les moteurs de recherche… ainsi le moteur de recherche ne se rend pas compte que de nouvelles informations ont été publiées. 


 Qu'est-ce que les métadonnées? Des microdonnées? Extraits enrichis? 


 Les extraits enrichis sont des microdonnées soigneusement balisées  qui sont masquées pour le spectateur mais visibles sur la page pour les moteurs de recherche ou les sites de médias sociaux. C'est ce qu'on appelle les métadonnées. Google se conforme à  Schema.org  en tant que norme pour inclure des éléments tels que des images, des titres, des descriptions… ainsi qu'une pléthore d'autres extraits informatifs tels que le prix, la quantité, les informations de localisation, les évaluations, etc. Le schéma améliorera considérablement la visibilité de votre moteur de recherche et la probabilité qu'un utilisateur clique dessus. 


 Facebook utilise le protocole  OpenGraph  (bien sûr, ils ne pourraient pas être les mêmes), Twitter a même un extrait pour spécifier votre profil Twitter. De plus en plus de plates-formes utilisent ces métadonnées pour prévisualiser les liens intégrés et d'autres informations lors de leur publication. 



 Vos pages Web ont une signification sous-jacente que les gens comprennent lorsqu'ils lisent les pages Web. Mais les moteurs de recherche ont une compréhension limitée de ce qui est discuté sur ces pages. En ajoutant des balises supplémentaires au code HTML de vos pages Web (balises indiquant «Hé, moteur de recherche, ces informations décrivent ce film, ce lieu, cette personne ou cette vidéo»), vous pouvez aider les moteurs de recherche et d’autres applications à mieux comprendre votre contenu et l'afficher de manière utile et pertinente. Microdata est un ensemble de balises, introduit avec HTML5, qui vous permet de faire cela. 
 Schema.org, Qu'est-ce que MicroData? 


 Bien sûr, aucune de celles-ci n'est requise… mais je les recommande vivement. Lorsque vous partagez un lien sur Facebook, par exemple, et qu'aucune image, aucun titre ou aucune description n'apparaît… peu de gens seront intéressés et cliqueront. Et si vos extraits de schéma ne figurent pas dans chaque page, bien sûr, vous pouvez toujours apparaître dans les résultats de recherche… mais les concurrents peuvent vous battre lorsqu'ils ont des informations supplémentaires affichées. 


 Enregistrez vos sitemaps XML avec la Search Console 


 C'est impératif que, si vous avez créé votre propre plate-forme de contenu ou de commerce électronique, vous disposez d'un sous-système qui interroge les moteurs de recherche, publie des microdonnées, puis fournit un plan de site XML valide pour le contenu ou les informations sur le produit à trouver! 


 Une fois que votre fichier robots.txt, vos sitemaps XML et vos extraits enrichis sont personnalisés et optimisés sur l'ensemble de votre site, n'oubliez pas de vous inscrire à la Search Console de chaque moteur de recherche (également connue sous le nom d'outil Webmaster), où vous pouvez surveiller la santé et visibilité de votre site sur les moteurs de recherche. Vous pouvez même spécifier le chemin de votre plan de site si aucun n'est répertorié et voir comment le moteur de recherche le consomme, s'il y a des problèmes ou non, et même comment les corriger. 


 Déployez le tapis rouge vers les moteurs de recherche et les médias sociaux et vous trouverez un meilleur classement de votre site, vos entrées sur les pages de résultats des moteurs de recherche ont été plus cliquées et vos pages partagées davantage sur les médias sociaux. 


 Comment les robots.txt, les sitemaps et les méta-données fonctionnent ensemble 


 Combiner tous ces éléments est un peu comme dérouler le tapis rouge pour votre site. Voici le processus d'exploration suivi par un robot et la manière dont le moteur de recherche indexe votre contenu. 


 Votre site contient un fichier robots.txt qui fait également référence à l'emplacement de votre sitemap XML. 
 Votre système de gestion de contenu ou de commerce électronique met à jour le sitemap XML avec n'importe quelle page et publier la date ou modifier les informations de date. 
 Votre système de gestion de contenu ou de commerce électronique interroge les moteurs de recherche pour leur faire savoir que votre site a été mis à jour. Vous pouvez les cingler directement ou utiliser RPC et un service comme  Ping-o-matic  pour pousser vers tous les moteurs de recherche clés. 
 Le moteur de recherche revient instantanément, respecte le fichier Robots.txt, trouve des pages nouvelles ou mises à jour via le plan du site, puis indexe la page. 
 Lorsqu'il indexe votre page, il utilise des microdonnées d'extraits enrichis pour améliorer la page de résultats des moteurs de recherche. 
 À mesure que d'autres sites pertinents renvoient à votre contenu, votre le contenu est mieux classé. 
 Lorsque votre contenu est partagé sur les réseaux sociaux, les informations d'extrait enrichi spécifiées peuvent vous aider à prévisualiser correctement votre contenu et à les diriger vers votre profil social.