Comment et pourquoi Googlebot explore et indexe-t-il ces pages ?

Rien d’autre ne renvoie à ces pages (bien que les pages /jsp.html/ et /jsp/pdf/ renvoient toutes deux à /jsp/). Elles ne sont pas interdites dans notre fichier robots.txt et que cela puisse être la raison.

Si nous les ajoutons à notre fichier robots.txt et les interdisons, cela empêchera-t-il Googlebot d’explorer et d’indexer ces pages de listes d’annuaires sans lui interdire d’explorer et d’indexer le contenu qui s’y trouve et qui est utilisé pour alimenter les pages de notre site ?
L’indexation de ces pages dans Google entraîne une myriade de problèmes, dont le contenu dupliqué n’est pas le moindre.
Une page est indexée dans Google et nous ne voulons pas qu’elle le soit. Mais il en va de même pour la page où nous voulions que le contenu de ce fichier s’affiche :
Comme vous pouvez le constater, cela entraîne des problèmes de contenu dupliqué.
Existe-t-il un moyen d’empêcher Googlebot d’explorer cette page de liste d’annuaire et, à condition que nous ayons cette URL dans le sitemap :
Résoudre le problème de contenu dupliqué qui en résulte ?
Par exemple :

  • Disallow : /StoreFront/jsp/
  • Disallow : /StoreFront/jsp/html/
  • Interdire : /StoreFront/jsp/pdf/

Pouvons-nous faire cela sans risquer de bloquer Googlebot pour le contenu que nous voulons explorer et indexer ?

Les annuaires Web sont-ils encore pertinents pour le référencement en 2021 ?

Les annuaires Web sont depuis longtemps la norme sur le Web et pour le référencement. Mais sont-ils encore pertinents à l’ère des mises à jour avancées de l’IA de Google ?
Eh bien, comme le dit John Mueller, responsable de la lutte contre le spam sur le Web chez Google, « en général, non ». Mais les mots clés de cette réponse sont « en général ». C’est la réponse habituelle de John et, bien que nous aimerions dire que nous allons la disséquer, la vérité est que nous ne pouvons que spéculer et interpréter les choses sur la base de nos propres connaissances et expériences.
Passons à l’action et découvrons si les annuaires Web sont toujours utiles pour le référencement en 2021.

  • Que sont réellement les annuaires Web ?
  • Pourquoi les annuaires ont-ils été créés ?
  • Pourquoi les annuaires sont morts
  • L’héritage des annuaires Web
  • Les annuaires Web sont-ils encore utiles pour le référencement en 2021 ?
  • Le problème avec les annuaires d’aujourd’hui
  • Référencement local et inscriptions dans les annuaires
  • Les annuaires qui sont encore bons
  • Pourquoi avons-nous encore des annuaires Web ?
  • Faut-il désavouer les liens des annuaires ?

Que sont réellement les annuaires Web ?

Afin de mieux comprendre pourquoi les annuaires fonctionnent ou non en 2021, nous devons créer un contexte pour eux. Comme une introduction. La plupart des gens pensent probablement que les annuaires sont simplement des sites qui répertorient d’autres sites. Si c’est vrai, la réalité est qu’ils sont bien plus que cela.
Avant les moteurs de recherche modernes, tels que Google, les annuaires Web étaient L’INTERNET.

Pourquoi les annuaires Web ont-ils été créés ?

Aux tout premiers jours d’Internet, seules quelques personnes avaient des sites Web. Les connexions Internet étaient rares et il n’y avait pas beaucoup de profit à en tirer. Pourtant, différents sites Web ont vu le jour, dans différentes niches.
Cependant, il fallait se souvenir des noms de domaine pour accéder à ces sites, car il n’y avait pas de Google.
Mais, à mesure qu’Internet se développe, de plus en plus de sites Web apparaissent. Très vite, les gens ne pouvaient plus se souvenir de tous ces noms. Mais des gars intelligents de Yahoo ! ont eu la brillante idée de stocker les meilleurs sites web dans ce qu’ils ont appelé un répertoire web.
Annuaire web yahoo seo
Au début, seuls quelques sites Web étaient répertoriés, les plus « populaires » ou ceux qu’ils jugeaient dignes d’y figurer. Ainsi, vous n’auriez à vous souvenir que d’un seul site Web (Yahoo !) si vous vouliez trouver tous les autres bons sites.
Au début, les sites étaient classés par ordre alphabétique mais, au fur et à mesure que leur nombre augmentait, ils ont commencé à être classés par catégories et sous-catégories. De cette façon, il était plus facile pour les utilisateurs de trouver ce dont ils avaient besoin.
Les annuaires Web gagnaient de l’argent en vendant des espaces publicitaires ou en renforçant certains résultats en échange d’une rémunération.

Pourquoi les annuaires Web sont morts

Malheureusement, lorsque le nombre de sites a commencé à devenir trop élevé, les gens se sont vite rendu compte qu’il n’était pas très pratique de parcourir toutes ces catégories. Cela prenait trop de temps et, au final, les meilleurs résultats étaient mélangés aux moins bons.

C’est ainsi que sont apparus les moteurs de recherche. Il était de loin plus pratique de taper un mot clé et d’obtenir une liste des meilleurs résultats que de parcourir des catégories en essayant de trouver le meilleur site Web.

Les annuaires web sont morts

Les moteurs de recherche fonctionnaient sur la base d’algorithmes, tout comme aujourd’hui (bien que moins complexes). En fonction des mots clés contenus dans le titre et d’autres facteurs, certains sites étaient mieux classés que d’autres.
Yahoo ! avait son propre moteur de recherche. Cependant, ce n’est un secret pour personne que Google a pris l’avantage grâce à son algorithme amélioré, mais ce n’est pas la seule raison pour laquelle Google a fini par prendre l’avantage. Yahoo ! était un géant à l’époque, à l’époque de Yahoo ! Mail, News, Answers et Messenger, mais un certain nombre de mauvaises décisions l’ont fait disparaître.

 

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*

code