Générer un sitemap pour le référencement naturel

Qu'est-ce qu'un sitemap ?

Un sitemap est un fichier qui contient une liste enrichie d'URLs internes à un site web. Ce fichier est au format XML. Il permet de fournir aux principaux moteurs de recherche des informations sur les URLs d'un site web qu'ils ne pourraient pas découvrir par eux-mêmes.

Pour bien comprendre à quoi sert un sitemap, il faut comprendre la manière dont fonctionnent les robots d'indexation des moteurs de recherche (appelés aussi Web spiders ou crawlers ou Bots) tels que Google, Yahoo ou Bing. Voici leurs actions lorsqu'ils analysent un site tel que www.monsite.com :

• ils commencent par télécharger et analyser le fichier http://www.monsite.com/robots.txt (s'il existe). Voir l'article consacré spécifiquement aux Robots.txt pour plus d'information.
• puis ils téléchargent la racine du site, c'est à dire l'URL http://www.monsite.com/
• ils analysent le contenu de cette page et en extrait notamment la liste des liens internes qu'elle contient.
• tous ces liens internes sont à leur tour téléchargés, et leur liens internes extraits
• récursivement tous ces liens sont téléchargés et analysés (s'ils sont nouveaux), jusqu'à ce que le robot n'en trouve plus de nouveau.

On peut alors tirer le constat suivant: si une URL d'un site web n'est pas accessible par sa racine ou récursivement dans ses descendants, alors un robot ne peut pas la trouver magiquement. C'est pour cette raison que les sitemaps ont été crée à l'origine : pour que le Webmaster d'un site puisse indiquer aux robots des URLs qu'ils ne pourraient pas trouver seuls.

Les sitemaps ont aussi une deuxième utilité, et cette fois cela concerne toutes les URLs internes d'un site, pas seulement celles qui sont difficiles d'accès : le fichier sitemap permet d'enrichir la liste d'URL avec des méta-données sur ces URLs telles que:

• la date de dernière modification de la ressource correspondant à une URL
• la fréquence estimée de modification de cette ressource
• l'importance relative de cette URL dans le site web

Les moteurs de recherche utilisent ces informations pour optimiser le référencement de votre site Web. Mais comme toujours, ils restent vagues sur comment ils utilisent exactement ces informations. Ils déconseillent en tous cas de 'tricher' sur ces valeurs (par exemple en déclarant artificiellement une fréquence de rafraichissement qui n'est pas respectée).

Faut il un sitemap pour mon site Web ?

Bien sur la question est maintenant de savoir si vous avez besoin d'un sitemap pour votre site. Cela vous a peut-être été vivement conseillé par votre conseiller SEO. En fait, pour la plupart des sites Web 'simples', un sitemap n'est pas nécessaire du tout. Nous vous déconseillons de dépenser de l'énergie pour créer un bon sitemap dans les cas suivants :

• si tous les liens de votre site sont accessibles par la racine ou tous ses descendants (récursivement). C'est en fait le cas de la plupart des sites !
• si vous avez relativement peu de ressources techniques pour votre site web. Un bon sitemap doit être bien fait, respecter la norme XML et les spécifications du sitemap, et avoir des valeurs de méta-données précises. Sinon il ne sert à rien. Des outils existent pour le générer automatiquement mais souvent il faut l'optimiser "à la main" ou par programmation (notamment pour bien choisir les valeurs de méta-données).
• si votre site n'a pas de contenu intéressant d'un point de vue SEO qui est rafraichi très régulièrement.

Dans les autres cas, en pratique pour des sites assez sophistiqués, un sitemap peut être utile à l'optimisation du référencement de votre site web

Comment générer un sitemap ?

Il y a 3 façons de générer un fichier sitemap :

• manuellement, en créant un fichier XML. Cette méthode est généralement à déconseiller, sauf si vous savez vraiment ce que vous faites ! Au minimum il est conseillé d'utiliser un éditeur XML pour créer ce fichier.
• par programmation : cette méthode sera la plus puissante et s'adaptera à toutes les problématiques spécifiques à votre site Web. Cependant là aussi, il faut savoir ce que vous faites. Créer un fichier XML n'est pas la même chose que créer un simple fichier texte, il faut utiliser les bonnes librairies suivant votre langage de programmation préféré pour générer de l'XML. Attention aussi aux nombre maximum d'URLs dans un fichier, il faut parfois pouvoir segmenter en plusieurs fichier.
• en utilisant un outil de génération automatique. Cette méthode est tentante: très peu de travail pour un résultat professionnel ! Cependant, attention aux fausses promesses: par exemple si l'outil de génération utilise la même technique qu'un robot pour trouver les URLs d'un site, alors il aura la même liste que lui, même si aucun sitemap n'est présent ! Egalement l'outil doit vous permettre de modifier finement les méta-données des URLs

Comment informer Google de votre sitemap ?

Contrairement au fichier Robots.txt, il ne suffit pas de mettre un sitemap sur votre site pour qu'un robot le trouve. En effet il n'y a pas de convention de nommage précise sur ce fichier (il peut y en avoir plusieurs, le fichier peut être zippé etc...). Vous devez par conséquent le déclarer explicitement aux moteurs de recherche auxquels vous vous intéressez particulièrement. Dans le cas de Google par exemple, il faut faire cette déclaration grâce aux Webmaster tools.

En savoir plus

Si cet article vous a donné envie de vous documenter davantage sur le sujet des Robots.txt, voici quelques liens utiles :

• des informations officielles Google sur les sitemaps
• une documentation complète du format XML utilisé pour le Sitemap