Chargement…
Le Fichier Robots.txt

Tout Sur Le Fichier Robots.txt



Le fichier robots.txt est un fichier texte contenant des commandes destinées à des robots d’indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Il est utilisé pour le référencement naturel des sites web. Ainsi tout moteur de recherche commence l’exploration d’un site web en cherchant le fichier robots.txt à la racine du site.

Tout Sur Le Fichier Robots.txt

Format

robots.txt est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :

User-Agent: permet de préciser le robot concerné. La valeur * signifie « tous les moteurs de recherche« .
Allow: Permet d’indiquer les pages que les robots peuvent indexées.
Disallow: permet d’indiquer les pages à exclure de l’indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie « toutes les pages du site« .

Voici un exemple de Robots.txt d’un site utilisant WordPress :

User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: http://example.com/sitemap.xml

Autre Exemples :

– Bloquer tous les Moteurs de Recherche :

User-Agent: *
Disallow: /

– Autoriser un seul Robot :

User-Agent: Nom-Du-Robot
Disallow :
User-Agent: *
Disallow: /

– Exclusion d’un robot :

User-Agent: Nom-Du-Robot
Disallow: /
User-Agent: *
Disallow:

– Exclusion d’une page :

User-Agent: *
Disallow: /dossier/chemin/page.php(html,htm)

– Exclusion de plusieurs page :

User-Agent: *
Disallow: /dossier/chemin/page.php
Disallow: /dossier/chemin/page2.php
Disallow: /dossier/chemin/page3.php

– Exclusion de toutes les pages d’un dossier et ses sous-dossiers :

User-Agent: *
Disallow: /dossier/

Quelques User-Agent

Google – Googlebot
Altavista – Scooter
Lycos – Lycos_Spider_(T-Rex)
Alltheweb – FAST-WebCrawler/
INKTOMI – Slurp
Yahoo – Yahoo Slurp
MSN- Msnbot

Si cet article vous a plu alors n’hésitez pas à le partager avec vos amis(es), et suivez nous sur Facebook, Twitter et Google+ Pour recevoir des notifications de tous Nos nouveaux tutoriaux et conseils.



Laisser un commentaire