Qu’est-ce que le fichier Robots.txt ?

Le fichier Robots.txt a été inventé en 1994, à l’époque où le passage des robots de Google pouvait faire tomber un site internet pour surcharge d’activités sur le serveur. Il était alors nécessaire de limiter le passage des robots sur le site pour des raisons de capacité serveur.
Aujourd’hui, les capacités des serveurs ayant grandement augmentées, l’utilité de ce fichier est devenue tout autre. Google continue de crawler par défaut l’ensemble de votre site, dans le but d’indexer, ou non, les pages que ses robots considèrent comme utiles aux internautes au moment de leur recherche sur Google.fr.

Mais ce processus lui demande de plus en plus de temps et de ressources (énergétiques et économiques). Le passage des robots est donc aujourd’hui limité sur votre site et il est indispensable de profiter au maximum de ce temps accordé par Google et d’orienter les robots uniquement vers les pages intéressantes pour votre stratégie SEO. Le fichier Robots.txt fait partie des (nombreux) leviers qui vont vous permettre de réaliser cette optimisation.

Où placer le fichier Robots.txt ?

Un fichier Robots.txt doit se trouver à la racine d’un site internet. Il peut contenir des commentaires avec la commande # et doit forcément s’appeler « robots.txt ». Il répond actuellement à 4 commandes : Disallow, pour bloquer une page ou un groupe de pages, Allow, pour autoriser une page particulière (par défaut, Google autorise toutes les pages), Sitemap, pour déclarer votre sitemap et User-Agent, pour définir le type de robots concerné par les requêtes.