Le robots.txt est un fichier qui contient des commandes précisant aux robots d’indexation ce qui peut ou non être indexé. Il est inséré dans la racine de l’URL du site : http://www.votresite.fr/robots.txt. La commande robots.txt doit être écrite en minuscule et au pluriel. On y retrouve les commandes suivantes : user-agent, disallow, qui accompagnées de différents signes, indiquent plusieurs objectifs aux robots des moteurs de recherche.