Robots.txt est un fichier texte qui fournit des instructions aux crawlers des moteurs de recherche sur la façon d'explorer votre site, y compris les types de pages à accéder ou non. C'est souvent le gardien de votre site, et normalement la première chose à laquelle un robot de moteur de recherche accède.
Nous vous recommandons de toujours avoir un fichier robots en place pour votre site. Ce fichier peut être créé automatiquement à l'aide d'un utilitaire en ligne gratuit, d'un plugin Wordpress ou du processus de création de robots.txt de votre CMS.