Robots.txt : Comment vérifier que votre site est bien scanné par les moteurs de recherche ?
En règle général, c’est à l’aide d’un fichier nommé « robots.txt » et qui doit être présent à la racine de votre site internet, que les moteurs peuvent ou non scanner vos fichiers et dossiers.
Vous pouvez vérifier son existance en tapant directement l’adresse du fichier robots.txt associé à votre site : exemple => http://www.abcdefghij.be/robots.txt
User-agent: * // cette ligne indique que vous autorisez les visites de tous les robots d’indexation
Disallow: /prive/ // vous indiquez qu’il ne faut pas visiter et/ou indexer le répertoire « prive »
Allow: /infos/*.html // Vous autorisez le scanning des fichiers html repris dans le répertoire « infos »
Sitemap: http://www.abcdefghij.com/sitemap.xml // Vous pouvez aussi y retrouver l’adresse de votre fichier sitemap
Prenez donc 10 secondes pour vérifier votre propre fichier « robots.txt »
on ne sait jamais…
Remarque : Ce fichier est lisible par tout le monde ! Donc indiquez en clair : Disallow: /password/monfichier.html !!! peut apporter de lourdes conséquences !!
WebsiteCreation - Fichier robots.txt pour l’indexation dans les moteurs de recherche