Sites
Exclure les fichiers et répertoires de l'indexation en utilisant le fichier “robots.txt”
Il existe des normes de comportement pour les robots du réseau (le robot, ou même araignée) pour l'indexation du contenu. Je ne parle pas dans le fichier “.htaccess“, qui est utilisé pour configurer le serveur Web, Je parle le fichier “robots.txt“. Le fichier “robots.txt” c'est l'un des fichiers de configuration les plus simples qui existent, et Lire la suite…