TheJoe.it Dans le (ouvrir) Source

27Jun/102

Exclure les fichiers et répertoires de l'indexation en utilisant le fichier “robots.txt”

spider_miniatura

Exister dans le réseau de normes de comportement pour crawler (le présenté, ou encore araignée) par l'L'indexation de contenu. Je ne parle pas dans le fichier ".htaccess", qui est utilisé pour configurer le serveur Web, Je parle le fichier "robots.txt".

Le fichier "robots.txt" est l'un des fichier de configuration simples qu'il n'y, et contrairement à ".htaccess" doit être placé unique que dans répertoire Radice Site. Ce fichier communique avec les moteurs de recherche qui indexent notre site indexation ou moins déterminé fichier le répertoire, et l'opération est très simple: