Cookie

Exclure les fichiers et répertoires de l'indexation en utilisant le fichier “robots.txt”

Nella rete esistono degli standard di comportamento per i crawler (o bot, o ancora spider) per l’indicizzazione dei contenuti. Je ne parle pas dans le fichier “.htaccess“, qui est utilisé pour configurer le serveur Web, Je parle le fichier “robots.txt“. Le fichier “robots.txt” è uno dei file di configurazione più semplici che esistano, et Lire la suite…