Cookie

Ausschließen von Dateien und Verzeichnisse von der Indizierung mit Hilfe der Datei “robots.txt”

Nella rete esistono degli standard di comportamento per i crawler (o bot, o ancora spider) per l’indicizzazione dei contenuti. Ich beziehe mich nicht auf die Datei “.htaccess“, die verwendet wird, um den Webserver konfiguriert, Ich bin über die Datei im Gespräch “robots.txt“. Die Datei “robots.txt” è uno dei file di configurazione più semplici che esistano, und Weiterlesen…