TheJoe.it Into the (öffnen) Quelle

27Jun_Juni_abbreviation/102

Ausschließen von Dateien und Verzeichnisse von der Indizierung mit Hilfe der Datei “robots.txt”

spider_miniatura

Existiert in dem Netz der Normen des Verhaltens für Crawler (die bot, oder auch Spinne) durch dieInhaltsindizierung. Ich beziehe mich nicht auf die Datei ".htaccess", die verwendet wird, um den Webserver konfiguriert, Ich bin über die Datei im Gespräch "robots.txt".

Die Datei "robots.txt" eines von Konfigurationsdatei einfach, dass es, und im Gegensatz zu ".htaccess" platziert werden soll eindeutig nur in Verzeichnis radice Website. Diese Datei steht für die Suchmaschinen, dass Index unserer Seite Indexierung oder weniger bestimmt Datei die Verzeichnis, und die Bedienung ist sehr einfach: