Existiert in dem Netz der Normen des Verhaltens für Crawler (die bot, oder auch Spinne) für’Inhaltsindizierung. Ich beziehe mich nicht auf die Datei “.htaccess“, die verwendet wird, um den Webserver konfiguriert, Ich bin über die Datei im Gespräch “robots.txt“.

Die Datei “robots.txt” eines von Konfigurationsdatei einfach, dass es, und im Gegensatz zu “.htaccess” platziert werden soll eindeutig nur in Verzeichnis radice Website. Diese Datei steht für die Suchmaschinen, dass Index unserer Seite Indexierung oder weniger bestimmt Datei die Verzeichnis, und die Bedienung ist sehr einfach:

campo : valore

Sie können nur zwei Arten von Feldern: “User-agent” und “Erlauben / Ablehnen“.

User-Agent

Mit dem Feld “User-Agent” angeben eine Suchmaschine genaue. Nur ein kleiner Suche im Internet, oder Zugang Überwachung im Laufe der Zeit, die Realisierung die großen Suchmaschinen, die Zugriff die Website. Normalerweise sind die Zugriffe auf die Datei “robots.txt” durchgeführt nur von den Suchmaschinen, und in jedem Fall der User-Agent sofort erkennbar.

Erlauben / Ablehnen

Mit dem Wert “Erlauben” die “Ablehnen” erklärt wird Zugriff erlauben die Website der Suchmaschine, die den User-Agent in die spezifizierten Nutzungen “User-Agent“. Als Beispiel können wir wollen ausschließen Verzeichnis “Bilder” Indizierung “Googlebot-image“, vor allem, wenn die Bilder, die wir auf dem Server belassen wir wollen sie mit verkaufen Lizenzen anders CreativeCommons.

Lassen Sie mich ein wenig klären’ Ideen mit einem feinen Beispiel:

User-Agent : *
Disallow: /wp-

In diesem Fall haben wir festgestellt, dass die Crawler, die mit auftreten einem User-Agent nicht zugreifen Verzeichnisse, die beginnen mit “wp-“, diejenigen, die Verwaltung von Wordpress gewidmet. Einfache, nicht?