TheJoe.it Into the (öffnen) Quelle

27Jun_Juni_abbreviation/102

Ausschließen von Dateien und Verzeichnisse von der Indizierung mit Hilfe der Datei “robots.txt”

spider_miniatura

Existiert in dem Netz der Normen des Verhaltens für Crawler (die bot, oder auch Spinne) durch dieInhaltsindizierung. Ich beziehe mich nicht auf die Datei ".htaccess", die verwendet wird, um den Webserver konfiguriert, Ich bin über die Datei im Gespräch "robots.txt".

Die Datei "robots.txt" eines von Konfigurationsdatei einfach, dass es, und im Gegensatz zu ".htaccess" platziert werden soll eindeutig nur in Verzeichnis radice Website. Diese Datei steht für die Suchmaschinen, dass Index unserer Seite Indexierung oder weniger bestimmt Datei die Verzeichnis, und die Bedienung ist sehr einfach:

campo : valore

Sie können nur zwei Arten von Feldern: "User-agent" und "Erlauben / Ablehnen".

User-Agent

Mit dem Feld "User-Agent" angeben eine Suchmaschine genaue. Nur ein kleiner Suche im Internet, oder Zugang Überwachung im Laufe der Zeit, die Realisierung die großen Suchmaschinen, die Zugriff die Website. Normalerweise sind die Zugriffe auf die Datei "robots.txt" durchgeführt nur von den Suchmaschinen, und in jedem Fall der User-Agent sofort erkennbar.

Erlauben / Ablehnen

Mit dem Wert "Erlauben" die "Ablehnen" erklärt wird Zugriff erlauben die Website der Suchmaschine, die den User-Agent in die spezifizierten Nutzungen "User-Agent". Als Beispiel können wir wollen ausschließen Verzeichnis "Bilder" durch Indizierung "Googlebot-image", vor allem, wenn die Bilder, die wir auf dem Server belassen wir wollen sie mit verkaufen Lizenzen anders CreativeCommons.

Lassen Sie mich klarstellen ein bisschen "Ideen mit einem feinen Beispiel:

User-Agent : *
Disallow: /wp-

In diesem Fall haben wir festgestellt, dass die Crawler, die mit auftreten einem User-Agent nicht zugreifen Verzeichnisse, die beginnen mit "wp-", derjenigen, die zur Verwaltung von WordPress. Einfache, nicht?

hat dir dieser Artikel gefallen?

Dann abonniere doch diesen Blog per RSS Feed!

Über

Ich halte diesen Blog als ein Hobby von 2009. Ich bin begeistert von Grafik, Technologie, Open Source Software. Unter meinen Artikel wird nicht schwierig sein, über die Musik finden, und einige persönliche Reflexionen, aber ich bevorzuge die direkte Linie des Blogs vor allem auf Technologie. Weitere Informationen Kontaktieren Sie mich.

Kommentare (2) Trackbacks (0)
  1. Sie wird sich auch auf die Artikel “.htaccess” dann! 😀

    http://thejoe.it/wordpress/?s=htaccess


Hinterlasse einen Kommentar

Noch keine Trackbacks.