Cookie

Vorsicht


Dieser Artikel wurde mehr als vor einem Jahr veröffentlicht, Es gab Entwicklungen können.
Bitte berücksichtigen Sie dies.

Existiert in dem Netz der Normen des Verhaltens für Crawler (die bot, oder auch Spinne) für’Inhaltsindizierung. Ich beziehe mich nicht auf die Datei “.htaccess“, die verwendet wird, um den Webserver konfiguriert, Ich bin über die Datei im Gespräch “robots.txt“.

Die Datei “robots.txt” eines von Konfigurationsdatei einfach, dass es, und im Gegensatz zu “.htaccess” platziert werden soll eindeutig nur in Verzeichnis radice Website. Diese Datei steht für die Suchmaschinen, dass Index unserer Seite Indexierung oder weniger bestimmt Datei die Verzeichnis, und die Bedienung ist sehr einfach:

campo : valore

Sie können nur zwei Arten von Feldern: “User-agent” und “Erlauben / Ablehnen“.

User-Agent

Mit dem Feld “User-Agent” angeben eine Suchmaschine genaue. Nur ein kleiner Suche im Internet, oder Zugang Überwachung im Laufe der Zeit, die Realisierung die großen Suchmaschinen, die Zugriff die Website. Normalerweise sind die Zugriffe auf die Datei “robots.txt” durchgeführt nur von den Suchmaschinen, und in jedem Fall der User-Agent sofort erkennbar.

Erlauben / Ablehnen

Mit dem Wert “Erlauben” die “Ablehnen” erklärt wird Zugriff erlauben die Website der Suchmaschine, die den User-Agent in die spezifizierten Nutzungen “User-Agent“. Als Beispiel können wir wollen ausschließen VerzeichnisBilder” Indizierung “Googlebot-image“, vor allem, wenn die Bilder, die wir auf dem Server belassen wir wollen sie mit verkaufen Lizenzen anders CreativeCommons.

Lassen Sie mich ein wenig klären’ Ideen mit einem feinen Beispiel:

User-Agent : *
Disallow: /wp-

In diesem Fall haben wir festgestellt, dass die Crawler, die mit auftreten einem User-Agent nicht zugreifen Verzeichnisse, die beginnen mit “wp-“, diejenigen, die Verwaltung von Wordpress gewidmet. Einfache, nicht?

Zu wenig?


TheJoe

Ich halte diesen Blog als ein Hobby von 2009. Ich bin begeistert von Grafik, Technologie, Open Source Software. Unter meinen Artikel wird nicht schwierig sein, über die Musik finden, und einige persönliche Reflexionen, aber ich bevorzuge die direkte Linie des Blogs vor allem auf Technologie. Weitere Informationen Kontaktieren Sie mich.

2 Kommentare

TheJoe · 5 Juli 2010 um 4:36 PM

Sie wird sich auch auf die Artikel “.htaccess” dann! 😀

https://thejoe.it/wordpress/?s=htaccess

EDV-Kurse · 5 Juli 2010 um 3:35 PM

ottimo tip 🙂

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.