Cookie

TheJoe.it Dans le (ouvrir) Source

27Jun/102

Exclure les fichiers et répertoires de l'indexation en utilisant le fichier “robots.txt”

spider_miniatura

Exister dans le réseau de normes de comportement pour crawler (le présenté, ou encore araignée) par l'L'indexation de contenu. Je ne parle pas dans le fichier ".htaccess", qui est utilisé pour configurer le serveur Web, Je parle le fichier "robots.txt".

Le fichier "robots.txt" est l'un des fichier de configuration simples qu'il n'y, et contrairement à ".htaccess" doit être placé unique que dans répertoire Radice Site. Ce fichier communique avec les moteurs de recherche qui indexent notre site indexation ou moins déterminé fichier le répertoire, et l'opération est très simple:

campo : valore

Vous ne pouvez entrer deux types de champs: "User-agent" et "Permettre / Interdire".

User-Agent

Avec le champ "User-Agent" spécifier un moteur de recherche précise. Juste un petit Recherche sur Internet, ou un la surveillance de l'accès au fil du temps, pour réaliser le les principaux moteurs de recherche qui accèdent le site. Habituellement, les demandes dans le fichier "robots.txt" sont effectuées seulement par les moteurs de recherche, et en tout cas l'agent utilisateur sont immédiatement reconnaissables.

Permettre / Interdire

Avec la valeur "Permettre" le "Interdire" est déclarée Permis d'accès sur le site pour le moteur de recherche qui utilise l'agent d'utilisateur spécifié dans l' "User-Agent". A titre d'exemple on peut vouloir exclure le répertoire "images" par l'indexation "Googlebot-Image", surtout si les images que nous laissons sur le serveur nous voulons les vendre avec licences différent de Creative.

Permettez-moi de clarifier les idées un peu avec un bel exemple:

User-Agent : *
Disallow: /wp-

Dans ce cas, nous avons indiqué que les chenilles qui se produisent avec un agent d'utilisateur ne pas utiliser répertoires qui commencent par "wp-", ceux qui se consacrent à l'administration de WordPress. Simple, pas?

Content de cet article?

Inscrivez vous à notre fil rss!

Sur

Je garde ce blog comme un hobby par 2009. Je suis passionné de graphisme, la technologie, logiciel Open Source. Parmi mes articles ne sera pas difficile de trouver de la musique, et quelques réflexions personnelles, mais je préfère la ligne directe du blog principalement à la technologie. Pour plus d'informations me contacter.

Commentaires (2) Trackbacks (0)
  1. Vous aurez également une incidence sur les articles de “.htaccess” puis! 😀

    http://thejoe.it/wordpress/?s=htaccess


Laisser un commentaire

Aucun trackbacks pour l'instant