В сети есть нормы поведения для гусеничный трактор (О бот, или даже паук) для’индексирование содержимого. Я не имею в виду файл “.Htaccess“, необходимость настроить свой веб-сервер, Я говорю о файле “robots.txt“.

файл “robots.txt” Это один из файл конфигурации проще существовать, и в отличие от “.Htaccess” Он должен быть помещен однозначно только в каталог Radice сайт. Этот файл сообщает поисковые системы, что индекс наш сайт Индекс или нет определенный файл О каталог, и операция очень проста:

campo : valore

Вы можете ввести только два типа полей: “Агент пользователя” е “Разрешать / запрещать“.

User-Agent

С полем “User-Agent” специфицировать поисковая система должен. Чуть-чуть Интернет исследования, один один доступ для наблюдения за работой через некоторое время, чтобы реализовать основные поисковые системы, которые имеют доступ сайт. Обычно запросы в файл “robots.txt” они осуществляются только в поисковых системах, и в любом случае агент пользователя может быть немедленно идентифицирован.

Разрешать / запрещать

При значении “Разрешать” О “запрещать” Заявлено разрешение доступа сайт в поисковую систему, которая использует агент пользователя, указанный в поле “User-Agent“. В качестве примера мы можем захотеть исключить каталог “изображений” индексация “Googlebot-изображение“, особенно если образы, которые мы оставляем на сервере мы хотим продать их лицензии отличается от CreativeCommons.

Поясню немного’ Идеи с прекрасным примером:

User-Agent : *
Disallow: /wp-

В этом случае, мы заявили, что искатели, которые представляют с любой агент пользователя не имеют доступа к каталоги, которые начинаются с “в.ч.-“, посвящённых администрации WordPress. простой, нет?