предосторожность
Эта статья была опубликована более чем год назад, там, возможно, были события.
Пожалуйста, примите это во внимание.
В сети есть нормы поведения для гусеничный трактор (О бот, или даже паук) для’индексирование содержимого. Я не имею в виду файл “.Htaccess“, необходимость настроить свой веб-сервер, Я говорю о файле “robots.txt“.
файл “robots.txt” Это один из файл конфигурации проще существовать, и в отличие от “.Htaccess” Он должен быть помещен однозначно только в каталог Radice сайт. Этот файл сообщает поисковые системы, что индекс наш сайт Индекс или нет определенный файл О каталог, и операция очень проста:
campo : valore
Вы можете ввести только два типа полей: “Агент пользователя” е “Разрешать / запрещать“.
User-Agent
С полем “User-Agent” специфицировать поисковая система должен. Чуть-чуть Интернет исследования, один один доступ для наблюдения за работой через некоторое время, чтобы реализовать основные поисковые системы, которые имеют доступ сайт. Обычно запросы в файл “robots.txt” они осуществляются только в поисковых системах, и в любом случае агент пользователя может быть немедленно идентифицирован.
Разрешать / запрещать
При значении “Разрешать” О “запрещать” Заявлено разрешение доступа сайт в поисковую систему, которая использует агент пользователя, указанный в поле “User-Agent“. В качестве примера мы можем захотеть исключить каталог “изображений” индексация “Googlebot-изображение“, особенно если образы, которые мы оставляем на сервере мы хотим продать их лицензии отличается от CreativeCommons.
Поясню немного’ Идеи с прекрасным примером:
User-Agent : *
Disallow: /wp-
В этом случае, мы заявили, что искатели, которые представляют с любой агент пользователя не имеют доступа к каталоги, которые начинаются с “в.ч.-“, посвящённых администрации WordPress. простой, нет?
2 Комментарии
TheJoe · 5 июль 2010 в 4:36 ВЕЧЕРА
Ti interesseranno anche gli articoli su “.Htaccess” allora! 😀
https://thejoe.it/wordpress/?s=htaccess
corsi di informatica · 5 июль 2010 в 3:35 ВЕЧЕРА
ottimo tip 🙂