Cookie

Исключение файлов и каталогов с помощью индексации файлов “robots.txt”

В сети есть нормы поведения для гусеничный трактор (o бот, или даже паук) для’индексирование содержимого. Я не имею в виду файл “.Htaccess“, необходимость настроить свой веб-сервер, Я говорю о файле “robots.txt“.

файл “robots.txt” Это один из файл конфигурации проще существовать, и в отличие от “.Htaccess” Он должен быть помещен однозначно только в каталог Radice сайт. Этот файл сообщает поисковые системы, что индекс наш сайт Индекс или нет определенный файл o каталог, и операция очень проста: (Больше…)