Для тех, кто случайно контролировать доступ к сайтам будет когда-либо попадались очень похожий доступ друг к другу, часто они краулеры (Сам Google использует сложный тип сканера под названием GoogleBot.). Перефразируя Википедию: Un гусеничный (также называется пауком или роботом), это программное обеспечение, которое Прочитайте больше…