Nella rete esistono degli standard di comportamento per i crawler (o bot, o ancora spider) per l’indicizzazione dei contenuti. Non mi riferisco al file “.htaccess“, quello serve per configurare il webserver, sto parlando del file “robots.txt“. Il file “robots.txt” è uno dei file di configurazione più semplici che esistano, e Leggi tutto…