Geschätzte Lesezeit: 3 Minuten

Für alle, die den Zugang von einer Website überwachen passiert jemals über sehr ähnlich zueinander kommen Zugang, oft ist es Crawler (Google selbst nutzt eine hoch entwickelte Art der Crawler genannt GoogleBot). Anlehnung Wikipedia:

Ein Crawler (auch als Spinne die Roboter), ist eine Software, die den Inhalt eines Netzwerks analysiert (oder eine Datenbank) in einer methodischen, automatisierte, typischerweise für Rechnung einer Suchmaschine.

Crawler sind meist harmlos, erstellen kein Verkehr innerhalb der Site (wenn sie gut gemacht) zu bieten Indexing Service die wir alle kennen und schätzen. [mehr]

Allerdings gibt es, dass Crawler, mit den gleichen Mechanismen des Crawlers Indizierung, Scannen des Web auf der Suche nach Fehler im Code Seiten. Wie wir wissen Webmaster sind nicht immer in der Planung vorsichtig, und manchmal sind wir uns bewusst von einigen Sicherheitsverletzungen Website (Das Portal). Diese schädlichen Raupen erkunden Sie die Länge und Breite der Bahn, Indizierung der Seiten für sich selbst, um "durchbohren"Der Standort, und Zugang der Server oder schlechter sensible Daten.

Auch, neben uns nicht eine gute Indizierung Service, verstärkte Nutzung der Band, zwingt den Browser, um die Website zu besuchen langsamer. Nun ... über Beleidigung Verletzung.

Allerdings ist es mit einem einfachen Text-Datei blockieren den Zugriff auf bestimmte IPs oder "User-Agent" einmal identifiziert möglich. Ich bin über die Datei zu reden. "Htaccess".

Die Datei ". Htaccess" ist eine nützliche Konfigurationsdatei auf dem Server, ein sehr einfaches Werkzeug, aber ebenso leistungsfähige, und kann nicht leichtfertig verwendet werden. Ein Fehler in der Konfigurationsdatei kann hemmen den Webmaster Zugriff auf ihre Seiten, für die Andiamoci vorsichtig.

Der sicherste Weg, zu wissen, ob die "Benutzeragenten"Wer hat einen letzten Besuch auf dem Gelände gemacht ist schädlich Crawler ist eine Suche auf Google. Lassen Sie ihn separat "Benutzeragenten” e l’IP-Adresse aus denen wir die Anforderung erhalten.

Sperren der Bot durch. "Htaccess"

Dieses Beispiel, und alle nachfolgenden, können am Ende der Datei hinzugefügt werden ".htaccess", immer es erstellt wurde. Wenn es nicht bereits vorhanden ist können Sie es: eine einfache Text-Datei, die wir nennen werden ". htaccess" wird gestellt in "Root-Verzeichnis"Der Server.

#sbarazziamoci del bot
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^BadBot
RewriteRule ^(.*)$ http://go.away/

Was macht dieses Stück Code? Einfache. Die paar Zeilen weiter oben sagen, den Server, um den Zugriff zu steuern, dessen "User-Agent " beginnend mit "Badbot". Wenn es stimmt, die findet man Weiterleitungen zu einer Adresse, die nicht genannt hat "existierenhttp://go.away /".

Nun wollen wir sehen, wie man mehr als einen Block:

#sbarazziamoci dei bot
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^BadBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^EvilScaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^FakeUser
RewriteRule ^(.*)$ http://go.away/

Der obige Code macht genau die gleichen Dinge, die den ersten gemacht, in diesem Fall blockiert alle "Benutzeragenten"Das beginnt mit"Badbot", "EvilScraper", "Fake Benutzer". Beachten Sie, dass, wenn es mehr als einen Bot zu sperren müssen Sie setzen "[OR]"Am Ende der Zeile aller Regeln, außer, dass die letzte.

Sperren der "Diebe" Bandbreite

Wer Segeln in der Regel nicht wissen,, aber es passiert oft, dass leichter zu sein auf Ihrem eigenen Server (oder einfach Unwissenheit) einige Webmaster umfassen Bilder der Bewohner anderswo in Ihre Seiten. Diese hellt die Last auf dem Server, der nicht die Last der Ausrichtung der Bild, aber Gewichte Verkehr auf dem Server, auf dem sich das Image, nicht zu erwähnen, dass der zweite Server hat keine Werbung von der Arbeit.

Da können wir uns nicht leisten, in der Reihenfolge der Bilder auf unserer Website ändern, auch in diesem Fall ".htaccess"Es gibt Hilfe.

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*somebadforum\.com [NC]
RewriteRule .* - [F]

Auf diese Weise "somebadforum.com"Wird ein umgeleitet werden Code "403 Verbotene"Für jedes Bild enthalten. Das Endergebnis wird das klassische Symbol für fehlende Bild sein (broken image), e Nostro serverseitige spart Sara.

Um mehr als eine Website sperren das ist der Code:

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*somebadforum\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*example1\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*example2\.com [NC]
RewriteRule .* - [F]

Wie vorstehend, Beachten Sie auf dem Ende jeder Zeile "OR", mit Ausnahme der letzten.

Verbieten Sie die IP

Es kann auch passieren, dass Sie klug bot tun, und ändern ihre Drehung "Benutzeragenten", um die ständige Versorgung der Seiten der Website. Wenn dieses Phänomen ein Weg, um Zugang zu dem Bot blockieren passiert "phantasievolle" ist blockieren IP (sperren, wenn es einen kontinuierlichen Zugang aus dem gleichen IP). Auch in unserem treuen ".htaccess"Fügen Sie die folgenden Zeilen:

order allow,deny
deny from 192.168.44.201
deny from 1.2.3.4
deny from 5.6.7.8
allow from all

In diesem Beispiel werden wir blockieren drei IP-Adressen, mit der letzten Zeile geliefert Zugriff auf alle anderen. Es ist aber auch möglich, den Zugriff auf den Grund der Adressblock (ist. 192.168.*):

order allow,deny
deny from 192.168.
deny from 100.29.
deny from 500.699.
allow from all

Mit diesen Regeln, alle IP-Adressen, die beginnen mit "192.168." (und die folgenden) blockiert werden.

Schlagen Sie immer auf eine zu erstellen Backup von ".htaccess", Dinge nicht immer so, wie wir wollen,, und wäre nicht nützlich für alle, die keinen Zugang zu ihrem Server. Die häufigste Hoster bieten Unterstützung to file ".htaccess", im Falle Ihrer Hoster bieten keine solche Unterstützung glauben, ist der Fall von cambiare Hoster.