80legs Crawler zwang Datenbank in die Knie

[Dr.Death]

Hallo zusammen,

ein kurzer Hinweis in eigener Sache:

Am 17.04.2012 gegen 20 Uhr hat uns ein agressiver WebCrawler ( 80legs ) heimgesucht und den MySQL Datenbankserver stark belastet.

Um den kompletten MySQL Server zu schützen wurde unsere Domain "lpi-clan.de" gesperrt.

Nach einer kurzen Klärung des Sachverhalts wurde die Domain am 18.04.2012 - 9:10 Uhr wieder freigegeben.

Ursache:
Ein agressiver WebCrawler, der innerhalb von einer Stunde ca. 6000 Seitenaufrufe mit 477 gleichzeitigen Verbindungen startete.

Problemlösung:
Einbau einer automatischen Umleitung falls der agressive WebCrawler erneut auftaucht.

Genaue Lösungsbeschreibung:
ÖFFNE die Datei .htaccess im Forumsroot (dort, wo auch die Datei memberlist.php liegt)
EINFÜGEN:

Code: Alles auswählen

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} 008 [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

Beschreibung der Lösung:
Sollte der WebCrawler mit dem User-Agent Namen 80legs oder 008 das Forum besuchen wollen, so wird er auf sich selbst umgeleitet.

[Dr.Death]

Erneut wurden wir diese Nacht (25.06.2013) von einem aggressiven Search-Crawl-Bot heimgesucht..... BLEXBot


Laut Access Log ist die Ursprungsadresse

84-0 29937 0/12/12 W 3.14 67 0 0.0 4.09 4.09 198.20.65.18 lpi-clan.de GET /viewtopic.php?

Eine whois Abfrage deutet auf den Betreiber www.singlehop.com

Die .htaccess wurde bereits erweitert auf:

Code: Alles auswählen

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} 008 [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} Pixray-Seeker [NC]
RewriteRule ^/* http://www.pixray.com/pixraybot [L]

RewriteCond %{HTTP_USER_AGENT} BLEXBot [NC]
RewriteRule ^/* http://www.singlehop.com/ [L]

RewriteCond %{HTTP_USER_AGENT} ^UnisterBot [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.126 [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.186 [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.55 [OR]
RewriteCond %{REMOTE_ADDR} ^87.118.116.25
RewriteRule ^(.*)$ http://www.unister.de [L]

RewriteCond %{HTTP_USER_AGENT} ^BacklinkCrawler [NC]
RewriteRule ^(.*)$ http://www.backlinktest.com/crawler.html [L]

RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit.*$ [OR]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?lpi-clan\.de/ [NC]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?phpbb\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?phpbb\.de/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule text2schild.php$ http://www.lpi-clan.de/stop.gif [L]