80legs Crawler zwang Datenbank in die Knie

Hier findet Ihr alte News....
Alles was älter als ein halbes Jahr ist wird gelöscht
Forumsregeln
Hinweis: Ihr befindet Euch im ARCHIV
Dies sind alte News :zwinker:
Benutzeravatar
Dr.Death
Site Admin
Site Admin
Beiträge: 1950
Registriert: 05.02.2005 15:41
Wohnort: Xanten
Kontaktdaten:

80legs Crawler zwang Datenbank in die Knie

Beitrag von Dr.Death » 18.04.2012 10:05

Hallo zusammen,

ein kurzer Hinweis in eigener Sache:

Am 17.04.2012 gegen 20 Uhr hat uns ein agressiver WebCrawler ( 80legs ) heimgesucht und den MySQL Datenbankserver stark belastet.

Um den kompletten MySQL Server zu schützen wurde unsere Domain "lpi-clan.de" gesperrt.

Nach einer kurzen Klärung des Sachverhalts wurde die Domain am 18.04.2012 - 9:10 Uhr wieder freigegeben.

Ursache:
Ein agressiver WebCrawler, der innerhalb von einer Stunde ca. 6000 Seitenaufrufe mit 477 gleichzeitigen Verbindungen startete.

Problemlösung:
Einbau einer automatischen Umleitung falls der agressive WebCrawler erneut auftaucht.

Genaue Lösungsbeschreibung:
ÖFFNE die Datei .htaccess im Forumsroot (dort, wo auch die Datei memberlist.php liegt)
EINFÜGEN:

Code: Alles auswählen

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} 008 [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]
Beschreibung der Lösung:
Sollte der WebCrawler mit dem User-Agent Namen 80legs oder 008 das Forum besuchen wollen, so wird er auf sich selbst umgeleitet.
Doc. :schein:

Werbung wird nicht durch www.lpi-clan.de bereitgestellt, sondern durch Google. Besucher dieser Links werden gebeten sorgfaeltig mit den angebotenen Produkten/Seiten umzugehen.
 
Benutzeravatar
Dr.Death
Site Admin
Site Admin
Beiträge: 1950
Registriert: 05.02.2005 15:41
Wohnort: Xanten
Kontaktdaten:

Re: BLEXBot Crawler zwang Datenbank in die Knie

Beitrag von Dr.Death » 25.06.2013 15:49

Erneut wurden wir diese Nacht (25.06.2013) von einem aggressiven Search-Crawl-Bot heimgesucht..... BLEXBot


Laut Access Log ist die Ursprungsadresse
84-0 29937 0/12/12 W 3.14 67 0 0.0 4.09 4.09 198.20.65.18 lpi-clan.de GET /viewtopic.php?
Eine whois Abfrage deutet auf den Betreiber www.singlehop.com

Die .htaccess wurde bereits erweitert auf:

Code: Alles auswählen

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} 008 [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} Pixray-Seeker [NC]
RewriteRule ^/* http://www.pixray.com/pixraybot [L]

RewriteCond %{HTTP_USER_AGENT} BLEXBot [NC]
RewriteRule ^/* http://www.singlehop.com/ [L]

RewriteCond %{HTTP_USER_AGENT} ^UnisterBot [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.126 [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.186 [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.55 [OR]
RewriteCond %{REMOTE_ADDR} ^87.118.116.25
RewriteRule ^(.*)$ http://www.unister.de [L]

RewriteCond %{HTTP_USER_AGENT} ^BacklinkCrawler [NC]
RewriteRule ^(.*)$ http://www.backlinktest.com/crawler.html [L]

RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit.*$ [OR]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?lpi-clan\.de/ [NC]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?phpbb\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?phpbb\.de/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule text2schild.php$ http://www.lpi-clan.de/stop.gif [L]
Doc. :schein:

Antworten