überprüfung von useragenten und bots + more

[MasterX]

Es gibt eine neue Beta Version.

Was ist neu?
Das Programm erstellt automatisch eine .htaccess mit auszuschließenden Useragenten.
Das ist schon ganz schön viel Arbeit, die einem abgenommen wird.
Es kann auf Wunsch eine .htaccess erzeugt werden, die Downloads vor Deeplinking schützt.
Es wurden Partner ins Programm übernommen.
Mini Erklärung von Statuscodes.

Was war alt?
Überprüfung von einzelnen Bots/Useragenten auf deren Zugriff auf die Webpräsenz.
Überprüfung von Bots/Useragenten anhand einer Botlist auf deren Zugriff auf die Webpräsenz.

Alle Feature sind includet!

Was kommt bald?
Geplant ist mit dem Webservice von Google zu kommunizieren.
Automatische Erstellungen von Redirektoren mittels Formular.

Mal sehen was für Ideen noch kommen ... so lange bleibt es eine Beta 


Last EDIT
16.11 / 0:27

[Mr.On]

So habs mir mal angeschaut und ist auf den ersten Blick klasse.

Die .htaccess wird auch schon mal prima generiert. Solang die Liste noch nicht astrein ist, wäre es vielleicht hilfreich wenn man die bots aussuchen bzw. anklicken kann die ausgeschlossen werden sollen und danach die .htaccess gestaltet wird.

Was meinst Du oder Ihr.

[MasterX]

Solang die Liste noch nicht astrein ist, wäre es vielleicht hilfreich wenn man die bots aussuchen bzw. anklicken kann die ausgeschlossen werden sollen und danach die .htaccess gestaltet wird.

Ja das liese sich einrichten 

[MasterX]

@Mr:on
habe Deinen Vorschlag eingebaut.

Man hat jetzt die Möglichkeit selber zu entscheiden, welche Bots in die .htaccess geschrieben werden. (Einfach den Haken in der Checkbox des Useragenten entfernen, alle anderen werden reingeschrieben)
Weiterhin kann man jetzt eigene *.bot Files erstellen und diese dann laden und prüfen lassen.
Ein Bug war mir aufgefallen bei der Erstellung der .htaccess.

Habe ich gefixt.

Die aktuelle Version habe ich im ersten Posting angehangen.

Wäre natürlich erfreut, wenn es Feedback und weitere Vorschläge gibt.

greetz
MX

[CN-Techniker]

Ich vermisse Versionsnummern. Wäre cool, wenn du die mit einpflegst. Der Grund dafür ist recht einfach... man sieht, ob man eine Aktuelle Version hat, oder eben nicht. Die, die ich mir eben runtergeladen habe sieht genauso aus, wie die davor.

Noch aufgefallen sind mir folgende Dinge.

Gibt man eine Bot-Liste an und ein Target, so vergisst das Tools diese, wenn man im Tool ein bisschen rumklickt. Wenn es sich das merken würde, wäre das klasse.
Man kann die Prüfung nicht vorzeitig abbrechen, dass wäre aber schon nicht schlecht.

Das erzeugen der .htaccess ist übrigens super. Aber warum muss ich dafür erst den Test durchlaufen. Das ist schade. Würde es nicht sinn machen, den Test und die Erzeugung voneinander abzukoppeln?

Gruß, Holger

[MasterX]

Hi Holger,

Ich vermisse Versionsnummern. Wäre cool, wenn du die mit einpflegst. Der Grund dafür ist recht einfach... man sieht, ob man eine Aktuelle Version hat, oder eben nicht. Die, die ich mir eben runtergeladen habe sieht genauso aus, wie die davor.

Die zu Grunde liegende Version ändert sich ja nicht bei den kleinen Änderungen. Es ist halt noch die 1.0 Beta, es ändert sich aber ständig die Dateiversion, die kann ich anzeigen lassen.

Gibt man eine Bot-Liste an und ein Target, so vergisst das Tools diese, wenn man im Tool ein bisschen rumklickt. Wenn es sich das merken würde, wäre das klasse.

Das kann ich ändern, kein Problem.

Man kann die Prüfung nicht vorzeitig abbrechen, dass wäre aber schon nicht schlecht.

Werde mir das Problem anschauen 

Aber warum muss ich dafür erst den Test durchlaufen. Das ist schade. Würde es nicht sinn machen, den Test und die Erzeugung voneinander abzukoppeln?

Die Grundlage zur Erzeugung der .htaccess war ja die vorgegebene Botliste.

Jetzt kann man ja seine eigenen (und auch getesteten) Botlisten erstellen, da bietet es sich an den test nur Wahlweise durchzuführen.

Werde das alles in der nächsten Version berücksichtigen!

Danke für das Feedback.

grüße
MX

[CN-Techniker]

Ich hab die erzeugte htaccess bei mir eingefügt. Das Ergebnis war ein "500 Internal Server Error"  Nanü, woran liegt denn das?

[MasterX]

Ohh... 

das kann ich erst morgen testen ...

habe erstmal den download runter genommen , es liegt an den Leerzeichen in den Namen der Bots.

[MasterX]

Ich habe jetzt die Fehler mit der .htaccess korrigiert.
Sollte jetzt eigentlich keinen 500 Internal Server Error mehr bringen.

Habe jetzt mal angefangen eine saubere Botliste zu erstellen (liegt im Archiv bei). Wer Lust hat kann diese erweitern bzw. bearbeiten. Habe das Formular zum Erstellen von Botlisten ein wenig erweitert.

Vielleicht kann das mal jemand testen und Feedback hinterlassen.

thx

[CN-Techniker]

  keine Ahnung was jetzt klemmt. Jetzt kommt die Testpage vom Webserver. Müssten da nicht die * in der htaccess sein? Vor und hinter den Bots.

[MasterX]

Puhh...

So sieht die momentan erstellte .htaccess aus.

########################################################
#            .htaccess generatet by CCK GROUP          #
# Please visit http://board.cck-group.info for Support #
########################################################

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^BatchFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Copier [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo\ Pump [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Wonder [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^FileHound [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^TheSuBot/0\.1\ (www\.thesubot\.de)
RewriteRule ^.* - [F]

Ich habe die jetzt selber hochgeladen, da gibt es keine probs -> beispiel

keine Ahnung was jetzt klemmt. Jetzt kommt die Testpage vom Webserver. Müssten da nicht die * in der htaccess sein? Vor und hinter den Bots.

eigentlich nicht, wie sieht denn Deine .htaccess aus?

gruß

[CN-Techniker]

Wenn ich die vom Tool erstellte ACL reinkopiere, sieht die so aus:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^BatchFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Copier [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo\ Pump [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Wonder [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^FileHound [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^mirago [OR]
RewriteRule ^.* - [F]

#<Simplified URL Hack>
RewriteEngine on
RewriteCond %{REQUEST_FILENAME}   !-f
RewriteRule ^.*\.(htm|html) loadpage.php [L]
RewriteRule ^$ loadpage.php [L]
#</Simplified URL Hack>

[MasterX]

Was mir gleich aufgefallen ist, Du schaltest 2x die RewriteEngine an, am Beginn und in Deinem Hack. Das ist aber nicht richtig.
RewriteEngine on muss zum Beginn der htaccess platziert werden.

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^BatchFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Collector [OR]
.........
RewriteRule ^.* - [F]

RewriteCond %{REQUEST_FILENAME}   !-f
RewriteRule ^.*\.(htm|html) loadpage.php [L]
RewriteRule ^$ loadpage.php [L]

greetz
MX

[CN-Techniker]

Ups, stimmt. War bisher aber kein Problem 

[Mr.On]

Hallo,

also bei mir funzt das alles super.

Vielleicht muss man wieder auf bestimmte Operatoren achten wie auch bei Mod_Rewrite. Da ist ja jeder Provider anders.

Ciao Mr.On