User Agent Blocking

Aggressives Crawling oder Bot Traffic kann zu hoher CPU Last und Performance Problemen führen.
​

Wenn Zugriffe von vielen unterschiedlichen IP Adressen kommen, ist klassisches
​IP Blocking oft nicht ausreichend. In solchen Fällen kannst du Bots gezielt über ihren User Agent identifizieren und blockieren.

So gehst du vor:

a) Öffne deine betreffende Box und gehe zu den Box Einstellungen

b) Wähle Sicherheit und gehe zu User Agent Blocking

c) Klicke auf den grauen Button 'Neuer Eintrag'
​

Gib im Modalfenster die benötigten Werte ein:
​

Interner Name zur Wiedererkennung. Dieser Name hat keine Auswirkungen auf die Funktion der jeweiligen Regel.
​

Hier trägst du die Zeichenkette ein, anhand der der Bot erkannt werden soll.
​
Den passenden Wert findest du in den Access Logs deiner Box. Der User Agent steht dort am Ende jeder Log Zeile in Klammern.
​
Beispiel einer Log Zeile:

Im obigen Beispiel wäre der User Agent String: DotBot
​

(Exact Match): Zeichenkette enthält vollständigen User Agent

Geeignet, wenn du exakt einen bestimmten Bot blockieren möchtest.

Risiko gering, aber selten nötig.

​(Contains Match): Zeichenkette enthält Teil des User Agent

Geeignet bei klar erkennbaren Bot Namen wie AhrefsBot oder DotBot.
​

a) Klicke letztlich auf Speichern.
​

Das Modal schließt sich und du siehst eine Übersicht aller bestehenden Einträge.
​

Dort kannst du:

ℹ️ Neue oder geänderte Regeln greifen nach etwa 1 Minute.

​

Nicht jeder Bot ist problematisch. Einige Crawler sind wichtig für Sichtbarkeit und SEO.
​

Blockiere nur User Agents, wenn mindestens einer der folgenden Punkte zutrifft:

Wenn kein Performanceproblem besteht, ist ein Blocking in der Regel nicht notwendig.
​

Diese Bots sind meist gewünscht:

Ein Blockieren kann sich negativ auf SEO und Indexierung auswirken.

Prüfe in den Access Logs:

Wenn ein Bot nur wenige Requests pro Stunde erzeugt, besteht meist kein Handlungsbedarf.

In Ausnahmefällen kann es sinnvoll sein, auch grundsätzlich gewünschte Bots (z. B. Suchmaschinen oder SEO Crawler) vorübergehend zu blockieren.

Zum Beispiel:

In den letzten Jahren greifen vermehrt sogenannte AI Bots auf Webseiten zu.
​
Dazu zählen beispielsweise:

Diese Bots werden genutzt, um Inhalte für KI Modelle zu trainieren oder Suchdienste mit KI Funktionen bereitzustellen.

Wenn kein Performanceproblem vorliegt, ist ein Blocking nicht zwingend notwendig.

Geblockte Anfragen erhalten den HTTP Statuscode 403 (Forbidden).
​

Das bedeutet, dass der Server die Anfrage erkennt, den Zugriff jedoch aktiv verweigert. Der Bot oder Client erhält keinen Zugriff auf die angeforderte Ressource.
​
Da die Anfrage frühzeitig abgelehnt wird:

Dadurch reduziert sich die Serverlast im Vergleich zu regulären Seitenaufrufen deutlich.
​

Über die robots.txt kannst du Suchmaschinen und Bots Anweisungen geben, welche Bereiche deiner Webseite gecrawlt werden dürfen.

Diese Anweisungen sind jedoch freiwillig. Seriöse Suchmaschinen halten sich daran, viele andere Bots jedoch nicht.

User Agent Blocking hingegen erfolgt serverseitig. Anfragen geblockter User Agents werden direkt mit dem Statuscode 403 beantwortet.
​

Während robots.txt das Crawling steuert, verhindert User Agent Blocking den Zugriff vollständig.

Wenn du lediglich das Crawling bestimmter Bereiche einschränken möchtest, ist robots.txt oft die bessere Wahl.

Wenn ein Bot jedoch trotz robots.txt Anweisungen hohe Last verursacht, kann User Agent Blocking sinnvoll sein.
​