Bot-Traffic in den Besucherzahlen: 133 Besuche an einem Messtag waren kein Mensch

Bot-Traffic gerät in eine Webanalyse, die per JavaScript zählt, sobald ein automatisierter Browser die Seite wie ein Mensch lädt. In der Webanalyse unseres eigenen Betriebs waren an einem Messtag 133 Besuche kein Mensch, rund 13 % des Tagesverkehrs. Ein Teil kam von unseren eigenen automatisierten Browsern, der Rest von fremden Scrapern. Entschieden wurde nach genau diesen Zahlen.

Woher der Bot-Traffic in den Besucherzahlen kommt

Die bekannten Crawler der Suchmaschinen sind selten das Problem. Sie nennen sich in ihrer Kennung beim Namen, und viele führen kein JavaScript aus, sodass ein Zählskript sie gar nicht erst bemerkt. Ein automatisierter Browser verhält sich anders: Er lädt die Seite vollständig, führt jedes Skript aus und erscheint in der Auswertung wie ein gewöhnlicher Besucher.

Solche Browser laufen in vielen Unternehmen, die automatisieren, ohne dass sie in einer Besucherstatistik jemand vermutet – etwa ein Skript, das Seiten für einen Bericht abfotografiert, ein Ablauf, der Einträge in Onlineportalen prüft, oder ein Test, der nach jeder Änderung ein Formular ausfüllt. Jeder dieser Aufrufe ist für sich harmlos. Zusammen verschieben sie die Zahl, an der jemand abliest, ob eine Seite funktioniert.

Heimtückisch ist die Form dieses Fehlers. Die Kurve bricht nicht ein und springt nicht, sie liegt nur dauerhaft zu hoch. Eine Seite kann besuchter wirken, als sie ist, und ein Vergleich zweier Varianten vergleicht womöglich zum Teil Maschinen miteinander. Auffällig ist dabei keine einzelne Zahl, und deshalb fragt auch niemand nach.

Drei Hebel: Segment, Ausschlussliste, Server-Adressen

Die Bereinigung in unserer eigenen Analyse besteht aus drei Teilen. Jeder deckt eine andere Richtung ab – die Vergangenheit, neue Besuche und die eigenen Maschinen:

• Ein rückwirkendes Segment „echte Besucher“. Es gilt für die vorhandenen Berichte und blendet aus, was als Maschine erkannt ist. Die Bereinigung ist umkehrbar: Gelöscht wird dabei nichts.
• Eine globale Ausschlussliste für Browserkennungen. Neue Besuche, deren Kennung einen automatisierten Browser verrät, werden gar nicht erst gezählt – über alle Websites hinweg statt Seite für Seite.
• Der Ausschluss der Server-IPs. Aufrufe von unseren eigenen Servern zählen nicht mit, auch wenn sie sich als gewöhnlicher Browser ausgeben.

Heraus kommt kein neuer Bericht, sondern dieselben Berichte auf einer anderen Grundlage. Die 133 Besuche jenes Messtags stehen seitdem nicht mehr in den Zahlen, auf denen Entscheidungen beruhen.

Warum wir Bot-Traffic ausblenden und nicht löschen

Löschen wäre der kürzere Weg gewesen, und er hätte ein neues Problem geschaffen. Eine Regel, die Besuche entfernt, kann sich irren. Stellt sich später heraus, dass sie zu grob war, sind die betroffenen Besuche fort, und keine Zahl aus der Vergangenheit lässt sich mehr nachprüfen. Ein Segment ist dagegen eine Sicht auf die Daten: Wer wissen will, wie die Zahlen ohne Filter aussahen, schaltet es ab und vergleicht.

Bei neuen Besuchen ist es bewusst anders. Was die Ausschlussliste trifft, wird nicht gespeichert, und dafür gibt es keinen Rückweg. Auf eine solche Liste gehört deshalb nur, was eindeutig eine Maschine ist; alles Unsichere bleibt in den Daten und wird über das Segment behandelt. So entsteht eine Kennzahl, deren Zustandekommen sich erklären lässt – dieselbe Frage, die ein Audit-Trail für Änderungen in einem System beantwortet.

Was der Filter nicht erkennt

Der Filter erkennt Maschinen an dem, was sie über sich preisgeben: an der Browserkennung und an der Adresse, von der sie kommen. Ein Scraper, der sich als gewöhnlicher Browser ausgibt und über wechselnde fremde Adressen zugreift, fällt durch beide Raster und steht weiter in den Zahlen. Die bereinigte Kennzahl ist ehrlicher als vorher, aber nicht vollständig menschlich.

Die zweite Grenze liegt in der Pflege. Eine Ausschlussliste kennt nur die Kennungen, die jemand eingetragen hat. Kommt ein Werkzeug hinzu, das sich anders nennt, zählt es mit, bis es jemandem auffällt. Und die 133 beschreiben einen Messtag, keinen Durchschnitt: Wie groß der Anteil an anderen Tagen ist, hängt davon ab, wie viele Abläufe gerade Seiten aufrufen.

Kennzahlen mit Nachweis: so gehen wir bei Automatisierungen vor

Wenn wir Geschäftsprozesse automatisieren, klären wir die Frage nach den Kennzahlen, bevor der erste Ablauf produktiv geht, und nicht erst, wenn eine Auswertung merkwürdig aussieht. Für jeden Ablauf, der Websites, Portale oder Formulare aufruft, nehmen wir ins Angebot auf, woran er sich zu erkennen gibt, von welcher Adresse er zugreift und aus welchen Auswertungen er herausgerechnet wird.

Daraus lässt sich ein prüfbares Abnahmekriterium machen: Ein Testlauf des neuen Ablaufs taucht in der Besucherstatistik nicht als Besuch auf. Ob dafür ein Segment genügt oder eine Kennung auf die Ausschlussliste gehört, entscheiden wir je Ablauf und halten es schriftlich fest – samt der Stelle, an der man die Bereinigung wieder abschaltet.