65 Prozent des Web-Traffics sind Bots. Ab dem 15. September ändert Cloudflare die Regeln

Cloudflare hat das über sein eigenes Netzwerk-Radar gemessen, nicht geschätzt. Zwei Drittel des gesamten Internet-Traffics kommen nicht von Menschen.

Ein Teil davon war schon immer da. Klassische Suchmaschinen-Crawler, Uptime-Monitore, Preisvergleichs-Bots. Neu ist das Ausmaß, und neu ist der Grund.

Suchmaschinen-Giganten wie Google, Microsoft und Apple setzen ihre Crawler längst nicht mehr nur für klassisches SEO ein. Dieselben Bots sammeln parallel Trainingsdaten für die eigenen KI-Modelle. Ein einziger Crawl-Vorgang bedient damit zwei völlig unterschiedliche Zwecke, und nur einer davon bringt der Website etwas zurück.

Für Betreiber eigener Web-Projekte, Apps oder Automatisierungen ist das keine akademische Frage. Wer nicht genau weiß, welcher Bot warum auf dem eigenen Server unterwegs ist, verliert doppelt. Serverleistung geht drauf, und Daten wandern unkontrolliert in fremde Trainingsdatensätze.

Der alte Deal kippt

Der Trade-off war lange einfach. Websites öffnen sich für Crawler, im Gegenzug kommt organischer Traffic zurück.

Bei KI-Bots funktioniert diese Rechnung kaum noch. Die Crawl-to-Referral-Rate ist schwach. Tausende Bot-Aufrufe stehen oft nur einem einzigen menschlichen Besucher gegenüber.

Das kostet Serverressourcen, verzerrt Traffic-Analysen und bringt dem eigenen Business wenig zurück. Aus reiner Effizienzsicht ist das ein schlechtes Geschäft.

Die Deadline: 15. September

Cloudflare sichert schätzungsweise 20 bis 25 Prozent des gesamten Internets ab. Ab dem 15. September ändern sich dort die Default-Einstellungen. Sogenannte Mixed-Use-Crawler werden dann auf WAF-Ebene standardmäßig blockiert, sofern ein Schutz gegen KI-Training aktiv ist.

Das Problem an Mixed-Use-Crawlern wie dem Googlebot: Sie trennen nicht zwischen Indexierung fürs SEO und Training fürs eigene KI-Modell. Andere KI-Firmen haben diese Trennung längst vollzogen. OpenAI etwa nutzt den OAI-SearchBot für die Suche und GPTBot separat fürs Training. Anthropic verfährt ähnlich.

Google und Apple tun das bisher nicht. Solange Google seinen Bot nicht in zwei separate Crawler aufteilt, verliert er auf Millionen Websites automatisch den Zugriff. Wer KI-Bots auf Cloudflare-Ebene blockiert, sperrt damit gleichzeitig die Google-Indexierung aus.

Warum robots.txt nicht mehr reicht

Die robots.txt-Datei ist am Ende nur ein Honor-System. Ein höfliches Bitte-nicht-Schild an der Tür. Sie blockiert nichts aktiv, ein Bot kann sie einfach ignorieren.

Ein Cloudflare-WAF-Block wirkt anders. Er greift direkt auf Netzwerkebene, bevor der Bot den eigenen Origin-Server überhaupt erreicht. Der Zugriff endet mit einem 403-Error oder einer Captcha-Challenge. Für unerwünschten Traffic ist das der wirksamere Hebel.

Was du jetzt tun solltest

Drei Einstellungen lohnen sich vor dem 15. September:

1. Reine Search-Bots zulassen, damit SEO und organischer Traffic nicht einbrechen.
2. KI-Trainings-Scraper konsequent blocken, statt fremden Modellen kostenlos Daten und Serverressourcen zu liefern.
3. Agentic-AI-Bots separat bewerten. Live-Fetch-Bots handeln direkt im Auftrag eines Users und können echten Traffic bringen. Sie verdienen eine granularere Steuerung als reine Trainings-Scraper.

Veraltete Standards wie robots.txt reichen dafür nicht mehr aus. Wer seine Bot-Policies nach diesen Daten konfiguriert und auf Netzwerkebene schützt, behält die Kontrolle darüber, was mit den eigenen Daten passiert.

Das ist keine Aufgabe, die im WordPress-Backend nebenbei erledigt wird. Sie gehört auf die Netzwerkebene, dorthin, wo die Website oder das System technisch betreut wird.

Sprich das aktiv bei deinem Webanbieter oder deiner Agentur an. Die wenigsten prüfen ihre Kundenprojekte von sich aus auf Bot-Traffic oder passen die WAF-Regeln vor Stichtagen wie dem 15. September an, das gehört bei den meisten schlicht nicht zum Leistungsumfang.

Bei uns schon. Wir behalten genau solche Änderungen im Blick und passen die Konfiguration unserer Kunden an, bevor ein Stichtag zum Problem wird, ganz ohne dass jemand extra danach fragen muss.

Die technischen Spezifikationen und die offizielle Dokumentation zur Umstellung stehen in den Cloudflare Developer Docs.