--- title: "KI-Bots und Agenten: So lesen sie Ihre Website" description: "Training, Suchindex und Nutzerabruf sind drei Bots mit drei Regelwerken. So steuern Sie im Herbst 2026, was KI-Unternehmen auf Ihrer Website tun dürfen." url: https://torn.studio/de/einblicke/ki-bots-und-agenten-auf-ihrer-website locale: de published: 2026-08-28 --- # KI-Bots und Agenten: So lesen sie Ihre Website > **Kurze Antwort:** Die Bots der KI-Unternehmen erledigen drei Aufgaben: Modelle trainieren, Suchindizes aufbauen und Seiten im Moment für eine Person holen. Jedes große Labor dokumentiert inzwischen getrennte Bots pro Zweck, Training lässt sich also bei erhaltener Sichtbarkeit in KI-Antworten blockieren. Nutzerabrufe ignorieren die robots.txt jedoch in der Regel, und Cloudflare führt am 15. September 2026 neue Standardblockaden ein. Aus der Frage, ob KI-Bots zu blockieren sind, sind drei Fragen geworden, denn die Bots erledigen inzwischen drei verschiedene Jobs mit drei verschiedenen Folgen. Wer sie als eine einzige Entscheidung behandelt, blockiert häufig das Falsche. ## Welche Bots kommen, und was tun sie? OpenAI dokumentiert vier Agenten: GPTBot sammelt Trainingsdaten, OAI-SearchBot baut den Suchindex, ChatGPT-User holt Seiten auf Nutzeranfrage, und OAI-AdsBot prüft Anzeigen. Die Dokumentation benennt die Folge unverblümt: Eine Website, die OAI-SearchBot aussperrt, erscheint auch nie in ChatGPTs Suchantworten, während ein blockierter GPTBot allein das Training stoppt. Anthropic trennt genauso in ClaudeBot, Claude-SearchBot und Claude-User, und Google unterscheidet Googlebot, den Trainingsschalter Google-Extended und den neuen Agenten-Bot Google-Agent vom März 2026. Die Aufteilung macht die Entscheidung handhabbar: Training zu blockieren und sichtbar zu bleiben sind zwei verschiedene Zeilen in der robots.txt. Meta dokumentiert dieselbe Dreiteilung in seiner [Crawler-Dokumentation](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/), die auch den Suchindex-Bot Meta-WebIndexer beschreibt. ## Halten sich die Bots an die robots.txt? Teilweise, und der Unterschied ist dokumentiert. Googles Crawler-Dokumentation gibt an, dass nutzerausgelöste Abrufe die robots.txt in der Regel ignorieren, weil ein Mensch die Seite angefordert hat, und OpenAI und Perplexity schreiben dasselbe über ihre Gegenstücke. TollBits Messung des vierten Quartals 2025, im Februar 2026 von Digiday berichtet, fand zudem, dass 30 % aller KI-Abrufe an robots.txt-Regeln vorbeigingen, bei ChatGPT-User sogar 42 %. Die robots.txt ist eine Absichtserklärung; wirkliches Blockieren verlangt Firewall oder CDN. ## Was ändert sich in der Infrastruktur? - Cloudflare teilt KI-Traffic seit Juli 2026 in die Kategorien Suche, Agent und Training ein und blockiert Training und Agenten ab dem 15. September 2026 standardmäßig für neue Domains mit Anzeigen - Der IETF-Standard für KI-Präferenzen, mit Autoren von Google und Mozilla, erreicht im August 2026 seinen letzten Meilenstein, mit einer Content-Usage-Regel für die robots.txt - Web Bot Auth lässt Bots sich kryptografisch ausweisen, und Google testet das Protokoll für seine Agenten seit Mai 2026 - Bezahlschienen wie Cloudflares pay-per-crawl bleiben in geschlossener Beta, und noch bezahlt kein KI-Riese offen über den Lizenzstandard RSL Die viel besprochene Datei llms.txt gehört in dieselbe nüchterne Spalte: Ahrefs untersuchte im Juni 2026 137.000 Domains und fand, dass 97 % der Dateien nie eine einzige Anfrage erhalten, und Google hat wiederholt, dass die Suche sie ignoriert. ## Ist Ihre Website für Agenten gebaut? Agenten, die für Menschen Aufgaben erledigen, wurden 2026 Alltag: Perplexitys Comet ist gratis und auf dem iPhone verfügbar, Claude klickt und füllt Formulare über den Browser auf allen Bezahlplänen aus, und Googles Gemini erledigt Webaufgaben mit den Logins der Person. Googles eigene Anleitung für agentenfreundliche Websites ist konkret: echte Buttons und Links in semantischem HTML, stabile Layouts und Formulare mit korrekten Labels, denn Agenten lesen das DOM, Screenshots und den Accessibility-Baum. All das macht die Website auch für Menschen besser. **Weiterlesen** - [KI-Suche im Herbst 2026: das ganze Bild für Ihre Website](https://torn.studio/de/einblicke/ki-suche-herbst-2026) - [So gewinnen Sie Kunden, wenn KI zuerst antwortet](https://torn.studio/de/einblicke/kunden-gewinnen-wenn-ki-zuerst-antwortet) - [KI und Automatisierung mit messbarer Amortisation](https://torn.studio/de/leistungen/ki-und-automatisierung) ## Häufige Fragen ### Welche KI-Bots sollte ich zulassen, wenn ich Kunden über KI-Antworten will? Die Suchindex- und Nutzer-Bots: OAI-SearchBot und ChatGPT-User für ChatGPT, Claude-SearchBot und Claude-User für Claude, PerplexityBot für Perplexity sowie Googlebot und bingbot. Trainings-Bots wie GPTBot und ClaudeBot sind eine getrennte Entscheidung, die von der Sichtbarkeit entkoppelt ist. ### Stoppt die robots.txt KI-Bots in der Praxis? Nur die deklarierten Crawler. Nutzerausgelöste Abrufe ignorieren die Datei laut der Dokumentation von Google, OpenAI und Perplexity in der Regel, und TollBit maß, dass 30 % der KI-Abrufe im vierten Quartal 2025 an den Regeln vorbeigingen. Wer Traffic wirklich aussperren will, braucht Firewall- oder CDN-Regeln. ### Kann Cloudflare KI-Bots automatisch für mich blockieren? Ja. Für neue Domains und neue Websites mit Anzeigen werden Trainings- und Agenten-Bots ab dem 15. September 2026 standardmäßig blockiert, während Such-Bots durchgelassen werden. Liegt Ihre Website hinter Cloudflare, prüfen Sie die Einstellungen, damit der Standard eine Wahl ist, die Sie tatsächlich getroffen haben. ### Kann ich Geld verlangen, wenn KI-Unternehmen meine Inhalte lesen? Die Schienen existieren, doch die Beträge sind klein. Cloudflares pay-per-crawl ist in geschlossener Beta, hinter dem Lizenzstandard RSL stehen Infrastrukturfirmen und Verlage, aber noch kein offen zahlender KI-Riese, und Perplexitys Umsatzbeteiligung gilt für angeschlossene Verlage. Für die meisten Unternehmen bleibt die Sichtbarkeit die gesamte Vergütung. ### Woher weiß ich, dass ein Bot der ist, für den er sich ausgibt? Prüfen Sie den Absender gegen die veröffentlichten IP-Listen der Unternehmen, etwa die JSON-Dateien von OpenAI und Anthropic. Der nächste Schritt ist der kryptografische Ausweis über Web Bot Auth, den Google seit Mai 2026 für seine Agenten testet und den Cloudflare für signierte Agenten bereits nutzt. ### Verkraftet meine Website Besuche von KI-Agenten, die klicken und Formulare ausfüllen? Testen Sie es selbst: ob sich der Hauptablauf der Seite per Tastatur durchlaufen lässt, ob Buttons und Links echte Elemente und Labels haben und ob der Inhalt an Ort und Stelle bleibt, während die Seite lädt. Googles Anleitung für agentenfreundliche Websites deckt sich fast vollständig mit Barrierefreiheitsarbeit, der Einsatz zahlt sich also doppelt aus. ## Quellen - [OpenAI bots and crawlers — OpenAI developer docs](https://developers.openai.com/api/docs/bots) — Die Dokumentation von GPTBot, OAI-SearchBot, ChatGPT-User und OAI-AdsBot samt der Regel, dass ein blockierter OAI-SearchBot die Website aus ChatGPTs Suchantworten entfernt. - [Does Anthropic crawl data from the web? — Anthropic Help Center](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropics Dreiteilung in ClaudeBot, Claude-SearchBot und Claude-User, mit robots.txt-Steuerung und IP-Listen. - [Google user-triggered fetchers — Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google-Agent und die Auskunft, dass nutzerausgelöste Abrufe die robots.txt in der Regel ignorieren, aktualisiert 2026-08-19. - [Perplexity crawlers — Perplexity docs](https://docs.perplexity.ai/guides/bots) — PerplexityBot für den Suchindex und Perplexity-User, der die robots.txt bei Nutzerabrufen in der Regel ignoriert. - [Your site, your rules: new AI traffic options — Cloudflare](https://blog.cloudflare.com/content-independence-day-ai-options/) — Die Kategorien Suche, Agent und Training sowie die Standardblockaden ab dem 15. September 2026. - [AI licensing deals, protection measures aren’t slowing web scraping — Digiday](https://digiday.com/media/in-graphic-detail-ai-licensing-deals-protection-measures-arent-slowing-web-scraping/) — TollBits Messung: 30 % der KI-Abrufe gingen im vierten Quartal 2025 an der robots.txt vorbei, 42 % bei ChatGPT-User. - [We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs](https://ahrefs.com/blog/llmstxt-study/) — Die Studie vom Juni 2026 über 137.210 Domains, in der 97 % der llms.txt-Dateien nie eine Anfrage erhielten. - [Build agent-friendly websites — web.dev](https://web.dev/articles/ai-agent-site-ux) — Googles Anleitung für agentenfreundliche Websites: semantisches HTML, stabile Layouts, und Agenten, die DOM, Screenshots und Accessibility-Baum lesen.