Kort svar
AI-selskabernes botter laver tre forskellige ting: de træner modeller, bygger søgeindekser og henter sider for en bruger her og nu. Alle de store AI-laboratorier dokumenterer nu separate botter pr. formål, så træning kan blokeres med bevaret synlighed i AI-svar. Brugerhentninger ignorerer dog som regel robots.txt, og Cloudflare indfører nye standardblokeringer den 15. september 2026.
Spørgsmålet, om AI-botter skal blokeres, er blevet til tre spørgsmål, for botterne udfører nu tre forskellige job med tre forskellige konsekvenser. Den, der behandler dem som én beslutning, blokerer ofte det forkerte.
Hvilke botter kommer, og hvad laver de?
OpenAI dokumenterer fire agenter: GPTBot indsamler træningsdata, OAI-SearchBot bygger søgeindekset, ChatGPT-User henter sider på brugerens anmodning, og OAI-AdsBot gennemgår annoncer. Dokumentationen er direkte om konsekvensen: et site, der lukker OAI-SearchBot ude, optræder heller aldrig i ChatGPT’s søgesvar, mens en blokeret GPTBot alene stopper træning. Anthropic laver samme opdeling med ClaudeBot, Claude-SearchBot og Claude-User, og Google skelner mellem Googlebot, træningskontrollen Google-Extended og den nye agentbot Google-Agent fra marts 2026.
Opdelingen gør beslutningen håndterbar: at blokere træning og at bevare synlighed er to forskellige linjer i robots.txt. Meta dokumenterer den samme tredeling i sin crawlerdokumentation, hvor også søgeindeksbotten Meta-WebIndexer er dokumenteret.
Retter botterne sig efter robots.txt?
Delvist, og forskellen er dokumenteret. Googles crawlerdokumentation angiver, at brugerudløste hentninger som regel ignorerer robots.txt, fordi et menneske har bedt om siden, og OpenAI og Perplexity skriver det samme om deres modstykker. TollBits måling af fjerde kvartal 2025, rapporteret af Digiday i februar 2026, fandt desuden, at 30 % af alle AI-hentninger gik uden om robots.txt-regler, for ChatGPT-User hele 42 %. Robots.txt er en hensigtserklæring; reel blokering kræver firewall eller CDN.
Hvad ændrer sig i infrastrukturen?
- Cloudflare har siden juli 2026 opdelt AI-trafik i kategorierne søgning, agent og træning og blokerer træning og agenter som standard for nye domæner med annoncer fra den 15. september 2026
- IETF-standarden for AI-præferencer, med forfattere fra Google og Mozilla, når sin sidste milepæl i august 2026 med en Content-Usage-regel til robots.txt
- Web Bot Auth lader botter legitimere sig kryptografisk, og Google har testet protokollen til sine agenter siden maj 2026
- Betalingsspor som Cloudflares pay-per-crawl er fortsat i lukket beta, og ingen AI-gigant betaler endnu åbent via licensstandarden RSL
Den meget omtalte fil llms.txt hører hjemme i samme nøgterne kolonne: Ahrefs undersøgte 137.000 domæner i juni 2026 og fandt, at 97 % af filerne aldrig får en eneste forespørgsel, og Google har gentaget, at søgningen ignorerer den.
Er din hjemmeside bygget til agenter?
Agenter, der udfører ærinder for brugere, blev hverdag i 2026: Perplexitys Comet er gratis og findes til iPhone, Claude kan klikke og udfylde formularer via browseren på alle betalte planer, og Googles Gemini udfører webopgaver med brugerens logins. Googles egen vejledning til agentvenlige sites er konkret: rigtige knapper og links i semantisk HTML, stabilt layout og formularer med korrekte etiketter, fordi agenterne læser DOM, skærmbilleder og tilgængelighedstræet. Alt det gør også sitet bedre for mennesker.
Ofte stillede spørgsmål
- Hvilke AI-botter skal jeg lukke ind, hvis jeg vil have kunder via AI-svar?
- Søgeindeks- og brugerbotterne: OAI-SearchBot og ChatGPT-User for ChatGPT, Claude-SearchBot og Claude-User for Claude, PerplexityBot for Perplexity samt Googlebot og bingbot. Træningsbotter som GPTBot og ClaudeBot er en separat beslutning uden forbindelse til synligheden.
- Stopper robots.txt AI-botterne i praksis?
- Kun de deklarerede crawlere. Brugerudløste hentninger ignorerer som regel filen ifølge Googles, OpenAI’s og Perplexitys egen dokumentation, og TollBit målte, at 30 % af AI-hentningerne i fjerde kvartal 2025 gik uden om reglerne. Vil du reelt lukke trafik ude, kræver det firewall- eller CDN-regler.
- Kan Cloudflare automatisk begynde at blokere AI-botter for mig?
- Ja, for nye domæner og nye sites med annoncer blokeres trænings- og agentbotter som standard fra den 15. september 2026, mens søgebotter slippes igennem. Ligger dit site bag Cloudflare, bør du gennemgå indstillingerne, så standardvalget er et valg, du faktisk har truffet.
- Kan man tage betaling, når AI-selskaber læser indholdet?
- Sporene findes, men pengene er små. Cloudflares pay-per-crawl er i lukket beta, licensstandarden RSL har infrastrukturselskaber og udgivere bag sig, men endnu ingen åbent betalende AI-gigant, og Perplexitys omsætningsdeling gælder tilmeldte udgivere. For de fleste virksomheder er synligheden fortsat hele betalingen.
- Hvordan ved jeg, at en bot er den, den udgiver sig for at være?
- Tjek afsenderen mod selskabernes offentliggjorte IP-lister, som OpenAI’s og Anthropics JSON-filer. Næste skridt er kryptografisk legitimering via Web Bot Auth, som Google har testet til sine agenter siden maj 2026, og som Cloudflare allerede bruger til signerede agenter.
- Klarer min hjemmeside besøg af AI-agenter, der klikker og udfylder formularer?
- Test selv: kan sidens hovedflow gennemføres med tastatur, har knapper og links rigtige elementer og etiketter, og bliver indholdet stående, mens siden indlæses? Googles vejledning til agentvenlige sites falder næsten helt sammen med tilgængelighedsarbejde, så indsatsen betaler sig dobbelt.
Kilder
- OpenAI bots and crawlers — OpenAI developer docs
Dokumentationen af GPTBot, OAI-SearchBot, ChatGPT-User og OAI-AdsBot samt reglen om, at blokeret OAI-SearchBot fjerner sitet fra ChatGPT’s søgesvar.
- Does Anthropic crawl data from the web? — Anthropic Help Center
Anthropics tredeling i ClaudeBot, Claude-SearchBot og Claude-User med robots.txt-styring og IP-lister.
- Google user-triggered fetchers — Google Crawling Infrastructure
Google-Agent og beskeden om, at brugerudløste hentninger som regel ignorerer robots.txt, opdateret 2026-08-19.
- Perplexity crawlers — Perplexity docs
PerplexityBot til søgeindekset og Perplexity-User, der som regel ignorerer robots.txt ved brugerhentninger.
- Your site, your rules: new AI traffic options — Cloudflare
Kategorierne søgning, agent og træning samt standardblokeringerne fra den 15. september 2026.
- AI licensing deals, protection measures aren’t slowing web scraping — Digiday
TollBits måling: 30 % af AI-hentningerne gik uden om robots.txt i fjerde kvartal 2025, 42 % for ChatGPT-User.
- We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs
Studiet fra juni 2026 af 137.210 domæner, hvor 97 % af llms.txt-filerne aldrig fik en forespørgsel.
- Build agent-friendly websites — web.dev
Googles vejledning til agentvenlige sites: semantisk HTML, stabilt layout og agenter, der læser DOM, skærmbilleder og tilgængelighedstræ.
Fortæl os, hvad du vil bygge
Tredive minutter, helt gratis, og en klar melding om, hvorvidt vi er det rette studio til opgaven.