Hoppa till innehåll

AI-bottar och agenter: så läser de din webbplats

Torn Studio4 min läsning

Torn Studio är en AI-byrå som bygger webbplatser, digitala produkter och innehåll. Otraditionellt.

Kort svar

AI-bolagens robotar gör tre olika saker: de tränar modeller, bygger sökindex och hämtar sidor åt en användare i stunden. Alla stora AI-bolag dokumenterar nu separata robotar för varje syfte, så det går att blockera träning och ändå behålla synligheten i AI-svar. Hämtningar som användare begär ignorerar dock i regel robots.txt, och Cloudflare inför nya standardblockeringar den 15 september 2026.

Frågan om AI-bottar ska blockeras har blivit tre frågor, för robotarna gör numera tre olika jobb med tre olika konsekvenser. Den som behandlar dem som ett enda beslut blockerar ofta fel sak.

Vilka robotar kommer, och vad gör de?

OpenAI dokumenterar fyra robotar: GPTBot samlar träningsdata, OAI-SearchBot bygger sökindexet, ChatGPT-User hämtar sidor på användarens begäran och OAI-AdsBot granskar annonser. Dokumentationen är rak om konsekvensen: en sajt som stänger ute OAI-SearchBot visas aldrig i ChatGPT:s söksvar, medan en blockering av GPTBot bara stoppar träningen. Anthropic gör samma uppdelning med ClaudeBot, Claude-SearchBot och Claude-User. Google skiljer på Googlebot, träningsreglaget Google-Extended och agentroboten Google-Agent, som är ny sedan mars 2026.

Uppdelningen gör beslutet hanterbart: att blockera träning och att behålla synlighet är två olika rader i robots.txt. Meta gör samma tredelning i sin dokumentation om sökrobotar, där även sökindexroboten Meta-WebIndexer finns med.

Lyder robotarna robots.txt?

Delvis, och skillnaden är dokumenterad. Googles dokumentation om sökrobotar anger att användarutlösta hämtningar i regel ignorerar robots.txt eftersom en människa har bett om sidan, och OpenAI och Perplexity skriver samma sak om sina motsvarigheter. TollBits mätning av fjärde kvartalet 2025, som Digiday rapporterade om i februari 2026, visade dessutom att 30 % av alla AI-hämtningar gick förbi reglerna i robots.txt. För ChatGPT-User var andelen hela 42 %. Robots.txt är en viljeyttring, och för att verkligen blockera krävs en brandvägg eller ett CDN.

Nästan var tredje AI-hämtning gick förbi robots.txt-reglerna, och för ChatGPT-User var det fyra av tio.

  • Alla AI-hämtningar30 %
  • ChatGPT-User42 %
Andel AI-hämtningar som gick förbi robots.txt under fjärde kvartalet 2025. TollBits mätning, rapporterad av Digiday i februari 2026. Källa: AI licensing deals, protection measures aren’t slowing web scraping — Digiday

Vad ändras i infrastrukturen?

  • Cloudflare delar sedan juli 2026 in AI-trafik i kategorierna sök, agent och träning. Från den 15 september 2026 blockeras träning och agenter som standard för nya domäner med annonser
  • IETF-standarden för AI-preferenser, med författare från Google och Mozilla, har sin sista milstolpe i augusti 2026 och ger robots.txt en Content-Usage-regel
  • Web Bot Auth låter bottar legitimera sig kryptografiskt, och Google testar protokollet för sina agenter sedan maj 2026
  • Betalspår som Cloudflares pay-per-crawl är kvar i sluten beta, och ingen AI-jätte betalar ännu öppet via licensstandarden RSL

Den mycket omtalade filen llms.txt hör hemma i samma nyktra lista. När Ahrefs undersökte 137 000 domäner i juni 2026 hade 97 % av filerna aldrig fått en enda förfrågan, och Google har upprepat att söket ignorerar den.

Är din webbplats byggd för agenter?

Agenter som utför ärenden åt användare blev vardag under 2026: Perplexitys Comet är gratis och finns på iPhone, Claude kan klicka och fylla i formulär via webbläsaren i alla betalabonnemang, och Googles Gemini utför webbärenden med användarens inloggningar. Googles egen vägledning för agentvänliga sajter är konkret: riktiga knappar och länkar i semantisk HTML, stabil layout och formulär med korrekta etiketter, eftersom agenterna läser DOM, skärmbilder och tillgänglighetsträdet. Allt detta gör sajten bättre för människor också.

Underlag

Vad den här artikeln vilar på — en mätning vi gjort, en daterad källa eller ett beslut vi tagit och vad det kostade.

  • Beslut

    Torn Studio släpper in samtliga dokumenterade AI-robotar på den egna sajten, träningsrobotarna inräknade, trots att det gick att blockera träning och ändå behålla synligheten i AI-svaren.

    Vad det kostade: Sajtens texter hamnar i träningskorpusar som ger tillbaka varken länk, källhänvisning eller besök, och det som redan hämtats går aldrig att återkalla.

Vanliga frågor

Vilka AI-bottar ska jag släppa in om jag vill ha kunder via AI-svar?
Sökindex- och användarrobotarna: OAI-SearchBot och ChatGPT-User för ChatGPT, Claude-SearchBot och Claude-User för Claude, PerplexityBot för Perplexity samt Googlebot och bingbot. Träningsrobotar som GPTBot och ClaudeBot är en separat fråga som saknar koppling till synligheten.
Stoppar robots.txt AI-bottarna i praktiken?
Bara de deklarerade robotarna. Användarutlösta hämtningar ignorerar i regel filen enligt Googles, OpenAI:s och Perplexitys egen dokumentation, och TollBit mätte att 30 % av AI-hämtningarna fjärde kvartalet 2025 gick förbi reglerna. Vill du verkligen stänga ute trafik krävs brandvägg eller CDN-regler.
Kan Cloudflare börja blockera AI-bottar åt mig automatiskt?
Ja, för nya domäner och nya sajter med annonser blockeras tränings- och agentbottar som standard från den 15 september 2026, medan sökbottar släpps igenom. Ligger din sajt bakom Cloudflare bör du kontrollera inställningarna, så att standardvalet är ett val du själv har gjort.
Går det att ta betalt när AI-bolag läser innehållet?
Det finns vägar, men pengarna är små. Cloudflares pay-per-crawl är i sluten beta, licensstandarden RSL har infrastrukturbolag och förlag bakom sig men ännu ingen AI-jätte som öppet betalar, och Perplexitys intäktsdelning gäller anslutna förlag. För de flesta företag är synligheten fortfarande hela ersättningen.
Hur vet jag att en bot är den den utger sig för att vara?
Kontrollera avsändaren mot bolagens publicerade IP-listor, som OpenAI:s och Anthropics JSON-filer. Nästa steg är kryptografisk legitimering via Web Bot Auth, som Google testar för sina agenter sedan maj 2026 och Cloudflare redan använder för signerade agenter.
Klarar min webbplats besök av AI-agenter som klickar och fyller i formulär?
Testa tre saker: att sidans huvudflöde går att genomföra med tangentbordet, att knappar och länkar är riktiga element med etiketter och att innehållet ligger stilla medan sidan laddar. Googles vägledning för agentvänliga sajter sammanfaller nästan helt med tillgänglighetsarbete, så insatsen betalar sig dubbelt.

Källor

  1. OpenAI bots and crawlers — OpenAI developer docs

    Dokumentationen av GPTBot, OAI-SearchBot, ChatGPT-User och OAI-AdsBot samt regeln att blockerad OAI-SearchBot tar bort sajten ur ChatGPT:s söksvar.

  2. Does Anthropic crawl data from the web? — Anthropic Help Center

    Anthropics tredelning i ClaudeBot, Claude-SearchBot och Claude-User med robots.txt-styrning och IP-listor.

  3. Google user-triggered fetchers — Google Crawling Infrastructure

    Google-Agent och beskedet att användarutlösta hämtningar i regel ignorerar robots.txt, uppdaterad 2026-08-19.

  4. Perplexity crawlers — Perplexity docs

    PerplexityBot för sökindexet och Perplexity-User som i regel ignorerar robots.txt vid användarhämtningar.

  5. Your site, your rules: new AI traffic options — Cloudflare

    Kategorierna sök, agent och träning samt standardblockeringarna från den 15 september 2026.

  6. AI licensing deals, protection measures aren’t slowing web scraping — Digiday

    TollBits mätning: 30 % av AI-hämtningarna gick förbi robots.txt fjärde kvartalet 2025, 42 % för ChatGPT-User.

  7. We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs

    Studien från juni 2026 av 137 210 domäner där 97 % av llms.txt-filerna aldrig fick en förfrågan.

  8. Build agent-friendly websites — web.dev

    Googles vägledning för agentvänliga sajter: semantisk HTML, stabil layout och att agenter läser DOM, skärmbilder och tillgänglighetsträd.

Nästa steg

Läs vidare

Gå djupare

Arbeta med oss