Stutt svar
Þjarkar AI-fyrirtækjanna vinna þrjú ólík verk: þjálfa líkön, byggja leitargrunna og sækja síður jafnóðum fyrir notanda. Öll stóru fyrirtækin skjalfesta nú aðskilda þjarka fyrir hvert hlutverk, svo hægt er að loka á þjálfun og halda sýnileika í AI-svörum. Notendasóknir hunsa þó að jafnaði robots.txt, og Cloudflare innleiðir nýjar sjálfgefnar lokanir 15. september 2026.
Spurningin hvort loka eigi á AI-þjarka er orðin að þremur spurningum, því þjarkarnir vinna nú þrjú ólík verk með þrenns konar afleiðingum. Sá sem meðhöndlar þau sem eina ákvörðun lokar oftast á rangan hlut.
Hvaða þjarkar koma, og hvað gera þeir?
OpenAI skjalfestir fjögur umboð: GPTBot safnar þjálfunargögnum, OAI-SearchBot byggir leitargrunninn, ChatGPT-User sækir síður að beiðni notanda og OAI-AdsBot fer yfir auglýsingar. Skjölunin er hreinskilin um afleiðinguna: vefur sem útilokar OAI-SearchBot birtist heldur aldrei í leitarsvörum ChatGPT, en lokun á GPTBot stöðvar eingöngu þjálfun. Anthropic gerir sömu skiptingu með ClaudeBot, Claude-SearchBot og Claude-User, og Google greinir á milli Googlebot, þjálfunarstillingarinnar Google-Extended og nýja umboðsþjarksins Google-Agent frá mars 2026.
Skiptingin gerir ákvörðunina viðráðanlega: að loka á þjálfun og að halda sýnileika eru tvær ólíkar línur í robots.txt. Meta skjalfestir sömu þrískiptingu í skriðulskjölun sinni, þar sem leitargrunnsþjarkurinn Meta-WebIndexer er einnig skjalfestur.
Hlýða þjarkarnir robots.txt?
Að hluta, og munurinn er skjalfestur. Skriðulskjölun Google tekur fram að sóknir sem notandi ræsir hunsi að jafnaði robots.txt af því að manneskja bað um síðuna, og OpenAI og Perplexity skrifa það sama um sínar hliðstæður. Mæling TollBit fyrir fjórða ársfjórðung 2025, sem Digiday greindi frá í febrúar 2026, fann þar að auki að 30 % af öllum AI-sóknum fóru fram hjá robots.txt-reglum, hjá ChatGPT-User heil 42 %. Robots.txt er viljayfirlýsing; raunveruleg lokun krefst eldveggjar eða CDN.
Hverju er verið að breyta í innviðunum?
- Cloudflare flokkar AI-umferð frá júlí 2026 í leit, umboð og þjálfun, og lokar sjálfgefið á þjálfun og umboð fyrir ný lén með auglýsingum frá 15. september 2026
- IETF-staðallinn um AI-óskir, með höfundum frá Google og Mozilla, nær lokaáfanga sínum í ágúst 2026 með Content-Usage-reglu fyrir robots.txt
- Web Bot Auth leyfir þjörkum að auðkenna sig með dulritun, og Google prófar samskiptaregluna fyrir umboð sín frá maí 2026
- Greiðsluleiðir eins og pay-per-crawl hjá Cloudflare eru áfram í lokaðri beta-prófun, og enginn AI-risi greiðir enn opinberlega gegnum leyfisstaðalinn RSL
Hin margumtalaða skrá llms.txt á heima í sama raunsæja dálki: Ahrefs skoðaði 137.000 lén í júní 2026 og fann að 97 % af skránum fá aldrei eina einustu fyrirspurn, og Google hefur ítrekað að leitin hunsar hana.
Er vefurinn þinn byggður fyrir umboð?
Umboð sem sinna erindum fyrir notendur urðu hversdagsleg á árinu 2026: Comet frá Perplexity er ókeypis og til á iPhone, Claude getur smellt og fyllt út eyðublöð gegnum vafrann á öllum greiddum áskriftarleiðum, og Gemini frá Google sinnir veferindum með innskráningum notandans. Eigin leiðsögn Google um umboðsvæna vefi er áþreifanleg: alvöru hnappar og tenglar í merkingarfræðilegu HTML, stöðug uppsetning og eyðublöð með réttum merkimiðum, því umboðin lesa DOM, skjámyndir og aðgengistréð. Allt þetta gerir vefinn líka betri fyrir fólk.
Algengar spurningar
- Hvaða AI-þjörkum á ég að hleypa inn ef ég vil fá viðskiptavini um AI-svör?
- Leitargrunns- og notendaþjörkunum: OAI-SearchBot og ChatGPT-User fyrir ChatGPT, Claude-SearchBot og Claude-User fyrir Claude, PerplexityBot fyrir Perplexity, auk Googlebot og bingbot. Þjálfunarþjarkar eins og GPTBot og ClaudeBot eru sérstök ákvörðun sem tengist sýnileikanum ekkert.
- Stöðvar robots.txt AI-þjarkana í reynd?
- Aðeins skriðlana sem gefa sig fram. Sóknir sem notandi ræsir hunsa að jafnaði skrána samkvæmt skjölun Google, OpenAI og Perplexity sjálfra, og TollBit mældi að 30 % af AI-sóknum fjórða ársfjórðung 2025 fóru fram hjá reglunum. Til að útiloka umferð í alvöru þarf eldvegg eða CDN-reglur.
- Getur Cloudflare byrjað að loka á AI-þjarka fyrir vefinn minn sjálfkrafa?
- Já. Fyrir ný lén og nýja vefi með auglýsingum er sjálfgefið lokað á þjálfunar- og umboðsþjarka frá 15. september 2026, en leitarþjarkar sleppa í gegn. Standi vefurinn þinn á bak við Cloudflare skaltu fara yfir stillingarnar, svo sjálfgefna valið sé val sem þú tókst í raun.
- Get ég rukkað AI-fyrirtæki fyrir að lesa efnið?
- Leiðirnar eru til en peningarnir eru litlir. Pay-per-crawl hjá Cloudflare er í lokaðri beta-prófun, leyfisstaðallinn RSL hefur innviðafyrirtæki og útgefendur á bak við sig en engan AI-risa sem greiðir enn opinberlega, og tekjuskipting Perplexity nær til útgefenda sem taka þátt. Fyrir flest fyrirtæki er sýnileikinn ennþá allt endurgjaldið.
- Hvernig veit ég að þjarkur sé sá sem hann segist vera?
- Berðu sendandann saman við birta IP-lista fyrirtækjanna, eins og JSON-skrár OpenAI og Anthropic. Næsta skref er dulrituð auðkenning gegnum Web Bot Auth, sem Google prófar fyrir umboð sín frá maí 2026 og Cloudflare notar þegar fyrir undirrituð umboð.
- Ræður vefurinn minn við AI-umboð sem smella og fylla út eyðublöð?
- Prófaðu sjálfur: er hægt að klára meginflæði síðunnar með lyklaborði, nota hnappar og tenglar alvöru HTML-stök og merkimiða, og helst efnið kyrrt meðan síðan hleðst? Leiðsögn Google um umboðsvæna vefi fer nánast alveg saman við aðgengisvinnu, svo vinnan borgar sig tvöfalt.
Heimildir
- OpenAI bots and crawlers — OpenAI developer docs
Skjölun GPTBot, OAI-SearchBot, ChatGPT-User og OAI-AdsBot, og reglan um að lokun á OAI-SearchBot fjarlægi vef úr leitarsvörum ChatGPT.
- Does Anthropic crawl data from the web? — Anthropic Help Center
Þrískipting Anthropic í ClaudeBot, Claude-SearchBot og Claude-User, með robots.txt-stýringu og IP-listum.
- Google user-triggered fetchers — Google Crawling Infrastructure
Google-Agent og staðhæfingin um að sóknir sem notandi ræsir hunsi að jafnaði robots.txt, uppfærð 2026-08-19.
- Perplexity crawlers — Perplexity docs
PerplexityBot fyrir leitargrunninn, og Perplexity-User sem hunsar að jafnaði robots.txt í notendasóknum.
- Your site, your rules: new AI traffic options — Cloudflare
Flokkarnir leit, umboð og þjálfun, og sjálfgefnu lokanirnar sem taka gildi 15. september 2026.
- AI licensing deals, protection measures aren’t slowing web scraping — Digiday
Mæling TollBit: 30 % af AI-sóknum fóru fram hjá robots.txt fjórða ársfjórðung 2025, 42 % hjá ChatGPT-User.
- We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs
Rannsóknin frá júní 2026 á 137.210 lénum þar sem 97 % af llms.txt-skránum fengu aldrei fyrirspurn.
- Build agent-friendly websites — web.dev
Leiðsögn Google um umboðsvæna vefi: merkingarfræðilegt HTML, stöðug uppsetning og að umboð lesa DOM, skjámyndir og aðgengistré.
Segðu okkur hvað þú vilt byggja
Þrjátíu mínútur, ókeypis, og hreinskilið svar um hvort við séum rétta stúdíóið fyrir verkefnið.