Tillade eller blokere AI-crawlere? Afvejningen
Beslutningen bliver som regel ført som et principielt spørgsmål og er et forretningsspørgsmål: Den, der tjener penge på indhold, taber ved at tillade. Den, der vinder ordrer gennem indhold, taber ved at blokere – og det mere.
Det vigtigste kort
- Der findes to slags tilgange: fremsynede indsamlere og hentninger i realtid. De kan styres hver for sig – og netop deri ligger den mest brugbare løsning.
- Den, der sælger ordrer, bør under alle omstændigheder tillade hentningerne i realtid: De skaber omtaler hos mennesker midt i jagten på en løsning.
- Den, der sælger indhold eller tjener på annoncevisninger, har gode grunde til at spærre for indsamlerne.
- robots.txt er en anmodning, ikke en spærring. Den, der vil håndhæve teknisk, har brug for en spærring på serverniveau.
De to slags tilgange
Fremsynede indsamlere
Henter indhold uafhængigt af et konkret spørgsmål – til træning eller til et eget søgeindeks. Eksempler: GPTBot, PerplexityBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
Nytte for jer: indirekte – indholdet står til rådighed i et indeks. Omkostning: indholdet bliver brugt, uden at nogen besøger jeres side.
Hentninger i realtid
Henter en side i det øjeblik, hvor nogen har stillet et passende spørgsmål. Eksempler: OAI-SearchBot, ChatGPT-User, Perplexity-User, Claude-User.
Nytte for jer: direkte – deraf opstår omtaler og henvisninger i konkrete svar. Omkostning: praktisk talt ingen.
Vidste du det?
Den, der generelt spærrer for »alle AI-bots«, spærrer for begge slags – og mister dermed netop den del, der gavner ham. Omtalen som kilde i et svar forudsætter, at siden må hentes i realtid.
For en virksomhed, der sælger ordrer, er det den dårligst tænkelige byttehandel: Man forhindrer en anbefaling til nogen midt i jagten på en løsning for at forhindre, at en model lærer af et offentligt tilgængeligt fagligt indlæg.
Tre strategier
| Strategi | Indsamlere | Hentninger i realtid | Passer til |
|---|---|---|---|
| Åben | tillad | tillad | tjenesteudbydere, B2B, rådgivning |
| Blandet | spær | tillad | forlag, kursusudbydere, fagmedier |
| Lukket | spær | spær | betalingsindhold, beskyttede områder |
For de fleste små og mellemstore virksomheder er »åben« det rigtige valg. Den blandede strategi er den fornuftige mellemvej for alle, hvis indhold selv er produktet.
robots.txt-filen
Til den åbne strategi med udtrykkelig navngivning – det er ikke strengt nødvendigt, men gør beslutningen synlig og dokumenterer den:
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Til den blandede strategi bliver indsamlerne spærret og hentningerne i realtid tilladt:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Perplexity-User Allow: / User-agent: Claude-User Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Google-Extended styrer kun brugen til Googles AI-produkter – ikke den almindelige søgeindeksering. Den, der ved en fejl spærrer for Googlebot, forsvinder ud af søgningen. De to navne er forskellige ting og bliver regelmæssigt forvekslet.
Hvad robots.txt ikke kan
Tre begrænsninger, man bør kende, inden man forlader sig på filen:
- Den er en anmodning. Seriøse udbydere retter sig efter den, andre ikke. Den, der vil håndhæve teknisk, har brug for en spærring på server- eller firewallniveau ud fra kendingsnavnet.
- Den virker ikke med tilbagevirkende kraft. Det, der allerede er indsamlet, forsvinder ikke af den grund.
- Den beskytter ikke mod gengivelse fra andre kilder. Bliver jeres indhold citeret andetsteds, hjælper jeres egen fil ikke.
Inden man træffer beslutningen, betaler det sig at se i serverloggen: Hvilke af disse kendingsnavne dukker overhovedet op, hvor ofte, og hvilke sider henter de?
På små websites er resultatet ofte ædruelighedsskabende – få tilgange, få sider. Så er spørgsmålet i praksis underordnet, og den egentlige opgave er en anden: overhovedet at blive fundet. En spærring for crawlere, der slet ikke kommer, løser intet problem og forhindrer kun, at det bliver anderledes senere.
Den retlige ramme
I EU findes der et forbehold for tekst- og datamining: Rettighedshavere kan udtrykkeligt forbyde brugen af deres indhold til automatiseret analyse, og dette forbehold skal erklæres maskinlæsbart. robots.txt er den gængse form til det, delvist suppleret med en oplysning i brugsbetingelserne.
For Schweiz gælder det ikke umiddelbart; den, der også retter indhold mod brugere i EU, bør alligevel erklære forbeholdet, hvis han ønsker det. Det er et punkt, som en fagperson bør bedømme – dette indlæg erstatter ikke juridisk rådgivning.
Konklusion
Spørgsmålet er ikke principielt, men hænger sammen med forretningsmodellen. Den, der sælger indhold, spærrer for indsamlerne. Den, der sælger ordrer, tillader begge dele – og vinder derved omtaler hos mennesker, som netop nu søger efter en løsning.
Under alle omstændigheder gælder: Betragt hentningerne i realtid for sig. At spærre for dem under ét er den hyppigste og dyreste fejl i denne beslutning.
Ofte stillede spørgsmål
Bør man blokere AI-crawlere?
Det afhænger af forretningsmodellen. Den, der tjener penge på selve indholdet – forlag, kursusudbydere, fagmedier – har gode grunde til at spærre for de fremsynede indsamlere. Den, der sælger ordrer eller tjenesteydelser, taber mere ved at blokere, end han vinder.
Hvad er forskellen på indsamlere og hentninger i realtid?
Indsamlere som GPTBot, ClaudeBot eller PerplexityBot henter indhold uafhængigt af et konkret spørgsmål, til træning eller et eget indeks. Hentninger i realtid som ChatGPT-User, Perplexity-User eller OAI-SearchBot henter en side netop da, hvor nogen har stillet et passende spørgsmål – deraf opstår omtaler og henvisninger.
Hvad er Google-Extended?
Et kendingsnavn, hvormed brugen af indhold til Googles AI-produkter kan styres – ikke den almindelige søgeindeksering. Det er noget andet end Googlebot; den, der ved en fejl spærrer for denne, forsvinder ud af søgningen.
Retter enhver crawler sig efter robots.txt?
Nej. Den er en anmodning, ikke en teknisk spærring. Seriøse udbydere retter sig efter den, andre ikke. Den, der vil håndhæve en spærring, har brug for en regel på server- eller firewallniveau ud fra kendingsnavnet – og selv da virker den ikke med tilbagevirkende kraft på allerede indsamlet indhold.
Hvordan kontrollerer man, hvilke crawlere der overhovedet kommer?
Via serverloggen, filtreret efter de kendte kendingsnavne. Det viser, hvilke crawlere der hvor ofte henter hvilke sider. På små websites er resultatet ofte overskueligt – så er spærrespørgsmålet underordnet i forhold til opgaven med overhovedet at blive fundet.
Markedsføring, der sætter sig selv op
Betaen for Studio Engine er åben. Sikr dig en plads, og vær med til at forme den fra starten.
Deltag i betaen →