Tillate eller blokkere KI-crawlere? Avveiningen
Beslutningen føres som regel som et prinsipielt spørsmål og er et forretningsspørsmål: den som tjener penger på innhold, taper på å tillate. Den som vinner oppdrag gjennom innhold, taper på å blokkere – og det mer.
Det viktigste kort
- Det finnes to typer tilgang: framoverskuende innsamlere og oppslag i sanntid. De lar seg styre hver for seg – og nettopp der ligger den mest brukbare løsningen.
- Den som selger oppdrag, bør i alle tilfeller tillate oppslagene i sanntid: de skaper omtale hos mennesker midt i søket etter en løsning.
- Den som selger innhold eller tjener på annonsevisninger, har gode grunner til å sperre innsamlerne.
- robots.txt er en anmodning, ingen sperre. Den som vil håndheve teknisk, trenger en sperre på servernivå.
De to typene tilgang
Framoverskuende innsamlere
Henter innhold uavhengig av et konkret spørsmål – til trening eller til en egen søkeindeks. Eksempler: GPTBot, PerplexityBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
Nytte for dere: indirekte – innholdet er tilgjengelig i en indeks. Kostnad: innholdet blir brukt uten at noen besøker siden deres.
Oppslag i sanntid
Henter en side i det øyeblikket noen har stilt et passende spørsmål. Eksempler: OAI-SearchBot, ChatGPT-User, Perplexity-User, Claude-User.
Nytte for dere: umiddelbar – derav oppstår omtale og lenker i konkrete svar. Kostnad: praktisk talt ingen.
Visste du at …?
Den som sperrer «alle KI-boter» over én kam, sperrer begge typer – og mister dermed nettopp den delen som er til nytte. Å bli nevnt som kilde i et svar forutsetter at siden får hentes i sanntid.
For en bedrift som selger oppdrag, er det den dårligste tenkelige byttehandelen: man forhindrer en anbefaling til noen midt i søket etter en løsning, for å forhindre at en modell lærer av en offentlig tilgjengelig fagartikkel.
Tre strategier
| Strategi | Innsamlere | Oppslag i sanntid | Passer for |
|---|---|---|---|
| Åpen | tillate | tillate | tjenesteytere, B2B, rådgivning |
| Blandet | sperre | tillate | forlag, kurstilbydere, fagmedier |
| Lukket | sperre | sperre | betalinnhold, beskyttede områder |
For de fleste små og mellomstore bedrifter er «åpen» det riktige valget. Den blandede strategien er den fornuftige mellomveien for alle der innholdet selv er produktet.
robots.txt
For den åpne strategien med uttrykkelig oppramsing – det er ikke strengt nødvendig, men gjør beslutningen synlig og dokumenterer den:
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
For den blandede strategien sperres innsamlerne og oppslagene i sanntid tillates:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Perplexity-User Allow: / User-agent: Claude-User Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Google-Extended styrer bare bruken til Googles KI-produkter – ikke den vanlige søkeindekseringen. Den som ved et uhell sperrer Googlebot, forsvinner fra søket. Disse to navnene er forskjellige ting og forveksles jevnlig.
Det robots.txt ikke leverer
Tre begrensninger man bør kjenne før man stoler på filen:
- Den er en anmodning. Seriøse tilbydere holder seg til den, andre ikke. Den som vil håndheve teknisk, trenger en sperre på server- eller brannmurnivå ut fra kjennetegnet.
- Den virker ikke tilbakevirkende. Det som allerede er samlet inn, forsvinner ikke av den grunn.
- Den beskytter ikke mot gjengivelse fra andre kilder. Blir innholdet deres sitert andre steder, hjelper ikke deres egen fil.
Før man tar beslutningen, lønner det seg å se i serverloggen: hvilke av disse kjennetegnene dukker overhodet opp, hvor ofte, og hvilke sider henter de?
Ved små nettsteder er resultatet ofte nøkternt – få treff, få sider. Da er spørsmålet praktisk talt underordnet, og den egentlige oppgaven er en annen: i det hele tatt å bli funnet. En sperre for crawlere som ikke kommer, løser ikke noe problem og forhindrer bare at det senere blir annerledes.
Den rettslige rammen
I EU finnes et forbehold for tekst- og datautvinning: rettighetshavere kan uttrykkelig forby bruk av innholdet sitt til automatisert analyse, og dette forbeholdet må erklæres maskinlesbart. robots.txt er den gjengse formen for dette, delvis supplert med en merknad i bruksvilkårene.
For Sveits gjelder ikke dette umiddelbart; den som også retter innhold mot EU-brukere, bør likevel erklære forbeholdet dersom vedkommende ønsker det. Det er et punkt en fagperson bør vurdere – dette innlegget erstatter ikke juridisk rådgivning.
Konklusjon
Spørsmålet er ikke prinsipielt, men henger på forretningsmodellen. Den som selger innhold, sperrer innsamlerne. Den som selger oppdrag, tillater begge deler – og vinner dermed omtale hos mennesker som nettopp søker etter en løsning.
I alle tilfeller gjelder: se på oppslagene i sanntid for seg. Å sperre dem over én kam er den vanligste og dyreste feilen i denne beslutningen.
Vanlige spørsmål
Bør man blokkere KI-crawlere?
Det avhenger av forretningsmodellen. Den som tjener penger på innholdet selv – forlag, kurstilbydere, fagmedier – har gode grunner til å sperre de framoverskuende innsamlerne. Den som selger oppdrag eller tjenester, taper mer på å blokkere enn vedkommende vinner.
Hva er forskjellen mellom innsamlere og oppslag i sanntid?
Innsamlere som GPTBot, ClaudeBot eller PerplexityBot henter innhold uavhengig av et konkret spørsmål, til trening eller til en egen indeks. Oppslag i sanntid som ChatGPT-User, Perplexity-User eller OAI-SearchBot henter en side nøyaktig når noen har stilt et passende spørsmål – derav oppstår omtale og lenker.
Hva er Google-Extended?
Et kjennetegn som lar bruken av innhold til Googles KI-produkter styres – ikke den vanlige søkeindekseringen. Det er noe annet enn Googlebot; den som ved et uhell sperrer denne, forsvinner fra søket.
Holder alle crawlere seg til robots.txt?
Nei. Den er en anmodning, ingen teknisk sperre. Seriøse tilbydere holder seg til den, andre ikke. Den som vil håndheve en sperre, trenger en regel på server- eller brannmurnivå ut fra kjennetegnet – og selv da virker den ikke tilbakevirkende på innhold som allerede er samlet inn.
Hvordan kontrollerer man hvilke crawlere som faktisk kommer?
Via serverloggen, filtrert på de kjente kjennetegnene. Det viser hvilke crawlere som henter hvilke sider hvor ofte. Ved små nettsteder er resultatet ofte oversiktlig – da er sperrespørsmålet underordnet oppgaven med i det hele tatt å bli funnet.
Markedsføring som setter seg opp selv
Betaen for Studio Engine er åpen. Sikre deg en plass og bidra fra starten.
Bli med i betaen →