KI-Crawler erlauben oder blockieren? Die Abwägung
Die Entscheidung wird meist als Grundsatzfrage geführt und ist eine Geschäftsfrage: Wer mit Inhalten Geld verdient, verliert durch Zulassen. Wer über Inhalte Aufträge gewinnt, verliert durch Blockieren – und zwar mehr.
Das Wichtigste in Kürze
- Es gibt zwei Arten von Zugriffen: vorausschauende Sammler und Abrufe zur Laufzeit. Sie lassen sich getrennt steuern – und genau darin liegt die brauchbarste Lösung.
- Wer Aufträge verkauft, sollte die Laufzeitabrufe in jedem Fall zulassen: Sie erzeugen Nennungen bei Menschen mitten in der Lösungssuche.
- Wer Inhalte verkauft oder über Werbeeinblendungen verdient, hat gute Gründe, die Sammler zu sperren.
- robots.txt ist eine Bitte, keine Sperre. Wer technisch durchsetzen will, braucht eine Sperre auf Serverebene.
Die beiden Arten von Zugriffen
Vorausschauende Sammler
Holen Inhalte unabhängig von einer konkreten Frage – für Training oder für einen eigenen Suchindex. Beispiele: GPTBot, PerplexityBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
Nutzen für euch: mittelbar – die Inhalte stehen in einem Index zur Verfügung. Kosten: die Inhalte werden verwendet, ohne dass jemand eure Seite besucht.
Abrufe zur Laufzeit
Holen eine Seite in dem Moment, in dem jemand eine passende Frage gestellt hat. Beispiele: OAI-SearchBot, ChatGPT-User, Perplexity-User, Claude-User.
Nutzen für euch: unmittelbar – daraus entstehen Nennungen und Verlinkungen in konkreten Antworten. Kosten: praktisch keine.
Wusstest du schon?
Wer pauschal „alle KI-Bots" sperrt, sperrt beide Arten – und verliert damit genau den Teil, der ihm nützt. Die Nennung als Quelle in einer Antwort setzt voraus, dass die Seite zur Laufzeit geholt werden darf.
Für ein Unternehmen, das Aufträge verkauft, ist das der schlechteste denkbare Tausch: Man verhindert eine Empfehlung an jemanden mitten in der Lösungssuche, um zu verhindern, dass ein Modell aus einem öffentlich zugänglichen Fachbeitrag lernt.
Drei Strategien
| Strategie | Sammler | Laufzeitabrufe | Passt zu |
|---|---|---|---|
| Offen | zulassen | zulassen | Dienstleistern, B2B, Beratung |
| Gemischt | sperren | zulassen | Verlagen, Kursanbietern, Fachmedien |
| Geschlossen | sperren | sperren | Bezahlinhalten, geschützten Bereichen |
Für die meisten kleinen und mittleren Unternehmen ist „offen" die richtige Wahl. Die gemischte Strategie ist der sinnvolle Mittelweg für alle, deren Inhalt selbst das Produkt ist.
Die robots.txt
Für die offene Strategie mit ausdrücklicher Nennung – das ist nicht zwingend nötig, macht die Entscheidung aber sichtbar und dokumentiert sie:
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Für die gemischte Strategie werden die Sammler gesperrt und die Laufzeitabrufe zugelassen:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Perplexity-User Allow: / User-agent: Claude-User Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Google-Extended steuert nur die Verwendung für Googles KI-Produkte – nicht die normale Suchindexierung. Wer versehentlich Googlebot sperrt, verschwindet aus der Suche. Diese beiden Namen sind unterschiedliche Dinge und werden regelmäßig verwechselt.
Was robots.txt nicht leistet
Drei Einschränkungen, die man kennen sollte, bevor man sich auf die Datei verlässt:
- Sie ist eine Bitte. Seriöse Anbieter halten sich daran, andere nicht. Wer technisch durchsetzen will, braucht eine Sperre auf Server- oder Firewallebene anhand der Kennung.
- Sie wirkt nicht rückwirkend. Was bereits gesammelt wurde, verschwindet dadurch nicht.
- Sie schützt nicht vor Wiedergabe aus anderen Quellen. Wenn eure Inhalte anderswo zitiert werden, hilft eure eigene Datei nicht.
Bevor man die Entscheidung trifft, lohnt der Blick ins Serverprotokoll: Welche dieser Kennungen tauchen überhaupt auf, wie oft, und welche Seiten holen sie?
Bei kleinen Websites ist das Ergebnis oft ernüchternd – wenige Zugriffe, wenige Seiten. Dann ist die Frage praktisch nachrangig, und die eigentliche Aufgabe ist eine andere: überhaupt gefunden zu werden. Eine Sperre für Crawler, die gar nicht kommen, löst kein Problem und verhindert nur, dass es später anders wird.
Der rechtliche Rahmen
In der EU besteht ein Text- und Data-Mining-Vorbehalt: Rechteinhaber können die Nutzung ihrer Inhalte für automatisierte Auswertung ausdrücklich untersagen, und dieser Vorbehalt muss maschinenlesbar erklärt werden. Die robots.txt ist dafür die gängige Form, teilweise ergänzt um einen Hinweis in den Nutzungsbedingungen.
Für die Schweiz gilt das nicht unmittelbar; wer Inhalte auch an EU-Nutzer richtet, sollte den Vorbehalt dennoch erklären, wenn er ihn wünscht. Das ist ein Punkt, den eine Fachperson beurteilen sollte – dieser Beitrag ersetzt keine Rechtsberatung.
Fazit
Die Frage ist keine grundsätzliche, sondern hängt am Geschäftsmodell. Wer Inhalte verkauft, sperrt die Sammler. Wer Aufträge verkauft, lässt beides zu – und gewinnt dadurch Nennungen bei Menschen, die gerade nach einer Lösung suchen.
In jedem Fall gilt: Die Laufzeitabrufe getrennt betrachten. Sie pauschal mitzusperren ist der häufigste und teuerste Fehler in dieser Entscheidung.
Häufige Fragen
Sollte man KI-Crawler blockieren?
Das hängt vom Geschäftsmodell ab. Wer mit Inhalten selbst Geld verdient – Verlage, Kursanbieter, Fachmedien – hat gute Gründe, die vorausschauenden Sammler zu sperren. Wer Aufträge oder Dienstleistungen verkauft, verliert durch das Blockieren mehr, als er gewinnt.
Was ist der Unterschied zwischen Sammlern und Laufzeitabrufen?
Sammler wie GPTBot, ClaudeBot oder PerplexityBot holen Inhalte unabhängig von einer konkreten Frage, für Training oder einen eigenen Index. Laufzeitabrufe wie ChatGPT-User, Perplexity-User oder OAI-SearchBot holen eine Seite genau dann, wenn jemand eine passende Frage gestellt hat – daraus entstehen Nennungen und Verlinkungen.
Was ist Google-Extended?
Eine Kennung, mit der sich die Verwendung von Inhalten für Googles KI-Produkte steuern lässt – nicht die normale Suchindexierung. Sie ist etwas anderes als Googlebot; wer diesen versehentlich sperrt, verschwindet aus der Suche.
Hält sich jeder Crawler an die robots.txt?
Nein. Sie ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, andere nicht. Wer eine Sperre durchsetzen will, braucht eine Regel auf Server- oder Firewallebene anhand der Kennung – und selbst dann wirkt sie nicht rückwirkend auf bereits gesammelte Inhalte.
Wie prüft man, welche Crawler überhaupt kommen?
Über das Serverprotokoll, gefiltert nach den bekannten Kennungen. Das zeigt, welche Crawler wie oft welche Seiten holen. Bei kleinen Websites ist das Ergebnis oft überschaubar – dann ist die Sperrfrage nachrangig gegenüber der Aufgabe, überhaupt gefunden zu werden.
Marketing, das sich selbst aufsetzt
Die Studio Engine ist in der Beta. Jetzt Platz sichern und von Anfang an mitgestalten.
An Beta teilnehmen →