KI-Crawler richtig erlauben: robots.txt und llms.txt für GPTBot, ClaudeBot & Co.

Kurz gesagt

Damit KI-Assistenten eine Website in ihren Antworten verwenden können, müssen deren Crawler sie lesen dürfen — in der robots.txt betrifft das unter anderem GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot und Google-Extended. Eine häufige Falle: Viele Anbieter und CDNs sperren diese Crawler standardmäßig, oft ohne dass der Betreiber davon weiß. Ergänzend beschreibt eine llms.txt im Wurzelverzeichnis in Klartext, was das Unternehmen anbietet.

Bevor eine KI Sie empfehlen kann, muss sie Ihre Website lesen dürfen. Die Entscheidung darüber trifft eine unscheinbare Datei: die robots.txt. Sie liegt unter ihrer-domain.de/robots.txt und sagt Bots, welche Bereiche sie besuchen dürfen. Ein überraschend häufiger Befund aus unseren Audits: Websites sperren KI-Crawler aus, meist unabsichtlich, durch pauschale Bot-Sperren oder Plugin-Voreinstellungen.

Das Tückische daran: Sie merken es nicht. Die Seite funktioniert für Besucher völlig normal, während sie für die KI schlicht nicht existiert. Wer ausgesperrt ist, kann in keiner Antwort auftauchen, egal, wie gut die Inhalte sind.

Die wichtigsten KI-Crawler

Jeder große KI-Anbieter nutzt eigene Bots, erkennbar an ihrem „User-Agent“. Diese sollten Sie kennen:

GPTBot, der Trainings- und Recherche-Crawler von OpenAI (ChatGPT).
OAI-SearchBot und ChatGPT-User, holen für ChatGPT aktuelle Inhalte live aus dem Web.
ClaudeBot, der Crawler von Anthropic (Claude).
PerplexityBot, der Crawler der Antwortmaschine Perplexity.
Google-Extended, steuert, ob Google Ihre Inhalte für Gemini und die KI-Übersichten nutzen darf (getrennt vom normalen Google-Index).
Applebot-Extended, die KI-Nutzung von Apple, ebenfalls getrennt regelbar.

So erlauben Sie KI-Crawler in der robots.txt

Die Grundregel ist einfach: Für die genannten Bots sollte kein „Disallow“ auf Ihre wichtigen Seiten liegen. Eine saubere Konfiguration erlaubt jedem dieser User-Agents den Zugriff auf den öffentlichen Teil Ihrer Website, also alles, was ein Kunde ohnehin sehen soll.

Konkret heißt das: Legen Sie für die KI-Crawler jeweils eine Regel an, die den Zugriff auf „/“ erlaubt, und beschränken Sie „Disallow“ ausschließlich auf Bereiche, die wirklich privat sind (Login, Warenkorb, interne Verzeichnisse). Prüfen Sie außerdem, ob eine allgemeine Regel für alle Bots („User-agent: *“) versehentlich zu viel blockiert.

Der häufigste Fehler: pauschale Sperren

Viele Sperren entstehen nicht bewusst. Ein Sicherheits- oder Performance-Plugin setzt eine Standard-Blockliste, ein früherer Dienstleister wollte „Traffic sparen“, oder eine Kopiervorlage aus dem Netz enthielt ein pauschales „Disallow: /“. Das Ergebnis ist immer dasselbe: gute Inhalte, die niemand lesen darf. Ein Blick in Ihre robots.txt dauert zwei Minuten, und schließt womöglich die teuerste Lücke.

Was ist die llms.txt?

Die llms.txt ist ein junger Vorschlag für einen neuen Standard: eine Datei unter ihrer-domain.de/llms.txt, die, anders als die robots.txt, nicht den Zugriff regelt, sondern KI-Systemen die wichtigsten Inhalte Ihrer Website übersichtlich und leicht lesbar zusammenfasst. Man kann sie sich als kuratiertes Inhaltsverzeichnis für Maschinen vorstellen: Wer Sie sind, was Sie anbieten und wo die zentralen Informationen liegen.

Ehrlich eingeordnet: Die llms.txt ist noch nicht von allen Anbietern etabliert und kein garantierter Ranking-Faktor. Sie schadet aber nicht, ist schnell erstellt und macht Ihre Kerninformationen eindeutig, ein sinnvolles Klarheits-Signal, solange Sie sich nicht allein darauf verlassen.

Crawler erlauben heißt nicht Kontrollverlust

Ein verbreitetes Missverständnis: „Wenn ich KI-Bots hereinlasse, verliere ich die Kontrolle über meine Inhalte.“ Das Gegenteil ist der Fall. Sie entscheiden weiterhin genau, was öffentlich ist, die Crawler sehen nur, was ohnehin jeder Besucher sieht. Sensible Bereiche bleiben per „Disallow“ tabu. Der Unterschied ist nur: Ihre öffentlichen Verkaufsargumente dürfen jetzt auch von den Systemen gelesen werden, die Ihre Kunden fragen.

Kurz-Checkliste

robots.txt aufrufen (ihre-domain.de/robots.txt) und auf pauschale Sperren prüfen
GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot und Google-Extended erlauben
„Disallow“ nur für wirklich private Bereiche (Login, Checkout, Admin)
Optional eine llms.txt mit Ihren Kerninhalten anlegen
Nach Änderungen prüfen, ob die wichtigen Seiten weiterhin erreichbar sind

Häufige Fragen

Ist es gefährlich, KI-Crawler auf meine Website zu lassen?

Nein. KI-Crawler sehen nur den öffentlichen Teil Ihrer Website, dieselben Inhalte wie jeder Besucher. Private Bereiche wie Login oder Warenkorb bleiben über „Disallow“ gesperrt. Sie geben also nichts preis, was nicht ohnehin öffentlich ist.

Woher weiß ich, ob ich KI-Crawler aktuell blockiere?

Rufen Sie ihre-domain.de/robots.txt im Browser auf und suchen Sie nach „Disallow: /“ sowie nach den Namen der KI-Bots (GPTBot, ClaudeBot, PerplexityBot, Google-Extended). Ein GEO-Audit prüft diesen Punkt automatisch mit und meldet, wenn Crawler ausgesperrt sind.

Bringt eine llms.txt garantiert bessere KI-Sichtbarkeit?

Nein, garantiert ist nichts. Die llms.txt ist ein junger Standard und kein bestätigter Ranking-Faktor. Sie ist ein sinnvolles Klarheits-Signal und schnell erstellt, ersetzt aber weder saubere Inhalte noch strukturierte Daten oder eine gute Quellenlage.