Technischer AEO-Leitfaden · Webmaster und SEOs
AI-Crawler- und Bot-Verzeichnis: Erlauben oder blockieren?
Viele Website-Betreiber blockieren unbedacht KI-Crawler in ihrer robots.txt und wundern sich, warum ihr Unternehmen in ChatGPT Search, Perplexity und Google AI Overviews nicht mehr existiert. Erfahre, welche Bots echten Referral-Traffic bringen und wie du deine Konfiguration optimierst.
Empfohlene Konfiguration
Best-Practice robots.txt für maximale B2B-Sichtbarkeit.
Vorlage · Stand: November 2026
Kopier diesen Block in deine robots.txt, um verifizierten KI-Suchmaschinen den Zugriff auf deine Leistungsseiten zu gestatten und interne Verzeichnisse abzusichern.
Such-Crawler entscheiden, ob KIs dich zitieren; über Trainings-Crawler entscheidest du getrennt. Achtung: Ein eigener Abschnitt für einen Bot ersetzt die Regeln für *. Gesperrte Bereiche gehören deshalb in jeden Abschnitt.
Die robots.txt ist nur die halbe Miete: Bot-Schutz-Dienste wie Cloudflare, Akamai oder Sicherheits-Plugins sperren KI-Crawler oft schon vorher. Der kostenlose Seiten-Check erkennt solche Sperren und zeigt, welche Crawler gesperrt sind.
# Empfohlene robots.txt für KI-Sichtbarkeit (Nennbar, Stand: November 2026)
# /admin/ und /internal/ sind Beispiele für deine gesperrten Bereiche.
# Ein eigener Abschnitt ersetzt die Regeln für *.
# Gesperrte Bereiche deshalb in jedem Abschnitt wiederholen.
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /internal/
# Such- und Abruf-Crawler: entscheiden, ob KIs deine Seiten zitieren.
# Googlebot steuert auch KI-Übersichten und AI Mode, Bingbot auch Copilot.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Googlebot
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /internal/
# Trainings-Crawler: bestimmen, was Modelle ohne Websuche über dich wissen.
# Bewusst entscheiden: freigeben wie unten oder „Disallow: /“ statt „Allow: /“.
# Google-Extended steuert nicht die KI-Übersichten in der Google-Suche.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
Allow: /
Disallow: /admin/
Disallow: /internal/
Sitemap: https://deine-domain.de/sitemap.xml6 KI-Crawler
Alle Crawler im Überblick.
Betreiber, Crawler-Typ, User-Agent und unsere Empfehlung für deine robots.txt.
Empfehlung: Allow
OpenAI GPTBot
OpenAI (San Francisco, USA)
GPTBot ist der Web-Crawler, mit dem OpenAI öffentlich zugängliche Inhalte sammelt, die für das Training künftiger Sprachmodelle verwendet werden können. Er beantwortet keine Nutzerfragen in Echtzeit und erzeugt keine Quellenlinks in ChatGPT – dafür sind die separaten Agenten OAI-SearchBot (Suchindex) und ChatGPT-User (Abrufe, die ein Nutzer auslöst) zuständig. Laut OpenAI signalisiert ein Disallow für GPTBot in der robots.txt, dass die Inhalte deiner Website nicht für das Training verwendet werden sollen. Bereits trainierte Modelle vergessen deine Inhalte dadurch allerdings nicht, und die Sperre wirkt nur für künftige Crawls. Weil jeder OpenAI-Agent ein eigenes robots.txt-Token hat, kannst du das Training ausschließen und trotzdem in der ChatGPT-Suche erscheinen.
Typ: Modell-Training
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Details →Empfehlung: Allow
OpenAI OAI-SearchBot
OpenAI (San Francisco, USA)
OAI-SearchBot ist der Crawler, mit dem OpenAI Websites für die Suchfunktionen in ChatGPT erfasst. Seiten, die er crawlen darf, können in ChatGPT-Antworten als Quelle mit Link erscheinen. Laut OpenAI werden die Inhalte nicht für das Training von Basismodellen verwendet – dafür ist GPTBot zuständig. Sperrst du OAI-SearchBot, erscheinen deine Seiten nicht mehr als Quellen in den Suchantworten von ChatGPT; als reiner Navigationslink können sie laut OpenAI dennoch auftauchen. Änderungen an der robots.txt brauchen nach Angaben von OpenAI etwa 24 Stunden, bis sie wirken. Abrufe, die ein Nutzer direkt auslöst, laufen dagegen über den separaten Agenten ChatGPT-User.
Typ: Search-Crawler (Zitate & Traffic)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Details →Empfehlung: Allow
PerplexityBot
Perplexity AI (San Francisco, USA)
PerplexityBot erfasst Websites, damit Perplexity sie in seinen Antworten als Quellen anzeigen und verlinken kann. Laut Perplexity wird er nicht eingesetzt, um Inhalte für das Training von KI-Basismodellen zu sammeln. Daneben gibt es den Agenten Perplexity-User: Er ruft eine Seite ab, wenn eine konkrete Nutzerfrage das erfordert, und beachtet die robots.txt nach Angaben von Perplexity in der Regel nicht, weil der Abruf von einem Menschen ausgelöst wird. Perplexity zeigt seine Quellen nummeriert zu jeder Antwort an. Wer dort genannt wird, bekommt also einen sichtbaren Link. Änderungen an der robots.txt können laut Perplexity bis zu 24 Stunden brauchen, bis sie berücksichtigt werden.
Typ: Search-Crawler (Zitate & Traffic)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Details →Empfehlung: Allow
Anthropic ClaudeBot
Anthropic (San Francisco, USA)
ClaudeBot ist der Crawler, mit dem Anthropic öffentlich zugängliche Web-Inhalte für das Training seiner Claude-Modelle sammelt. Wird ClaudeBot in der robots.txt gesperrt, sollen laut Anthropic künftige Inhalte deiner Website aus den Trainingsdaten ausgeschlossen werden. Anthropic betreibt zwei weitere Agenten mit eigenen Tokens: Claude-SearchBot erfasst Inhalte, um die Suchergebnisse in Claude zu verbessern, und Claude-User ruft Seiten ab, wenn ein Nutzer Claude eine Frage stellt, die das erfordert. Eine Sperre dieser beiden kann laut Anthropic die Sichtbarkeit deiner Website in Claude verringern. Anthropic beachtet die robots.txt und unterstützt zusätzlich die nicht standardisierte Anweisung Crawl-delay.
Typ: Modell-Training
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Details →Empfehlung: Allow
Google-Extended
Google (Mountain View, USA)
Google-Extended ist kein eigener Crawler, sondern ein eigenständiges Token für die robots.txt. Damit legst du fest, ob Inhalte, die Google ohnehin von deiner Website abruft, für das Training künftiger Gemini-Modelle verwendet werden dürfen. Nach Googles Dokumentation betrifft das auch das sogenannte Grounding, also die Nutzung von Inhalten aus dem Google-Index zur Laufzeit, in Gemini-Apps und bei Grounding mit der Google-Suche auf Vertex AI. Abgerufen wird weiterhin mit den bekannten Google-User-Agents; das Token wirkt nur als Steuerungssignal. Google stellt klar, dass Google-Extended weder die Aufnahme einer Website in die Google-Suche beeinflusst noch als Ranking-Signal verwendet wird.
Typ: Modell-Training
Kein eigener User-Agent: „Google-Extended“ ist nur ein Token in der robots.txt. Abgerufen wird mit den regulären Google-Crawlern.
Details →Empfehlung: Allow
Mistral AI Crawler
Mistral AI (Paris, Frankreich)
Mistral AI aus Paris betreibt drei getrennte Agenten mit eigenen Tokens. MistralAI-Index crawlt das Web laut Mistral ausschließlich zur Indexierung und nicht für das Training generativer KI. MistralAI-User ruft eine Seite ab, wenn eine Nutzerfrage an den Mistral-Assistenten das erfordert; auch diese Inhalte werden laut Mistral nicht für das Training verwendet. MistralAI-Training schließlich sammelt Inhalte, die für das Training von Mistral-Modellen genutzt werden. Alle drei lassen sich in der robots.txt einzeln erlauben oder sperren. Für MistralAI-Index und MistralAI-User veröffentlicht Mistral IP-Listen, mit denen du Zugriffe überprüfen kannst.
Typ: Hybrid
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Index/1.0; +https://docs.mistral.ai/robots)
Details →