Black Friday: 50 % aufs erste Jahr, bis 30.11.

Technischer AEO-Leitfaden · Webmaster und SEOs

AI-Crawler- und Bot-Verzeichnis: Erlauben oder blockieren?

Viele Website-Betreiber blockieren unbedacht KI-Crawler in ihrer robots.txt und wundern sich, warum ihr Unternehmen in ChatGPT Search, Perplexity und Google AI Overviews nicht mehr existiert. Erfahre, welche Bots echten Referral-Traffic bringen und wie du deine Konfiguration optimierst.

Empfohlene Konfiguration

Best-Practice robots.txt für maximale B2B-Sichtbarkeit.

Vorlage · Stand: November 2026

Kopier diesen Block in deine robots.txt, um verifizierten KI-Suchmaschinen den Zugriff auf deine Leistungsseiten zu gestatten und interne Verzeichnisse abzusichern.

Such-Crawler entscheiden, ob KIs dich zitieren; über Trainings-Crawler entscheidest du getrennt. Achtung: Ein eigener Abschnitt für einen Bot ersetzt die Regeln für *. Gesperrte Bereiche gehören deshalb in jeden Abschnitt.

Die robots.txt ist nur die halbe Miete: Bot-Schutz-Dienste wie Cloudflare, Akamai oder Sicherheits-Plugins sperren KI-Crawler oft schon vorher. Der kostenlose Seiten-Check erkennt solche Sperren und zeigt, welche Crawler gesperrt sind.

# Empfohlene robots.txt für KI-Sichtbarkeit (Nennbar, Stand: November 2026)
# /admin/ und /internal/ sind Beispiele für deine gesperrten Bereiche.
# Ein eigener Abschnitt ersetzt die Regeln für *.
# Gesperrte Bereiche deshalb in jedem Abschnitt wiederholen.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /internal/

# Such- und Abruf-Crawler: entscheiden, ob KIs deine Seiten zitieren.
# Googlebot steuert auch KI-Übersichten und AI Mode, Bingbot auch Copilot.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Googlebot
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /internal/

# Trainings-Crawler: bestimmen, was Modelle ohne Websuche über dich wissen.
# Bewusst entscheiden: freigeben wie unten oder „Disallow: /“ statt „Allow: /“.
# Google-Extended steuert nicht die KI-Übersichten in der Google-Suche.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
Allow: /
Disallow: /admin/
Disallow: /internal/

Sitemap: https://deine-domain.de/sitemap.xml

6 KI-Crawler

Alle Crawler im Überblick.

Betreiber, Crawler-Typ, User-Agent und unsere Empfehlung für deine robots.txt.