Kategorie: Technik & Crawler
Robots.txt AI Directives
Definition auf den Punkt gebracht
Spezifische Steuerungsanweisungen in der robots.txt zur Zulassung oder Blockierung einzelner KI-Crawler wie GPTBot, PerplexityBot, ClaudeBot oder Google-Extended.
Kernfakten · TL;DR
- 01
Entscheidet darüber, ob KIs eine Website für Trainingsdaten oder Live-Suchen scrapen dürfen.
- 02
Falsche Blockaden können deine Seiten aus den Suchfunktionen der KIs ausschließen.
- 03
Erfordert Differenzierung zwischen reinem Trainings-Scraping und Live-Search-Grounding.
Hintergrund und Mechanik
Detaillierte Funktionsweise.
Viele Website-Betreiber blockieren pauschal User-Agents wie GPTBot oder CCBot in ihrer robots.txt aus Sorge vor Content-Diebstahl für Modell-Training. Wichtig ist die Unterscheidung: Die großen Anbieter trennen Trainings- und Such-Crawler. Wer GPTBot sperrt, schließt das Training aus, bleibt über OAI-SearchBot aber in der ChatGPT-Suche auffindbar. PerplexityBot ist dagegen der Such-Crawler von Perplexity – wer ihn sperrt, verzichtet auf Nennungen als Quelle.
Die richtige Konfiguration der robots.txt ist eine der wichtigsten technischen Weichenstellungen im AEO. Unternehmen müssen differenzieren: Möchte ich das reine Scraping für Modelltrainings untersagen (z. B. via Google-Extended), aber das Live-Grounding für Suchanfragen erlauben?
Nennbar gibt im Bericht Empfehlungen für deine robots.txt, damit die wichtigen KI-Crawler deine Seiten abrufen können.
Relevanz für den DACH-Mittelstand
Warum Robots.txt AI Directives in Deutschland, Österreich und der Schweiz anders funktioniert.
Aus Vorsicht haben viele Unternehmen Bot-Blocker in Firewalls oder CDN-Diensten aktiviert oder KI-Crawler pauschal in der robots.txt gesperrt. Die Folge kann sein, dass KI-Suchfunktionen ihre Seiten nicht abrufen können und stattdessen andere Anbieter nennen.
Direkter Vergleich
Praxis-Szenario aus dem B2B-Alltag.
„Ein Maschinenbauer wundert sich, warum ChatGPT ihn trotz Spitzenposition bei Google nicht kennt.“
Ohne AI Robots Directives-Optimierung
In der robots.txt sperrt eine pauschale Regel („User-agent: *“ mit „Disallow: /“) alle Bots ohne eigene Regel – damit auch OAI-SearchBot und PerplexityBot.
Mit gezielter Nennbar-Optimierung
Die robots.txt wird korrigiert; die Such-Crawler dürfen die Seiten wieder abrufen, und die Website kann in ChatGPT und Perplexity als Quelle erscheinen.
Schritt für Schritt
Handlungsempfehlungen für deine Umsetzung.
- 01Prüfe deine robots.txt auf versehentliche Disallow: / Anweisungen für KI-Crawler.
- 02Erlaube Such-Crawler wie OAI-SearchBot, PerplexityBot und Claude-SearchBot und entscheide separat über Trainings-Crawler wie GPTBot und ClaudeBot.
- 03Stell sicher, dass deine WAF oder DDoS-Schutzsysteme (Cloudflare Bot Management) Such-Bots nicht mit Captchas blockieren.
- 04Gewähre freien Zugriff auf /llms.txt und /sitemap.xml.
- 05Prüf mit dem kostenlosen Seiten-Check, welche KI-Crawler gesperrt sind und ob ein Bot-Schutz den Abruf verhindert.
Wissenswertes
Häufig gestellte Fragen
- Welche KI-Bots sollte ich auf jeden Fall erlauben?
- Wenn du in KI-Suchen sichtbar sein willst: mindestens die Such-Crawler OAI-SearchBot, PerplexityBot und Claude-SearchBot sowie Googlebot und Bingbot. Über Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended entscheidest du separat.
- Steuert Google-Extended die KI-Übersichten in der Google-Suche?
- Nein. Google-Extended regelt nach Angaben von Google nur Training und Grounding für Gemini und Vertex AI. Die KI-Übersichten und der AI Mode laufen über Googlebot. Ob Google dort aus deiner Seite zitiert, steuerst du mit nosnippet, max-snippet und data-nosnippet; wer diese setzt, wird in KI-Übersichten nicht oder kaum zitiert.
Weiterlesen