Black Friday: 50 % aufs erste Jahr, bis 30.11.

Kategorie: Technik & Crawler

Robots.txt AI Directives

Definition auf den Punkt gebracht

Spezifische Steuerungsanweisungen in der robots.txt zur Zulassung oder Blockierung einzelner KI-Crawler wie GPTBot, PerplexityBot, ClaudeBot oder Google-Extended.

Kernfakten · TL;DR

  • 01

    Entscheidet darüber, ob KIs eine Website für Trainingsdaten oder Live-Suchen scrapen dürfen.

  • 02

    Falsche Blockaden können deine Seiten aus den Suchfunktionen der KIs ausschließen.

  • 03

    Erfordert Differenzierung zwischen reinem Trainings-Scraping und Live-Search-Grounding.

Hintergrund und Mechanik

Detaillierte Funktionsweise.

Viele Website-Betreiber blockieren pauschal User-Agents wie GPTBot oder CCBot in ihrer robots.txt aus Sorge vor Content-Diebstahl für Modell-Training. Wichtig ist die Unterscheidung: Die großen Anbieter trennen Trainings- und Such-Crawler. Wer GPTBot sperrt, schließt das Training aus, bleibt über OAI-SearchBot aber in der ChatGPT-Suche auffindbar. PerplexityBot ist dagegen der Such-Crawler von Perplexity – wer ihn sperrt, verzichtet auf Nennungen als Quelle.

Die richtige Konfiguration der robots.txt ist eine der wichtigsten technischen Weichenstellungen im AEO. Unternehmen müssen differenzieren: Möchte ich das reine Scraping für Modelltrainings untersagen (z. B. via Google-Extended), aber das Live-Grounding für Suchanfragen erlauben?

Nennbar gibt im Bericht Empfehlungen für deine robots.txt, damit die wichtigen KI-Crawler deine Seiten abrufen können.

Relevanz für den DACH-Mittelstand

Warum Robots.txt AI Directives in Deutschland, Österreich und der Schweiz anders funktioniert.

Aus Vorsicht haben viele Unternehmen Bot-Blocker in Firewalls oder CDN-Diensten aktiviert oder KI-Crawler pauschal in der robots.txt gesperrt. Die Folge kann sein, dass KI-Suchfunktionen ihre Seiten nicht abrufen können und stattdessen andere Anbieter nennen.

Direkter Vergleich

Praxis-Szenario aus dem B2B-Alltag.

Szenario
„Ein Maschinenbauer wundert sich, warum ChatGPT ihn trotz Spitzenposition bei Google nicht kennt.“

Ohne AI Robots Directives-Optimierung

In der robots.txt sperrt eine pauschale Regel („User-agent: *“ mit „Disallow: /“) alle Bots ohne eigene Regel – damit auch OAI-SearchBot und PerplexityBot.

Mit gezielter Nennbar-Optimierung

Die robots.txt wird korrigiert; die Such-Crawler dürfen die Seiten wieder abrufen, und die Website kann in ChatGPT und Perplexity als Quelle erscheinen.

Schritt für Schritt

Handlungsempfehlungen für deine Umsetzung.

  1. 01Prüfe deine robots.txt auf versehentliche Disallow: / Anweisungen für KI-Crawler.
  2. 02Erlaube Such-Crawler wie OAI-SearchBot, PerplexityBot und Claude-SearchBot und entscheide separat über Trainings-Crawler wie GPTBot und ClaudeBot.
  3. 03Stell sicher, dass deine WAF oder DDoS-Schutzsysteme (Cloudflare Bot Management) Such-Bots nicht mit Captchas blockieren.
  4. 04Gewähre freien Zugriff auf /llms.txt und /sitemap.xml.
  5. 05Prüf mit dem kostenlosen Seiten-Check, welche KI-Crawler gesperrt sind und ob ein Bot-Schutz den Abruf verhindert.

Wissenswertes

Häufig gestellte Fragen

Welche KI-Bots sollte ich auf jeden Fall erlauben?
Wenn du in KI-Suchen sichtbar sein willst: mindestens die Such-Crawler OAI-SearchBot, PerplexityBot und Claude-SearchBot sowie Googlebot und Bingbot. Über Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended entscheidest du separat.
Steuert Google-Extended die KI-Übersichten in der Google-Suche?
Nein. Google-Extended regelt nach Angaben von Google nur Training und Grounding für Gemini und Vertex AI. Die KI-Übersichten und der AI Mode laufen über Googlebot. Ob Google dort aus deiner Seite zitiert, steuerst du mit nosnippet, max-snippet und data-nosnippet; wer diese setzt, wird in KI-Übersichten nicht oder kaum zitiert.

Weiterlesen

Verwandte Glossar-Begriffe.