Offizielle Crawler-Dokumentation
Google-Extended
Das robots.txt-Token, mit dem du die Nutzung deiner Inhalte für Gemini steuerst
Empfehlung: Freigeben (Allow)
Google-Extended ist kein eigener Crawler, sondern ein eigenständiges Token für die robots.txt. Damit legst du fest, ob Inhalte, die Google ohnehin von deiner Website abruft, für das Training künftiger Gemini-Modelle verwendet werden dürfen. Nach Googles Dokumentation betrifft das auch das sogenannte Grounding, also die Nutzung von Inhalten aus dem Google-Index zur Laufzeit, in Gemini-Apps und bei Grounding mit der Google-Suche auf Vertex AI. Abgerufen wird weiterhin mit den bekannten Google-User-Agents; das Token wirkt nur als Steuerungssignal. Google stellt klar, dass Google-Extended weder die Aufnahme einer Website in die Google-Suche beeinflusst noch als Ranking-Signal verwendet wird.
- Betreiber und Sitz
- GoogleMountain View, USA
- Crawler-Typ
- Modell-Training
- Offizielle IP-Listen
- JSON-Endpoint (öffnet in neuem Tab)
Technische Konfiguration
User-Agent und robots.txt.
Vollständiger User-Agent String
Kein eigener User-Agent: „Google-Extended“ ist nur ein Token in der robots.txt. Abgerufen wird mit den regulären Google-Crawlern.
Empfohlener Eintrag in deiner robots.txt
Wurzelverzeichnis/robots.txt# Nutzung für Gemini erlauben
User-agent: Google-Extended
Allow: /
# Alternative: Nutzung für Gemini ausschließen
# User-agent: Google-Extended
# Disallow: /
# Die Google-Suche bleibt davon unberührt
User-agent: Googlebot
Allow: /Wirkung im B2B
Auswirkungen auf die B2B-Sichtbarkeit im DACH-Raum.
Wichtig für die Einordnung: Ein Disallow für Google-Extended ändert nichts an deinem Ranking in der Google-Suche. Die KI-Funktionen innerhalb der Google-Suche werden über den regulären Googlebot gesteuert, nicht über dieses Token. Google-Extended betrifft Gemini-Modelle und Gemini-Apps. Wer dort mit seinen Inhalten präsent sein will, lässt das Token zu.
Vorteile der Freigabe (Allow)
- Deine Inhalte können für Gemini-Modelle und Antworten in Gemini-Apps genutzt werden.
- Saubere Trennung: Die Einstellung wirkt nicht auf Aufnahme oder Ranking in der Google-Suche.
- Keine zusätzliche Serverlast, weil kein eigener Crawler unterwegs ist.
Mögliche Risiken und Beachtenswertes
- Das Token wird häufig mit Googlebot verwechselt; eine Sperre von Googlebot würde die Google-Suche betreffen.
- Wer Google-Extended sperrt, schließt Inhalte nicht nur vom Training aus, sondern laut Google auch vom Grounding in Gemini-Apps.
- Ein Disallow wirkt nur für die Zukunft, nicht auf bereits trainierte Modelle.
Fragen und Antworten
Häufige Fragen zu Google-Extended
- Verliere ich mein Google-Ranking, wenn ich Google-Extended blockiere?
- Nein. Laut Google beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch wird es als Ranking-Signal verwendet. Die Suche wird weiterhin über Googlebot gesteuert.
- Steuert Google-Extended die KI-Übersichten in der Google-Suche?
- Nein. Die KI-Funktionen der Google-Suche gehören zur Suche und werden über den regulären Googlebot gesteuert. Google-Extended betrifft Gemini-Modelle, Gemini-Apps und Grounding auf Vertex AI.
- Warum finde ich „Google-Extended“ nicht in meinen Server-Logs?
- Weil es keinen eigenen User-Agent gibt. Google ruft deine Seiten mit den bekannten Crawlern ab; Google-Extended ist nur ein Token, mit dem du in der robots.txt die weitere Nutzung steuerst.
- Wie schließe ich meine Inhalte von Gemini aus?
- Trag „User-agent: Google-Extended“ und „Disallow: /“ in die robots.txt ein. Lass deine Einträge für Googlebot unverändert, damit die Google-Suche nicht betroffen ist.
- Wie sehe ich, ob Gemini meine Marke nennt?
- Stell Gemini eine typische Einkaufsfrage deiner Kunden und prüf die Antwort. Nennbar fragt Gemini und bis zu 6 weitere KIs live und zeigt, ob deine Marke genannt wird und welche Wettbewerber und Quellen auftauchen.
Weiterlesen
Passend zum Thema
- Glossar: Robots.txt AI DirectivesSpezifische Steuerungsanweisungen in der robots.txt zur Zulassung oder Blockierung einzelner KI-Crawler wie GPTBot…
- Glossar: llms.txtEin offener Vorschlag für eine Datei, die KI-Modellen und RAG-Systemen strukturierte, maschinenlesbare…
- llms.txt-GeneratorErstelle kostenlos eine llms.txt, die KIs zeigt, welche Seiten wichtig sind.
- OpenAI GPTBotDer Crawler, mit dem OpenAI Inhalte für das Training seiner KI-Modelle sammelt
- OpenAI OAI-SearchBotDer Crawler, mit dem OpenAI Websites für die Suche in ChatGPT indexiert
- PerplexityBotDer Crawler, mit dem Perplexity Websites als Quellen für seine Antworten erfasst