Warum es zählt
Google-Extended is a robots.txt control token, not a crawler: it decides whether crawled content may be used to train future Gemini models and to ground Gemini Apps and Vertex AI, and it does not affect inclusion or ranking in Google Search. The Search generative AI setting does not affect training, and user-triggered fetchers, which fetch a page because a user asked, generally ignore robots.txt.
So setzen Sie es um
To opt out, add a User-agent: Google-Extended group with Disallow: / for the whole site, or Disallow lines for specific directories, to robots.txt; never block Googlebot for this purpose. Google's robots.txt talk confirmed that Google respects that policy for Gemini model training. Said at Search Central Live: rendering for Gemini training reuses the rendering done for Search. Author's view: so no separate rendering work is needed for Gemini.
So prüfen Sie es
Google's open-source robots.txt parser (github.com/google/robotstxt), run with the Google-Extended token, returns disallowed for the intended paths, and run with the Googlebot token returns allowed for the same URLs; URL Inspection shows them as Crawl allowed.
So deckt Regensbot sie ab
Entschieden aus einer URL.
Ein Audit liest die Antwort, die Header, das HTML, robots.txt, die Sitemaps und die Structured Data, und der Befund zeigt, was es gesehen hat.
Quellen
Google-Dokumente03
- 01List of Google's common crawlersGoogle (öffnet in einem neuen Tab)
- 02List of Google user-triggered fetchersGoogle (öffnet in einem neuen Tab)
- 03Search generative AI controlGoogle Search Console Help (öffnet in einem neuen Tab)
Aussagen in der Wissensbasis08
- D1-C086QuelleHow Google interprets robots.txtGoogles Dokumentation
- D1-C032QuelleWhat's new in the world of SearchGoogles Dokumentation
- D2-C121QuelleLightning session D: Rendering and JavaScriptGoogles Dokumentation
- D2-C122QuelleLightning session D: Rendering and JavaScriptGoogles Dokumentation
- D2-C118Nicht dokumentiertLightning session D: Rendering and JavaScriptAuf der Bühne gesagt
- D2-C119EntfälltLightning session D: Rendering and JavaScriptEinschätzung des Autors
- D1-C485BestätigtQ&AAuf der Bühne gesagt
- D1-C522GestütztHow Google interprets robots.txtAuf der Bühne gesagt
Die Aussage-IDs verweisen auf die Wissensbasis zu Search Central Live 2026. Die Wissensbasis (öffnet in einem neuen Tab)
- Bestätigt
- Googles Dokumentation sagt dasselbe.
- Gestützt
- Googles Dokumentation stützt es, ohne es auszusprechen.
- Nicht dokumentiert
- Bei der Veranstaltung gesagt oder gezeigt, nicht in der Dokumentation.
- Quelle
- Die Aussage ist das zitierte Dokument selbst.
- Entfällt
- Nichts zu prüfen: ein Zitat, eine Einordnung, eine Meinung oder eine Analyse.