Warum es zählt
Google's renderer fetches scripts, styles and API requests through Googlebot and obeys robots.txt: if it cannot fetch a resource, it cannot run it. Blocking a script folder or a generic /api/ folder leaves blank modules or an empty page, which can be treated as a soft 404 although users see a full page.
So setzen Sie es um
Allow all JS, CSS and font paths. If an API folder must stay disallowed, carve out the endpoints rendering needs (Disallow: /api/ plus Allow: /api/products/), since the longer Allow rule wins. Check the robots.txt of every host the page loads data from, and re-test a rendered page after every robots.txt change touching script or API paths.
So prüfen Sie es
URL Inspection live test, page resources: nothing needed for content is "Blocked by robots.txt". The DevTools Network panel (Fetch/XHR) lists each API host, and each host's robots.txt allows those paths.
So deckt Regensbot sie ab
Automatisch entschieden, sobald Regensbot Ihre Seiten rendert.
Headless Chromium rendert die Seite auf einem isolierten Render-Dienst, und rohes wie gerendertes HTML laufen durch dieselben Parser.
Quellen
Google-Dokumente04
- 01Introduction to robots.txtGoogle Search Central (öffnet in einem neuen Tab)
- 02Understand the JavaScript SEO basicsGoogle Search Central (öffnet in einem neuen Tab)
- 03Crawling December: The how and why of Googlebot crawlingSearch Central blog (3 December 2024) (öffnet in einem neuen Tab)
- 04Inside Googlebot: demystifying crawling, fetching, and the bytes we processSearch Central blog (31 March 2026) (öffnet in einem neuen Tab)
Aussagen in der Wissensbasis07
- D2-C204BestätigtLightning session D: Rendering and JavaScriptAuf dem Bildschirm gezeigt
- D2-C206QuelleLightning session D: Rendering and JavaScriptGoogles Dokumentation
- D2-C297QuelleWhat is Google friendly JavaScriptGoogles Dokumentation
- D2-C207GestütztLightning session D: Rendering and JavaScriptAuf dem Bildschirm gezeigt
- D2-C265GestütztWhat is Google friendly JavaScriptAuf dem Bildschirm gezeigt
- D2-C296BestätigtWhat is Google friendly JavaScriptAuf der Bühne gesagt
- D2-C213BestätigtLightning session D: Rendering and JavaScriptAuf der Bühne gesagt
Die Aussage-IDs verweisen auf die Wissensbasis zu Search Central Live 2026. Die Wissensbasis (öffnet in einem neuen Tab)
- Bestätigt
- Googles Dokumentation sagt dasselbe.
- Gestützt
- Googles Dokumentation stützt es, ohne es auszusprechen.
- Quelle
- Die Aussage ist das zitierte Dokument selbst.