Warum es zählt
noindex consumes crawl budget because Google must fetch the page to see it; nofollow is a hint, and the linked URLs may still be crawled through other links or sitemaps; crawl-delay is not processed at all. Google advises against noindex for crawl budget and against using robots.txt to reallocate it temporarily.
So setzen Sie es um
To stop Google fetching URLs on your own site, disallow them in robots.txt; return 404 or 410 for removed pages; consolidate duplicates with redirects or canonicals. Keep crawl rules stable instead of switching them to steer Googlebot around.
So prüfen Sie es
Server logs show few or no Googlebot fetches of parameter and action URLs; robots.txt has no crawl-delay meant for Google; Crawl stats shows fewer fetches of low-value URLs after fixes.
So deckt Regensbot sie ab
Automatisch entschieden, sobald Sie Ihre Server-Logs verbinden.
regensbot logs push behält nur Zeilen aus den IP-Bereichen, die Google und KI-Agenten veröffentlichen. So verlässt keine Besucher-IP Ihre Systeme. Googlebot wird per IP und DNS verifiziert.
Quellen
Google-Dokumente03
- 01Optimize your crawl budgetGoogle (öffnet in einem neuen Tab)
- 02Qualify your outbound links to GoogleGoogle Search Central (öffnet in einem neuen Tab)
- 03How Google interprets the robots.txt specificationGoogle (öffnet in einem neuen Tab)
Aussagen in der Wissensbasis06
- D1-C106BestätigtHow Google thinks about crawl budgetAuf dem Bildschirm gezeigt
- D1-C109QuelleHow Google thinks about crawl budgetGoogles Dokumentation
- D1-C127QuelleHow Google thinks about crawl budgetGoogles Dokumentation
- D1-C107BestätigtHow Google thinks about crawl budgetAuf dem Bildschirm gezeigt
- D1-C108BestätigtHow Google thinks about crawl budgetAuf dem Bildschirm gezeigt
- D1-C105GestütztHow Google thinks about crawl budgetAuf dem Bildschirm gezeigt
Die Aussage-IDs verweisen auf die Wissensbasis zu Search Central Live 2026. Die Wissensbasis (öffnet in einem neuen Tab)
- Bestätigt
- Googles Dokumentation sagt dasselbe.
- Gestützt
- Googles Dokumentation stützt es, ohne es auszusprechen.
- Quelle
- Die Aussage ist das zitierte Dokument selbst.