Warum es zählt
The crawl rate limit (hostload) is a host-wide limit shared by all Google crawlers, including Search, Ads, Shopping and Images; it applies per host, so a CDN host, an app host, subdomains and the www host may each have their own. When connect time, time to first byte or the share of 429 and 5xx responses rises, Google lowers it and crawls less, while better performance increases the crawl budget. Google's crawl budget guide does not express this limit in requests per second: it counts the parallel connections Google holds open to the server and how long they last.
So setzen Sie es um
Cache rendered HTML at the edge, keep origin response times low for uncached pages, size servers for crawler bursts, give bots exactly what an anonymous first-time visitor gets (no personalisation, the default test variant), never content or URLs that no user can get, and do not route Googlebot to a slower backend.
So prüfen Sie es
Search Console Crawl stats shows a stable average response time and healthy host status; server logs compare time to first byte for verified Googlebot with users. An abrupt step down in crawling, or fewer connections opened by Googlebot, points to a lowered capacity limit rather than lower demand.
So deckt Regensbot sie ab
Automatisch entschieden, sobald Sie Ihre Server-Logs verbinden.
regensbot logs push behält nur Zeilen aus den IP-Bereichen, die Google und KI-Agenten veröffentlichen. So verlässt keine Besucher-IP Ihre Systeme. Googlebot wird per IP und DNS verifiziert.
Quellen
Google-Dokumente03
- 01Optimize your crawl budgetGoogle (öffnet in einem neuen Tab)
- 02Crawling infrastructureGoogle (öffnet in einem neuen Tab)
- 03Minimize A/B testing impact in Google SearchGoogle Search Central (öffnet in einem neuen Tab)
Aussagen in der Wissensbasis13
- D1-C092GestütztHow Google thinks about crawl budgetAuf dem Bildschirm gezeigt
- D1-C091BestätigtHow Google thinks about crawl budgetAuf dem Bildschirm gezeigt
- D1-C132QuelleHow Google thinks about crawl budgetGoogles Dokumentation
- D1-C096GestütztHow Google thinks about crawl budgetAuf der Bühne gesagt
- D1-C066GestütztHow Google thinks about crawl budgetAuf dem Bildschirm gezeigt
- D2-C024Nicht dokumentiertHow is HTML interpretedAuf dem Bildschirm gezeigt
- D1-C141QuelleHow Google thinks about crawl budgetGoogles Dokumentation
- D1-C374GestütztHow Google thinks about crawl budgetAuf der Bühne gesagt
- D1-C376BestätigtHow Google thinks about crawl budgetAuf der Bühne gesagt
- D1-C440BestätigtQ&AAuf der Bühne gesagt
- D1-C493GestütztQ&AAuf der Bühne gesagt
- D1-C494GestütztQ&AAuf der Bühne gesagt
- D1-C547EntfälltQ&AEinschätzung des Autors
Die Aussage-IDs verweisen auf die Wissensbasis zu Search Central Live 2026. Die Wissensbasis (öffnet in einem neuen Tab)
- Bestätigt
- Googles Dokumentation sagt dasselbe.
- Gestützt
- Googles Dokumentation stützt es, ohne es auszusprechen.
- Nicht dokumentiert
- Bei der Veranstaltung gesagt oder gezeigt, nicht in der Dokumentation.
- Quelle
- Die Aussage ist das zitierte Dokument selbst.
- Entfällt
- Nichts zu prüfen: ein Zitat, eine Einordnung, eine Meinung oder eine Analyse.