DEV-IDX-01: Use noindex to keep a page out of Search, and…

Warum es zählt

robots.txt does not control indexing: a disallowed URL can still appear in results without its content when other pages link to it, and Google never sees a noindex on a page it may not fetch. Google said it does not treat a disallow as noindex because important sites sometimes disallow their most important pages by mistake, and robots meta rules only work if robots.txt lets Google fetch the page.

So setzen Sie es um

For admin, thin, temporary or internal-search pages that may be crawled but should not be indexed, send <meta name="robots" content="noindex"> or X-Robots-Tag: noindex in the server response and do not disallow the URL. Use robots.txt only for URLs that should never be fetched. Use name="googlebot" only for Google-specific rules. To de-index URLs that are already disallowed, add the noindex first (or in the same release), then remove the disallow so Google can see it.

So prüfen Sie es

For each noindexed URL: URL Inspection shows Crawl allowed: Yes, curl shows the noindex, and URL Inspection and the Page indexing report list it as excluded by the noindex tag.

So deckt Regensbot sie ab

AutomatischBrauchtEine URL

Entschieden aus einer URL.

Ein Audit liest die Antwort, die Header, das HTML, robots.txt, die Sitemaps und die Structured Data, und der Befund zeigt, was es gesehen hat.

So funktionieren die Urteile Was Sie verbinden

Quellen

Google-Dokumente03

Aussagen in der Wissensbasis12

D2-C022QuelleWelcome to indexing day!Googles Dokumentation
D2-C069QuelleControlling indexingGoogles Dokumentation
D2-C021BestätigtWelcome to indexing day!Auf dem Bildschirm gezeigt
D2-C020Nicht dokumentiertWelcome to indexing day!Auf dem Bildschirm gezeigt
D2-C061BestätigtControlling indexingAuf dem Bildschirm gezeigt
D1-C110EntfälltHow Google thinks about crawl budgetEinschätzung des Autors
D2-C023EntfälltWelcome to indexing day!Einschätzung des Autors
D2-C850BestätigtControlling indexingAuf der Bühne gesagt
D2-C851BestätigtControlling indexingAuf der Bühne gesagt
D2-C846GestütztWelcome to indexing day!Auf der Bühne gesagt
D2-C844Nicht dokumentiertWelcome to indexing day!Auf der Bühne gesagt
D2-C845Nicht dokumentiertWelcome to indexing day!Auf der Bühne gesagt

Die Aussage-IDs verweisen auf die Wissensbasis zu Search Central Live 2026. Die Wissensbasis (öffnet in einem neuen Tab)

Bestätigt: Googles Dokumentation sagt dasselbe.
Gestützt: Googles Dokumentation stützt es, ohne es auszusprechen.
Nicht dokumentiert: Bei der Veranstaltung gesagt oder gezeigt, nicht in der Dokumentation.
Quelle: Die Aussage ist das zitierte Dokument selbst.
Entfällt: Nichts zu prüfen: ein Zitat, eine Einordnung, eine Meinung oder eine Analyse.

Use noindex to keep a page out of Search, and leave that URL crawlable