Warum es zählt
Files without an HTML head can carry robots rules only in the HTTP response. X-Robots-Tag accepts the same rules as the meta tag and, like the tag, is seen only when the URL is crawled.
So setzen Sie es um
Add X-Robots-Tag in the web server or CDN for the file types or folders that should stay out of Search (internal PDFs, exports, private images), and do not also disallow those URLs in robots.txt. Use the user-agent form (X-Robots-Tag: googlebot: noindex) only for crawler-specific rules.
So prüfen Sie es
curl -I on a sample file shows the X-Robots-Tag header; URL Inspection of the file reports it excluded by noindex.
So deckt Regensbot sie ab
Entschieden aus einer URL.
Ein Audit liest die Antwort, die Header, das HTML, robots.txt, die Sitemaps und die Structured Data, und der Befund zeigt, was es gesehen hat.
Quellen
Google-Dokumente02
- 01Robots meta tag, data-nosnippet, and X-Robots-Tag specificationsGoogle Search Central (öffnet in einem neuen Tab)
- 02Remove images hosted on your site from search resultsGoogle Search Central (öffnet in einem neuen Tab)
Aussagen in der Wissensbasis03
- D2-C069QuelleControlling indexingGoogles Dokumentation
- D2-C529QuelleUsing images to your advantage and Engaging Search users with videosGoogles Dokumentation
- D2-C095QuelleControlling indexingGoogles Dokumentation
Die Aussage-IDs verweisen auf die Wissensbasis zu Search Central Live 2026. Die Wissensbasis (öffnet in einem neuen Tab)
- Quelle
- Die Aussage ist das zitierte Dokument selbst.