Der X-Robots-Tag ist ein HTTP-Header, der von Webservern gesendet wird, um Suchmaschinenanweisungen zu geben, wie sie eine bestimmte Website indizieren sollen.
Er ermöglicht es Betreibern von Websites, Suchmaschinen zu steuern, welche Inhalte sie in ihren Suchergebnissen anzeigen sollen. Der X-Robots-Tag kann verschiedene Anweisungen enthalten, darunter:
– „noindex“: Diese Seite soll nicht in den Suchergebnissen indexiert werden.
– „nofollow“: Die Links auf dieser Seite sollen nicht von Suchmaschinen verfolgt werden.
– „noarchive“: Die Suchmaschine soll keine Cache-Version dieser Seite erstellen.
– „nosnippet“: Die Suchmaschine soll keinen Textausschnitt (Snippet) von dieser Seite in den Suchergebnissen anzeigen.
– „max-snippet:-value“: Begrenzt die maximale Länge des Snippets in den Suchergebnissen.
– „noimageindex“: Bilder auf dieser Seite sollen nicht in den Suchergebnissen angezeigt werden.
Entwickler können den X-Robots-Tag verwenden, um sicherzugehen, dass sensible Inhalte nicht in den Suchergebnissen erscheinen oder dass bestimmte Arten von Inhalten nicht indexiert werden.