Robots.txt

Die robots.txt-Datei ist eine Textdatei auf einer Website, die Suchmaschinen-Anweisungen darüber gibt, welche Seiten der Website gecrawlt werden dürfen.

Die robots.txt-Datei befindet sich im Stammverzeichnis einer Website und enthält Anweisungen für Web-Crawler, wie z.B. Suchmaschinen-Bots, welche Seiten sie besuchen und indizieren dürfen. Sie kann verwendet werden, um bestimmte Verzeichnisse von der Indexierung auszuschließen oder um Crawling-Häufigkeiten zu steuern. Durch die Verwendung der robots.txt-Datei können Website-Betreiber die Sichtbarkeit und Indexierung ihrer Seiten in Suchmaschinen besser kontrollieren und verwalten.

A
6
7
8
9