Robots.txt

Die robots.txt-Datei ist eine Textdatei auf einer Website, die Suchmaschinen-Anweisungen darüber gibt, welche Seiten der Website gecrawlt werden dürfen. Die robots.txt-Datei befindet sich im Stammverzeichnis einer Website und enthält Anweisungen für Webcrawler, wie z.B. Suchmaschinen-Bots, welche Seiten sie besuchen und indizieren dürfen. Sie kann verwendet werden, um bestimmte Verzeichnisse von der Indexierung auszuschließen oder um Crawling-Häufigkeiten zu steuern.

6
7
8
9