robots.txt

Die robots.txt-Datei ist eine Textdatei im Stammverzeichnis einer Website. Sie enthält Anweisungen für Webcrawler und Suchmaschinen, welche Seiten gecrawlt oder ausgeschlossen werden sollen. Mit dieser Datei lässt sich steuern, welche Bereiche einer Website indexiert werden dürfen und wie häufig Suchmaschinen sie besuchen.

6
7
8
9

Jetzt Newsletter abonnieren und nichts mehr verpassen.

Erhalten Sie regelmäßig Tipps, Trends und Einblicke rund um Marketing, Branding und unsere aktuellen Projekte.
Nach der Registrierung erhalten Sie von uns eine E-Mail mit einem Bestätigungslink. Erst mit Anklicken dieses Links ist Ihre Anmeldung abgeschlossen.
Sie können Ihre Einwilligung (zum Erhalt von Informationen per E-Mail) jederzeit mit Wirkung für die Zukunft in jedem Newsletter widerrufen.