Ein Webcrawler ist ein automatisiertes Skript oder Programm, das das World Wide Web systematisch durchsucht, um Informationen zu sammeln.
Website Crawling bezeichnet den Vorgang, bei dem ein Webcrawler das Internet durchforstet. Ein Webcrawler ist eine computergestützte Anwendung, die automatisch das Internet durchsucht. Dabei folgt sie Hyperlinks, analysiert und speichert die Inhalte der besuchten Seiten. Der Zweck eines Webcrawlers besteht darin, das Internet zu indexieren, um es durchsuchbar zu machen und spezifische Informationen zu sammeln. Webcrawler arbeiten dabei unabhängig von einer bestimmten Suchmaschine oder Anwendung. Sie durchstreifen das Internet, um relevante Inhalte zu finden und zu kategorisieren, die für Suchmaschinenoptimierung, Preisvergleichsseiten, Nachrichtenaggregation und andere Anwendungen von Interesse sind. Synonyme für Webcrawler sind Spider, Google Bot, Crawler und Search Engine Spider.