Robots
Ein Crawler (auch genannt: Webcrawler, Robot oder Spider) sind Applikationen, die automatisch das Internet durchforsten und Internetseiten analysieren. Crawler werden hauptsächlich von Suchmaschinenbetreibern eingesetzt. Crawler bewegen sich mittels Verfolgung von Hyperlinks durch das Internet. Dabei werden alle aufgefundenen Adressen indexiert (gespeichert), theoretisch können hierdurch sämtliche erreichbare Seiten des Internets den Suchmaschinen hinzugefügt werden. Aufgrund der fortgeschrittenen Technologie der Suchmaschinenbetreiber filtert der Crawler bereits beim Besuch der Internetseite unrelevante Inhalte aus.