Crawler (auch als Spider oder Searchbots bekannt) sind Programme oder Plug-Ins, die das Internet durchsuchen und Webseiten analysieren. Crawler unterstützen Suchmaschinen dabei, Inhalte des WWW zu finden bzw. auszuwerten.
Ein Crawler erkennt aus der Datei robots.txt, welche Bereiche einer Webseite nach Inhalten durchsucht werden und somit in den Suchergebnissen angezeigt werden dürfen.
Crawler finden jedoch auch innerhalb von Content-Management-Systemen Verwendung. Dort helfen sie dabei, seiteninterne Suchfunktionen zu unterstützen und Seiteninhalte für einen schnellen Abruf automatisiert in den Cache zu speichern.