Was ist ein Crawler? Aussprache: /ˈkrɔːlə/ Abkürzung für: Webcrawler Definition: Ein Crawler ist ein Programm zur Durchsuchung des World Wide Webs.  Synonym werden auch die Begriffe Bot oder Spider für diese Art Programme verwendet. Suchmaschinen nutzen Crawler um neue Inhalte und Link im Web zu entdecken, die sie dann indizieren können. Einer der bekanntesten Bots ist der Googlebot. […]