Crawler

Was ist ein Crawler?

Aussprache: /ˈkrɔːlə/

Abkürzung für: Webcrawler

Definition: Ein Crawler ist ein Programm zur Durchsuchung des World Wide Webs.  Synonym werden auch die Begriffe Bot oder Spider für diese Art Programme verwendet. Suchmaschinen nutzen Crawler um neue Inhalte und Link im Web zu entdecken, die sie dann indizieren können. Einer der bekanntesten Bots ist der Googlebot.

 

Weiterführender Artikel zum Thema:

Googlebot & Crawler, so kommt die Seite in den Index

 

Nach oben scrollen