Die Robots.txt ist eine kleine Textdatei, die den Suchmaschinenbots und Crawlern von Internetdiensten sagt, wie ein “Bot” sich auf der Website zu verhalten hat. Sie steuert also das Crawl-Verhalten. Man kann mit ihr bestimmte Verzeichnisse oder Dateien sperren und den Bot hinweise geben, wo er zum Beispiel eine XML-Sitemap findet. Wie finde ich die Robots.txt? […]