robots.txt

Beim Auffinden einer Webseite lesen die Robots der Suchmaschinen und Webcrawler zuerst die robots.txt Datei (Robots-Exclusion-Standard-Protokoll), in der zusätzliche Informationen über die Webseite stehen und wo entschieden wird, ob die Seite überhaupt ausgelesen werden darf.

Generell wird in dieser Datei nur verboten. Bei Nichtvorhandensein der Datei, könnte die Seite ausgelesen werden.