To avoid undesirable content in the search indexes, webmasters can instruct spiders not to crawl certain files or directories through the standard robots.txt file in the root directory of the domain.
Da bi se izbegao neželjeni sadržaj u indeksu pretrage, webmasteri mogu da nalože paukovima da ne obilaze određene fajlove ili direktorijume pomoću standardnog robots.txt fajla u glavnom direktorijumu domena.