# robots.txt file start # Exclude Files From All Robots: User-agent: * Disallow: /admin/ Disallow: /shop/Remit.asp Disallow: /shop/Shopinfo.asp # End robots.txt file # 有#号的都是注释,方便阅读。 # User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。 # Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。