User-agent: * Allow: / Sitemap: https://www.tihai.net/sitemap.xml # 不允许爬虫访问的目录或文件 Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/