User-agent: *
Allow: /

# 允许主要搜索引擎
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Baiduspider
Allow: /

# 禁止访问敏感目录
Disallow: /admin/
Disallow: /private/
Disallow: /.git/
Disallow: /backup/
Disallow: /config/
Disallow: /logs/

# 禁止抓取临时文件
Disallow: /*.tmp
Disallow: /*.log
Disallow: /*.bak

# 站点地图位置
Sitemap: https://daixie.it.com/sitemap.xml

# 爬取延迟（秒）
Crawl-delay: 1