11
月
2022
网站屏蔽或允许指定搜索引擎访蜘蛛的访问,robots.txt 禁止、允许、指定蜘蛛访问的配置
1.禁止所有搜索引擎访问
User-agent: *
Disallow: /
2.允许所有搜索引擎访问
User-agent:*
Allow:/
3.禁止部分蜘蛛访问,允许部分蜘蛛访问
#屏蔽蜘蛛
User-agent: MJ12bot
#禁止抓取所有目录
Disallow: /
#允许所有蜘蛛访问 * 或者指定 Baiduspider
User-agent: *
#禁止抓取目录
Disallow:/static/
Disallow:/image/
Disallow:/js/
Disallow:/css/
#查看蜘蛛日志命令
cat www.xxx.com.log | grep spider