网站屏蔽或允许指定搜索引擎访蜘蛛的访问,robots.txt 禁止、允许、指定蜘蛛访问的配置

查看linux系统操作系统版本信息、cup相关信息、内存、磁盘命令有 uname -a top free df 等

spider常见的SEO搜索引擎蜘蛛有 Baiduspider、Googlebot、bingbot、Bytespider、YisouSpider 等

linux cat 命令主要用来查看文件内容，创建文件，文件合并，追加文件内容等功能。

linux tail 命令可用于查看文件的内容，有一个常用的参数 -f 常用于查阅正在改变的日志文件。 tail -f filename 会把 filename 文件里的最尾部的内容显示在屏幕上，并且不断刷新，只要 filename 更新就可以看到最新的文件内容。