偶然发现zblog php模版里有个的robots标签,<meta name="robots" content="index,follow"/>
百度了一下。 这卵东东是告诉搜索引擎该怎么索引此网页的,content中的值决定允许抓取的类型,必须同时包含两个值:是否允许索引(index)和是否跟踪链接(follow)
共有4个参数可选,组成4个组合:
index,follow:允许抓取本页,允许跟踪链接。
index,nofollow:允许抓取本页,但禁止跟踪链接。
noindex,follow:禁止抓取本页,但允许跟踪链接。
noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。
以上1和4还有另一种写法:
<meta name="robots" content="all" />
index,follow可以写成all,如:noindex,nofollow可以写成none,如:
<meta name="robots" content="none" />
需要注意的是,robots Meta标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取。所以,尽可能的使用robots.txt文件来限制抓取。
发表评论