上一篇文章为大家分享了（百度seo教您用robts.txt 文件控制搜索引擎蜘蛛？），这篇文章主要针对的是如何去阻挡网页蜘蛛检索你全部的，而今天江西seo小编要为大家分享下如何使用特定的标签去告知搜索引擎蜘蛛不要去检索你特定的网页内容。
同时你也可以使用相同的标签，来命令搜索引擎蜘蛛不要去抓取网页以及追踪网页链接。这是一个很好用的标签，也是你只想尝试去整个的某一个网页。在HTML程式码中，’no follow, no index’是基本的：
若要使用请将＜＞改为半形。
＜html＞
＜head＞
＜title＞…＜/title＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”＞
＜/head＞
＜/html＞
当使用标签时，有三个重点部分是需要牢记的。
1.如果他们愿意，网路机器人可以忽略标签，会忽略标签大多是不良的网路机器人，他们会扫描网路漏洞并利用它，或者是使用电子邮件收割机，让滥发邮件者抓取E-mail。
2.nofollow指令只是用于网页上的链接，如果搜索引擎蜘蛛找到其它网页的链接，并且没有使用nofollow标签，搜索引擎蜘蛛会直接到达这个网页。
3.在这里的nofollow标签，是不同于rel=”nofollow”属，你可以设定在a标签里，如：＜a href=”” rel=”nofollow”＞</a>
写给搜索引擎蜘蛛看的标签
像其它标签一样使用在HTML，他们应该被放置在HTML程式码的部分，就如同范例上。
＜META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”＞
让我们依照上面的例子再接再厉。
1.NAME属是使用”ROBOTS”。
2.CONTENT属有四种不同的参数可以设定：
逗号分开参数是允许的，但是只有某些组合是有意义的，如果没有使用标签，对搜索引擎蜘蛛的预设而言，是使用INDEX,FOLLOW的，所以你不需要去指定，还是可以取到。
＜META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”INDEX, NOFOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”＞
