同时还会创建网站的robotsTXT文件，将以下代码写入该文件1 Useragent *2 Disallow 这个代码的作用是阻止网络爬虫对你的网页进行索引但是还取决于搜索引擎是否接受这个指令所以，虽然大多数搜索引擎会尊重这个请求。

1通过 robotstxt 文件屏蔽 可以说 robotstxt 文件是最重要的一种渠道能和搜索引擎建立直接对话，给出以下建议Useragent Baiduspider Disallow Useragent Googlebot Disallow Useragent Googlebot。

可使用robots协议建立robotstxt 文件，上传至网站根目录屏蔽所有搜索引擎爬取网站的语法UseragentDisallow 允许所有搜索引擎爬取网站所有内容 UseragentDisallow只禁止百度抓取你网站的内容 Useragent。

4然后找到“建议搜索引擎不索引本站点”前面的框框，然后勾选这个框框，然后点击“保存更改”即可 二上传robots文件的方式 1先在本地创建一个robots文件robotstxt 2然后在robots文件里面写入静止搜索引擎抓取的代码 3。

1被robotstxt文件阻止 可以说robotstxt文件是最重要的渠道可以和搜索引擎建立直接对话，给出以下建议用户代理Baiduspider 不允许 用户代理Googlebot 不允许 用户代理谷歌机器人手机 不允许 用户代理谷歌机。

一Useragenet用来定义搜索引擎写法如Useragent*或者搜索引擎的蜘蛛的名字二Disallow 是禁止语法，用来定义禁止蜘蛛爬取的页面或者目录如Disallow文件夹目录 或者是 Disallow文件夹名称。

robots文件的写法新建一个TXT文档，命名为robots，双击打开，输入以下内容保存Useragent Baiduspider Disallow 扩展Baiduspider是指百度蜘蛛，不让百度抓取，如果是不希望所有的搜索引擎比如还有360，搜狗，谷歌等。

可以将该内容添加nofollow标签，格式如下内容。

Useragent * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow admin 这里定义是禁止爬寻admin目录下面的目录 Disallow require 这里定义是禁止爬寻require目录下面的目录 Disallow ABC 这里定义是禁止。

五设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下UseragentDisallow *htm 说明其中“htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件六充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的。

Disallowyang 补充说明你是针对百度还是所有搜索引擎上面是针对所有搜索引擎禁止抓取yang目录如果只针对百度，那么就把Useragent*改为Useragentspider另外据说360搜索违反robots协议，不知真假，如果yang目录。