用实例告诉你怎么写robots.txt文件

1、不任何搜索引擎收录任务目录和文件：（这样用法一般在建站初期，很多文件在进行修改阶段。）

3、不想让某个搜索引擎的访问你的网站，这样也不会被那个搜索引擎收录啦（针对某个搜索引擎，用法可以根据你自己的实际情况设置）　

5、设置网站的某个目录对搜索引擎的勃谧锵疙访问做了限制，即搜索引擎不会访问这三个目录。（平时使用的最多，一般设置参数文件夹，管理文件夹等）　亟冁雇乏需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。