eo工作者应该不陌死，robots.txt文件是每一个搜觅引擎蜘蛛到您的网站之后要探求跟访问的第一个文件，robots.txt是您对搜觅引擎制定的一个如何索引您的网站的规则。通过该文件，搜觅引擎就可以够晓得正在您的网站中哪些文件是可以被索引的，哪些文件是被拒绝索引的，我们就可以够很圆便地控制搜觅索引网站内容了。
robots.txt文件的作用： 1、屏蔽网站内的死链接。2、屏蔽搜觅引擎蜘蛛抓取站点内反复内容跟页面。3、制行搜觅引擎索引网站隐私性的内容。 因此设立建设robots.txt文件是很有必要的，网站中反复的内容、页面或者404信息过多，搜觅引擎蜘蛛就会以为该网站价值较低，从而降低对该网站的“印象分”，这就是我们经常听到的“降低权重”，这样网站的排名就不好了。 robots.txt文件需要注意的最大题目是：必须放置正在一个站点的根目录下，而且文件名必须所有小写。 robots.txt文件的根基语法只有两条，第一条是：User-agent，即搜觅引擎蜘蛛的名称；第两条是：Disallow，即要拦截的部门。 下面我们看一下撰写根基的robots.txt文件所需要晓得的一些语法跟作用。 （1），许可所有的搜觅引擎访问网站的所有部门或者设立建设一个空白的文本文档，命名为robots.txt。 User-agent:*Disallow:或者User-agent:*Allow:/ （2），禁行所有搜觅引擎访问网站的所有部门。 User-agent:*Disallow:/ （3），禁行百度索引您的网站。 User-agent:BaiduspiderDisallow:/ （4），禁行Google索引您的网站。 User-agent:GooglebotDisallow:/ （5），禁行除百度以中的一切搜觅引擎索引您的网站。 User-agent:BaiduspiderDisallow:User-agent:*Disallow:/ （6），禁行除Google以中的一切搜觅引擎索引您的网站。 User-agent:GooglebotDisallow:User-agent:*Disallow:/ （7），禁行跟许可搜觅引擎访问某个目录，如：禁行访问admin目录；许可访问images目录。 User-agent:*Disallow:/admin/Allow:/images/ （8），禁行跟许可搜觅引擎访问某个后缀，如：禁行访问admin目录下所有php文件；许可访问asp文件。 User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$ （9），禁行索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8）。 User-agent:*Disallow:/*?*转载请注明： 帝国模板 » robots.txt文件的作用跟标准写法是什么？来这里了解下！
*
回帖描述：*
链接类型：*
下载链接：
验证通过自动获取下载链接
*
描述：*
回帖描述：*
链接类型：*
阅读权限：*
下载链接：
微信客服
QQ客服
QQ群
![[php框架] Smarty基础商品教程 Smarty入门教程 Smarty框架教程 共10课](https://jy.tp.yuanmeng.life/uploads/images/20210319/f47dc487eb949895833cd962fddc6a8b.jpg)
