如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录

robots文件,一个说难不难,说易嘛,真要用到特殊情况的时候也不容易,一个让SEO又爱又恨的东西。比较最近提交robots文件,既不想让蜘蛛抓取我的指定目录,又不想被别人通过robots文件看到我的目录。常见的robots文件无非也就随便allow,disallow一下,当然今天用的这个方法也是巧妙的disallow了一下。不多说,直接上栗子:

User-agent: *
Disallow: /*admi*
Disallow: /*dat*
Disallow: /*inclu*
Disallow: /*instal*
Disallow: /*logrepor*
Disallow: /plus
Disallow: /style
Disallow: /*templet*

这里巧妙的使用了号,Disallow: /admi,意思是包含“admi”的 目录或域名 都不能被抓取,而admi*,可以是admin,admin123,admin444,admin_2baa … 可以是无数的可能,所以几乎没人猜得出来,也就相当于禁止别人看到你的目录了,从而起到安全作用。(robots文件参考:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28
如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录

广告
© 版权声明
THE END
喜欢就支持一下吧
点赞0赞赏
分享
评论 共4条
    • UP木木的头像_UP木木
    • 火牛视频0
      要用到特殊情况的时候也不容易。
      9月3日回复
    • UP木木的头像_UP木木
    • YangOne0
      顶多就禁用后台吧。
      3月17日回复
    • UP木木的头像_UP木木
    • 久伴0
      路过来看看哈
      3月16日回复
    • UP木木的头像_UP木木
    • 淘宝内部优惠0
      学习了,马上就回去改robots
      3月16日回复