公司头条

推广运维推广运维
关注: 0贴子:3 排名: 2 
0 回复贴,68 次查看
<返回列表

discuz禁止搜索引擎收录动态页面robots.txt写法

165

主题

137

帖子

636

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
636
发表于 2018-9-22 17:37:22
robots.txt写法有很多方法,只要合理都是可以的,面对discuz,如果开启了伪静态功能,并且收录较多的情况下可以屏蔽论坛的动态地址收录,编辑网站根目录中的robots.txt文件添加以下内容,可能很多人都遇到了DISCUZ经常会收录动态页面,本站也遇到了这种情况,特此想了很多办法解决,网上很多人用这个种方法,都可以实现:屏蔽Discuz! X所有动态地址收录,但是不靠谱。
方法一:
  1. User-agent: *
  2. Disallow: /api/
  3. Disallow: /source/
  4. Disallow: /install/
  5. Disallow: /template/
  6. Disallow: /config/
  7. Disallow: /uc_client/
  8. Disallow: /uc_server/
  9. Disallow: /static/
  10. Disallow: /admin.php
  11. Disallow: /search.php
  12. Disallow: /member.php
  13. Disallow: /api.php
  14. Disallow: /misc.php
  15. Disallow: /connect.php
  16. Disallow: /forum.php?mod=redirect*
  17. Disallow: /forum.php?mod=post*
  18. Disallow: /home.php?mod=spacecp*
  19. Disallow: /userapp.php?mod=app&*
  20. Disallow: /?mod=misc
  21. Disallow: /?mod=attachment
  22. Disallow: /mobile=yes
复制代码


方法二:
  1. User-agent: *
  2. Disallow: /*?*
复制代码
方法三:
  1. User-agent: *
  2. Disallow: /member.php
  3. Disallow: /api.php
  4. Disallow: /misc.php
  5. Disallow: /forum.php?mod=viewthread*
  6. Disallow: /forum.php?mod=forumdisplay*
  7. Disallow: /forum.php?mod=viewthread&tid*
  8. Disallow: /portal.php?fromuid=*
  9. Disallow: /home.php?mod=space&uid=*
  10. Disallow: /portal.php?mod=view&aid=*
  11. Disallow: /?category*
  12. Disallow: /forum.php*
  13. Disallow: /mobile=yes
复制代码

最终本站公司头条合理使用了如下方法,最终使用了 方法3,希望给大家一个参考。
回复

使用道具 举报

快速回帖 使用高级回帖 (可批量传图、还有插入视频等功能哦!)

您需要登录后才可以回帖 登录 | 立即注册

  • 发布信息免费
  • 发贴彩色标题
  • 签到额外经验值

如何快速提升等级,查看[积分规则]

活动中心

查看更多>>
最新热版
会员排行
©2001-2018 公司头条 https://www.ewxf.com中国互联网举报中心沪ICP备14046342号-13 本站内容均来自网络转载或网友提供,如有侵权请及时联系我们,Cxy@izhiben.CN 公安网备|网站地图 企业map 产品map 新闻map 其他map
Archiver手机版小黑屋广告合作QQ:864633495
发帖 客服 微信 手机版 举报