wordpress robot设置

2019-02-1516:20:51 评论 503

User-agent: *表示允许全体搜索引擎蜘蛛访问

User-agent:Baiduspider 表示允许百度搜索引擎蜘蛛访问

Disallow: /abc 表示禁止访问收录abc.文件下的所有内容

Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件,不限制abc.php、abc.html文件。

插件、模板、js文件这些是网站的后台程序代码,也可以屏蔽

Disallow: /wp-content/plugins/ 限制插件文件

Disallow: /wp-content/themes/ 限制模板文件

Disallow: /wp-includes/ 限制js文件

Disallow: /? 限制动态页面

Allow规则同Disallow

下面是wordpress博客robot通用设置方法:

/---------分割线--------/

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: //comment-page-

Disallow: /?replytocom=

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: //?s=\

Disallow: /?

Disallow:/tag/

Disallow: /attachment/

Disallow: /search.html

Disallow:/404.htm

Sitemap: 你的域名/sitemap.xml

/---------分割线--------/

其中sitemap.xml是你的网站的网站地图文件。

sitemap.xml的创建是为了更有利于搜索引擎的的抓取策略,从而提高工作效率。

Sitemap.html格式的网站地图主要用来方便用户的浏览使用,并不能起到 XML Sitemap 所起的作用。

提示:

良好的robort.txt协议可以指导搜索引擎抓取方向,节省“蜘蛛”抓取时间,所以无 形中提升了“蜘蛛”的工作效率,也就提高了页面被抓取的可能性了。

wordpress自定义链接伪静态设置:/%post_id%.html

  • 版权声明: 发表于 2019-02-1516:20:51
  • 转载注明:https://www.wanqiandu.com/123.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: