给本wordpress网站robots中添加百度sitemap地图

一点优化 2019年12月25日18:00:20
评论
1.2K看 1555字
广告也精彩

robots是搜索蜘蛛访问你站点时首先检测并访问的文件,我们可以通过这个文件来告诉搜索引擎那些内容可以被抓取收录,那些是不可以被收录。当然并不是所有网站的robots设置是一摸一样的,它根据不同的网站程序的不同设置的内容也会有所不同,但是如果采用的是同一建站程序那基本都是一致的。在这里主要介绍下wordpress robots协议如何设置。

给本wordpress网站robots中添加百度sitemap地图

robots协议的创建也很简单,你只需在本地新建一个记事本“.txt”文件,然后重命名为“robots.txt”,把robots协议保存到里面,最后把“robots.txt”上传到站点根目录即可。在此文章中介绍三个等级的WordPress robots协议,分别是简单、适中、严格。请根据自己需要进行选择即可。

一、最简单的配置方法:

User-agent: * Disallow:
/wp- Disallow: /?s=
Sitemap: https://www.seoqe.com/sitemap.xml
解释:“User-agent: *”指的是允许所以的搜索引擎访问;“Disallow: /wp-”是搜索引擎收录“wp-”开头的目录。“https://www.seoqe.com/sitemap.xml”指的是你的网站地图。

二、相对适中的配置方法:

User-agent: * Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

Sitemap: https://www.seoqe.com/sitemap.xml

这种写法同样允许所以搜索引擎访问抓取,而且只限制搜索引擎抓取“/wp-admin”、“/wp-content/plugins”、“/wp-content/themes”、“/wp-includes”目录,并非第一种方法直接限制“wp-”开头的目录。

三、最为严格的配置方法:

User-agent: * Disallow: /wp-*

Disallow: /*.php$ Disallow: /*.inc$

Disallow: /*.js$ Disallow: /*.css$

Disallow: /?s=

Sitemap: https://www.seoqe.com/sitemap.xml

这种方法最为严格,在禁止搜索引擎抓取“wp-”开头的目录外,还禁止抓取.php、.inc、.js、.css文件。

以上三种写法适用于所以WordPress站点,可以在上面任选一段代码保存到“robots.txt”上传到站点根目录即可。下面另外再介绍一种仅适合设置了全站伪静态的方法,也是本站所用的

User-agent: * Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

Disallow: /page/

Disallow: /category/*/page/*

Disallow: /tag/

Disallow: */trackback/

Disallow: /category/*

Sitemap: https://www.seoqe.com/sitemap.xml

解释:“Disallow: /page/”限制抓取WordPress分页;“Disallow: /category/*/page/*”限制抓取分类的分页;“Disallow: /tag/”限制抓取标签页;“Disallow: */trackback/”限制抓取Trackback內容;“Disallow: /category/*”限制抓取所有分类清单。

  • SEO话题
  • 这是我的QQ群扫一扫
  • weinxin
  • wp开发交流
  • 我的QQ交流群扫一扫
  • weinxin
wordpress搭建站中站(栏目站)教程 基础建站教程

wordpress搭建站中站(栏目站)教程

wordpress如何搭建栏目站?也就是我们所说的站中站。wordpress因为文章数据库表单只有一个,所以一般会比较卡,当然也有一些SEO站长因为站中站权重比较集中,所以使用站中站的方式做优化,还有...
修改WordPress数据库前缀完后台无法登陆教程 WP综合教程

修改WordPress数据库前缀完后台无法登陆教程

一点优化操作完上一个如何修改WordPress数据库前缀修改完之后,发现网站后台无法登陆了,百思不得其姐,然后在百度的帮助下,解决了这个问题,后续的教程请看下面。 如果你将数据库导入到运营中的服务器登...
如何修改WordPress数据库前缀 WP综合教程

如何修改WordPress数据库前缀

之前有一点优化有出一个分布式缓存的教程,但是那个分布式缓存会导致多个网站在一个服务器下面,数据库相同表前缀导致出现错误,所以这里一点优化在这边出三个WordPress修改表前缀的方法,分别是插件,安装...
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: