360的robots协议支持

一点优化 2019年3月20日23:28:02
评论
2.4K看 1307字
广告也精彩

传说360的前身是一个很霸道的搜索引擎,好像是数字域名,无视robots协议公约,直接抓爬;也听说当时收到了一定惩罚,当然,一点优化站长也不是很清楚是怎么回事,也是以前听人说的,站长本人也忘记什么时候的事了;不过现在的360搜索做的还是很规范的,在360原文中说:为了实现对网站更好的收录,360搜索引擎公布360搜索对Robots协议的支持和扩展说明,以便站长们了解,实现对网站内容更高效、智能的收录。下面让我们来看看官方内容吧。


360的robots协议支持

360的robots协议支持

360搜索对Robots协议的支持文章目录

 

360搜索引擎支持的robots主要命令

360搜索对Robots协议的扩展

对Robots协议的善意使用


360搜索支持Robots协议的主要命令,以下为具体说明:

1. user-agent

360搜索各产品的爬虫user-agent为:

- 网页搜索 360Spider

- 图片搜索 360Spider-Image

- 视频搜索 360Spider-Video

2. Allow

站长可通过Allow命令指定建议收录的文件、目录 。

3. Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。


360搜索对Robots协议的扩展

360搜索根据站长们的反馈,会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率,减少站长们维护Robots协议文件的技术成本。

360搜索首个扩展命令是:indexpage,站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法,智能调整爬虫抓取频率,实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml


对Robots协议的善意使用

Robots协议是一个搜索引擎和网站之间的善意协议,我们鼓励站长们也以善意的方式使用这一协议,尽量提供准确的信息,除非有充足理由,不使用Robots协议屏蔽某些特定搜索引擎爬虫。

360搜索愿和站长们一起,共建一个更健康、公平、透明的搜索引擎生态系统。

  • SEO话题
  • 这是我的QQ群扫一扫
  • weinxin
  • wp开发交流
  • 我的QQ交流群扫一扫
  • weinxin
360搜索引擎八戒算法 SEO算法

360搜索引擎八戒算法

360搜索八戒算法上线! 360搜索引擎八戒算法 亲爱的站长朋友们: 360搜索将于2017年12月初推出“八戒算法”。该算法旨在控制站群、克隆站、虚假信息站等一系列以伤害他人网站利益、骗取流量为目的...
360搜索引擎哪吒算法 SEO算法

360搜索引擎哪吒算法

360搜索引擎“哪吒算法”上线 严厉打击恶劣seo骗取流量行为 360搜索引擎哪吒算法 亲爱的站长朋友们: 通过数据监控和用户反馈,我们发现一些大型站点,也存在利用“黑帽SEO”手法恶意骗取流量的行为...
360搜索引擎后羿算法 SEO算法

360搜索引擎后羿算法

360搜索引擎后羿算法分为1.0和2.0,主要是针对采集站点进行的一个打击算法;为了给辛辛苦苦原创的站长做的一次算法整改;最新的文章将会给予优先的一个排名优待;下面我们来看一下360公布的原文吧。 3...
360搜索引擎悟空算法 SEO算法

360搜索引擎悟空算法

360搜索引擎悟空算法是2016年12月份出的,分为1.0和2.0;是360天庭算法中最早的两条算法;其中的主要内容是为了判别被黑的网站,并帮助站长进行处理的一项算法,与其说是算法,不如说是一项免费网...
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: