.

protecter

Universal Analytics

CDN需要设置回源么?我看未必

很多人设置了CDN回源,这样可以让一些蜘蛛直接回源站点抓取数据。这样做的好处是:可以保障网站内容对蜘蛛的稳定性,便于抓取到数据。







但是这样做也有坏处:
  1. 如果服务器不是很好、网站内容设置不太好,会拖慢蜘蛛抓取所用的时间;
  2. 到底对哪些蜘蛛回源?这个并不是公开的数据,而是各个CDN公司内部设置的机制,而有些假冒蜘蛛的ip可能会直接找到网站服务器的真实地址,进行各种攻击活动:因为毕竟是回源了的,所以各种404、403、5xx都会在真实服务器上发生,给自己的主机服务器带来风险和不小的负担;
  3. 蜘蛛抓取主要是看你的网址上的网页是否打得开、开得快,链接内容是否稳定,是否影响抓取,如果这些都没问题,回源和不回源,个人认为区别不大。

不回源的好处是:把部分负担和风险抛给了CDN服务器,也同时缩短了抓取时间,如果自己主机没有做gzip压缩的话,CDN帮你把主页压缩了,蜘蛛抓取速度提升了一大截。

---

个人愚见,欢迎探讨。


相关博文:

  • 腾讯云CDN加速,【中间源配置】开启后会降低命中率不知道使用腾讯云CDN加速的朋友是否注意到了这点,即打开中间源选项后,缓存的命中率会下降。本来中间源是个好东西,如腾讯云CDN官方所说:中间源是位于业务服务器(即源站)和 CDN 节点(海外 CDN 用户则为海外 CDN 节点)的一个中间层的回源服务器。当用户发起请求时,请求会先到达 CDN 边缘节点,若节点无所需资源,则会向中间源发起资源请求,若仍未在中间源命中,中间源会向源站发起请求。。。。用户请求到达各边缘节点,若边缘节点未命中资源,则会回… 更多阅读
  • 这两个设置,可以显著提高CDN命中率在定义http 头部属性时,下面这两个设置可以显著提高CDN的命中率。 第一个设置:将 Cache-Control 中的 max-age 设置的时间长一点,增加 public 值,例如改为 Cache-Control: public, max-age=64000 HTTP头部信息当然,如果你对cookie,尤其是对涉及到登录、注册的cookie比较依赖,应慎重做上面的变更,因为这样的更改可能会把一些信息缓存到CDN服务器上面,… 更多阅读
  • CDN需要设置回源么?我看未必很多人设置了CDN回源,这样可以让一些蜘蛛直接回源站点抓取数据。这样做的好处是:可以保障网站内容对蜘蛛的稳定性,便于抓取到数据。但是这样做也有坏处:如果服务器不是很好、网站内容设置不太好,会拖慢蜘蛛抓取所用的时间;到底对哪些蜘蛛回源?这个并不是公开的数据,而是各个CDN公司内部设置的机制,而有些假冒蜘蛛的ip可能会直接找到网站服务器的真实地址,进行各种攻击活动:因为毕竟是回源了的,所以各种404、403、5xx都会在真实服务器上发生,给自己的主机… 更多阅读

0 评论 :

发表评论