网站使用cdn后影响蜘蛛抓取怎么办?网站使用cdn后开启搜索引擎自动回源

2022-06-21 2361阅读 0评论

友跟我说,担心使用了和我同款的95盾cdn之后会影响百度蜘蛛抓取,其实你完全不毕担心这个的,如果你就是很担心的话,那么我推荐你可以看看网站使用cdn后开启搜索引擎自动回源,这样当蜘蛛抓取你的网站的时候,就直接绕过cdn抓你的源站,就不会出现什么cdn影响蜘蛛抓取了。

理论上来讲,使用了cdn并不会影响百度蜘蛛抓取,根据百度官方说的,百度的蜘蛛抓取的时候就很正常的用户访问一样,用户访问是什么样子他抓取的时候就是什么样子,并且目前95盾使用的cdnfly系统已经默认把蜘蛛ip段设置成白名单,就是说他不会拦截蜘蛛IP,但是依旧是有很多网友有这种顾虑,那么咱们就设置上蜘蛛自动回源,消除这种顾虑。

这里那我比较建议使用国内服务器的用户开启蜘蛛自动回源,如果是使用国外服务器的话,还是别开启了,使用国外服务器配合cdn的话速度可以大大提升,但是如果你直接设置回源,速度可能就会很慢,网站的速度对于蜘蛛抓取影响还是很大的。

开启蜘蛛自动回源方法,如果你是腾讯云,百度智能云cdn,那么在你的cdn上面都会有网站使用开启搜索引擎自动回源功能,你可以找一下,直接开启就行了,但是像现在我在用的这个95盾的cdnfly系统,没有这个功能,那么我们就通过dns处单独设置一个解析,将百度线路解析到源站ip,这样百度抓取的时候就会直接抓取源站。

进入dns解析设置的地方,我这里用的是阿里云dns,我就阿里云dns来示范

网站使用cdn后影响蜘蛛抓取怎么办?网站使用cdn后开启搜索引擎自动回源,0NI65MMQ[EQ[)_G33DTX1JY.png,网,网站,系统,服务器,站长,用户,第1张


        主机记录填和你网站前缀一样的,比如我的网站是xxkblog.cn,那么我就直接填@,如果我的网站是www.xxkblog.cn,那么我就直接填www,然后这个解析线路这边选择百度线路。


网站使用cdn后影响蜘蛛抓取怎么办?网站使用cdn后开启搜索引擎自动回源,ISFWP31E70DFYZAUQ0DV872.png,网,网站,系统,服务器,站长,用户,第2张


       然后下面这个解析IP直接填源站ip,这里一定要填源站ip,然后点击确定,等待一段时间,一般等待个一两个小时,等到完全解析成功,然后就设置好蜘蛛ip自动回源了。

最后一步去百度站长平台里面更新你的ip


网站使用cdn后影响蜘蛛抓取怎么办?网站使用cdn后开启搜索引擎自动回源,K%~600T%[H5]5G(``LUB$SW.png,网,网站,系统,服务器,站长,用户,第3张


          

        点击抓取诊断,然后诊断一下,然后点进去


网站使用cdn后影响蜘蛛抓取怎么办?网站使用cdn后开启搜索引擎自动回源,{X7NYSI~U]JQ9U0GB@Z)P@B.png,网,网站,系统,服务器,站长,用户,第4张

    

        然后这里显示的IP可能还是你的cdn的ip,这个很正常,点击一下报错,一般咱们刚解析上的时候百度站长平台更新不来,然后你就点击报错,过一段时间再次诊断,如果依旧不是源站ip就继续点击报错,这个百度站长平台更新的有点慢,我上次换服务器这个IP更新了两天才成功更新。

网站使用cdn后开启搜索引擎自动回源方法就结束了,其实关于使用cdn会不会影响百度蜘蛛抓取很有争议,有的人说影响,还有的人说不影响,如果大家有顾虑的话,建议还是直接设置抓取回源。


版权声明
  本站致力于为模板爱好者提供国内外插件开发技术和模板共享,着力为用户提供优资资源。
  本站提供的所有下载文件均为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。
  我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,请编辑邮件并加以说明发送到站长邮箱。
  站长会进行审查之后,情况属实的会在三个工作日内为您删除。

发表评论

快捷回复: 表情:
评论列表 (暂无评论,2361人围观)

还没有评论,来说两句吧...

取消
微信二维码
微信二维码
支付宝二维码