网站优化

 找回密码
 立即注册
robots文件屏蔽搜索引擎抓取规则、为何还是会被收录?
查看: 10153|回复: 26

robots文件屏蔽搜索引擎抓取规则、为何还是会被收录?

SEO优化 发表于 2017-1-13 11:25:28 | 显示全部楼层 |阅读模式
摘要:刚接手不久一个B2B电子商务平台、由于产品详情页有两种不同形式的URL:有32位、也有16位,所以需要对URL进行统一规范;


那么是采用32位的:http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html标准(长地址);


还是采用16位:http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.csc86.com/product/79377.html(短地址)标准、当时考虑原则是两种不同形式的URL百度索引数据及两种不同形式的URL收录速度、也就是说哪URL百度索引数据多且URL收录速度快那就采用哪种URL标准;


所以在百度站长工具自定义规则,分别查看两种特征页面集合的索引量数据


16位(短地址)的URL百度索引量数据


seofuwu10428131229261.png


32位(长地址)的URL百度索引量数据


seofuwu10428131229262.png


说明:


1、32位(长地址)的URL数据存量是16位(短地址)数据存量大概4倍


2、05-18当天16位(短地址)的URL索引量数据增加83574,而32位(长地址)URL索引量数据则增加2090


3、针对URL索引量增加没有做任何人工干预


也就是说16位(短地址)URL百度索引数据多于32位URL且短URL收录速度快,所以决定采用16位(短地址)做为产品详情URL规范;


问题:05-19号针对robots文件屏蔽32位URL搜索引擎相关抓取规则


robots文件如下:


seofuwu10428131229263.png


但06-07号32位URL索引量还是出现大幅增长情况


seofuwu10428131229264.png


当然看到这个数据第一反应就是robots规则不对,所以对robots进行检查、但发现robots没有问题、屏蔽规则也检测正常;


seofuwu10428131229265.png


在06-09号对此问题进行反馈、得到反馈的结果是百度这边处理时间较长的, 所以百度处理此类问题的反应超级慢,所以建议在处理此类问题时最好使用百度站长具检测robots 并进行强制更新。


未经裕腾智工作室授权许可任何人不得复制、转载、或以其他任何方式使用裕腾智工作室的内容。裕腾智工作室保留追责权利。文章出处:裕腾智工作室  http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.ying88.net/biji_share/57.html
回复

使用道具 举报

海贼王 发表于 2021-2-22 11:54:20 | 显示全部楼层
南京白帽技术网站排名优化公司
回复 支持 反对

使用道具 举报

笑傲江湖 发表于 2021-2-28 14:03:59 | 显示全部楼层
常熟网站优化推广公司
回复 支持 反对

使用道具 举报

人艰不拆 发表于 2021-3-12 12:54:43 | 显示全部楼层
烟台网站屌丝seo优化公司
回复 支持 反对

使用道具 举报

人人影视 发表于 2021-3-15 15:59:51 | 显示全部楼层
网站优化排名公司哪家效果好
回复 支持 反对

使用道具 举报

美团 发表于 2021-3-26 21:02:13 | 显示全部楼层
青岛网站排名优化公司
回复 支持 反对

使用道具 举报

校花梦妮 发表于 2021-4-1 22:45:08 | 显示全部楼层
尧都网站排名优化公司
回复 支持 反对

使用道具 举报

优酷 发表于 2021-4-3 05:59:42 | 显示全部楼层
360搜索网站优化设计公司        www.yjlyx.cn
回复 支持 反对

使用道具 举报

google 发表于 2021-4-12 21:57:18 | 显示全部楼层
龙泉网站建设优化推广公司        www.seofuwu.cn
回复 支持 反对

使用道具 举报

萝莉 发表于 2021-4-22 21:52:23 | 显示全部楼层
山南网站优化公司        www.seourl.cn
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|

GMT+8, 2024-11-21 15:36网络网站优化公司

网站优化公司© 2006-2024 wangzhanyouhua.net Search Engine Optimization By 网站搜索引擎优化公司

快速回复 返回顶部 返回列表