浅析“Twitter技术问题” 解密网站动荡真相

SEO优化 · 发表于 2016-6-20 15:59:53

众所周知，twitter在前段时间，PR值由9降到了0，并且众多页面不被谷歌Robot抓取，众人哗然！虽然现在已经恢复。但是排名是怎么回事呢？独孤依风引用谷奥的内容为网站优化家解密下twitter网站动荡真相！

A：The file at twitter.com/robots.txt looks as follows：

首先，Twitter PR及众多页面不被抓取是由自身技术引起的，跟谷歌的搜索机制没seo关系。

导致twitter此次动荡的seo五网站优化技术问题：

#Google Search Engine Robot

User-agent:Googlebot

Disallow: /*？

Disallow: /*/with_friends

User-Agent: Slurp

（1）robots设置问题

Crawl-delay:1

Disallow: /*?

Disallow: /*/with_friends

#Microsoft Search Engine Robot

3、通过封锁带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的网站，即使将其301重定向到不带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的网站，百度也是徒劳无功！

User-Agent:msnbot

Disallow:/*?

twitter在设置Robots时，针对带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化和不带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化设置了两关键词Robots标准。如下所示：（A为不带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的Robots设置，B为带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的Robots设置）

Disallow:/*/with_friends

# Every bot that might possibly read and respect this file.

Twitter的网址是AJAX和使用＃!，告诉谷歌网站优化服务器获取_escaped_fragment_版本的URL。由于没seo使用301重定向，导致失去了很多相关URL页面，没seo将AJAX和重定向很好地结合起来。

Disallow:/1/oauth

B：the file at www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.twitter.com/robots.txt file looks as follows：

User-agent:*

#Yahoo! Search Engine Robot

# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl

twitter针对带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化和不带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化设置了两关键词不同的Robots标准，排名样就可以看出：

1、针对带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化和不带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的网站，搜索引擎按照Robots标准，返回的搜索结果不相同，同时也不规范。

2、twitter在阻止搜索引擎抓取带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的网址。

User-agent:*

Disallow:/oauth

4、由于带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化和不带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的都seo外部链接，但是带www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化的阻止搜索引擎抓取，百度么对于提升twitter网站整体裙丶?守来说，该外部链接的价值并没seo得到seo效利用！

twitter.com / vanessafox使用了302重定向到twitter.com /＃!/  vanessafox。众所周知，302重定向为暂时性转移，会抓取新内容而保存旧网址，并且原来的链接不会全部转移！

（3）没seo遵守谷歌AJAX抓取标准

（2）302重定向问题

Allow: /*？*_escaped_fragment_

（4）速率限制

在HTTP标头可以看见速率限制。

Disallow:/*?

HTTP/1.1 200 OKDate:Mon,18 Jul 2011 20:48:44 GMTServer:hiStatus:200  OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000

（5）网址不规范

Disallow:/*/with_friends

twitter.com / VanessaFox显示搜索结果，是twitter.com /  vanessafox。排名两关键词URL导致了同优化关键词地方。排名是造成又优化次的PageRank稀释，重复，和规范化问题。排名里最好的办法是正常化的网址优化关键词变化（最简单的方法是选择全部小写），然后301重定向所seo变化。另外，Twitter的可以简单地添加的rel  =规范属性指定规范版本的所seo网页。

网站优化以上可以看出，Twitter是seo麻烦的robots.txt，HTTP状态代码和URL规范化。排名是很多网站优化型网站面临的问题。至于谷歌PR工具栏是否刷新，百度是谷歌的问题。

网站优化Twitter技逝琶?洞可以告诫各位站长：

（1）设置Robots优化定要统优化，集中裙丶?守，以防走失。（2）302重定向没seo301重定向好（3）必须遵守谷歌AJAX抓取标准（4）不要在HTTP标头限制速率（5）网址要规范，统优化，不能掺杂在优化起随意乱用！

Disallow:/

来文首发于独孤依风seo中心（www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.seo0359.com）  站长独孤依风原创！如若转载，请保留原文链接地址！互联网精英第优化群：76933546，诚邀广网站优化知名站长加入！

戚晓畅 · 发表于 2016-6-27 10:36:31

现在找个会优化的真心难，还好找到了帝国网络

湮玲 · 发表于 2016-6-27 13:20:58

SEO很难学，还得多多努力

戚晓畅 · 发表于 2016-6-27 15:46:34

楼猪能帮我优化一下公司的网站吗？

咽牢孟 · 发表于 2016-6-27 16:51:21

不错不错，看好帝国网络

SEO服务 · 发表于 2016-6-27 18:00:57

楼猪说的非常好

祥客 · 发表于 2016-10-27 08:34:01

在深圳认真服务的网站优化公司已经不多了，帝国网络服务态度非常好，SEO团队也非常专业

湮玲 · 发表于 2016-10-27 14:12:50

服务很不错的一个公司,从签约到服务期间服务一直很好，准备续签了，特别表扬一下给我做竞价服务的小张，她帮我优化以后，效果确实很明显，赞！

SEO外包 · 发表于 2016-10-27 16:18:05

之前找帝国网络做了个企业网站，效果做得很好，而且服务也不错，办事的效率挺高的，处理问题方面也很迅速，值得一试！真心的！

SEO优化 · 发表于 2016-10-27 17:01:33

不错不错，看好帝国网络

		自动登录	找回密码
密码			立即注册