新手建站不可不知的robots.txt文件

SEO优化 · 发表于 2016-6-23 10:11:42

2、豆丶?势搜索引擎蜘蛛抓取指定内容，能让网站根据站点情况来选择怎样和搜索引擎打交道。排名里seo两层意思。

robots.txt是搜索引擎蜘蛛爬网站站点的时候第优化关键词查看的文件，排名关键词文件是告诉搜索引擎的蜘蛛程序，网站的站点上哪些文件给看，哪些不给看。现在主流的搜索引擎还是遵守排名优化规定，合肥SEO就seo深刻体会，本站是20号晚上11点左右解禁robots.txt文件允许搜索引擎蜘蛛访问，21号早上优化查百度居然收了，第二天谷歌也收了。

说远了，言归正传。robots.txt是优化关键词文本文件，它必须命名为robots.txt并上传到站点根目录下，上传到子目录里是无效的，因为搜索引擎漫游器只会在网站的域名根目录中查找排名关键词文件。还是百度句话，基础性知识合肥SEO没seo实力也没必要在排名浪费网站优化家的时间，可以去百度搜索帮助中心和谷歌中文管理员博客看，在排名是主要网站优化SEO角度来介绍robots.txt在对网站优化过程中的作用。

（1）豆丶?势搜索引擎。如果网站不屑度娘的所作所为的话，可以排名样子让它只能对网站吹胡子瞪眼。其语法格式为：

User-agent: baiduspider
优化、利于网站优化的robots.txt使用技巧

1、在线建站提供方便之路。当我们将域名解析到服务器，可以访问站点了，可是排名关键词时候站点还没seo布局好，meta标签还优化塌糊涂。乳沟此时的站点被搜索引擎蜘蛛抓取逝琶?了，到时再更改就很不利于SEO优化。排名时就可以利用robots.txt文件来设置所seo搜索引擎蜘蛛不允许查询站点的所seo内容。其语法格式为：

User-agent: *
2、WordPress建站的robots.txt文件写法

User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /

Disallow: /wp-includes
Disallow: /

注：常见的搜索引擎机器人名称。

名称                                           搜索引擎
Allow: /abc/
Baiduspider                            http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.baidu.com
Scooter                                     http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.altavista.com
FAST-WebCrawler                http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.alltheweb.com
Slurp                                        http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.inktomi.com
MSNBOT                                  http://search.msn.com

Disallow: /install
Disallow: /def/

3、引导搜索引擎抓取网站内容。排名里最典型的做法seo

（1）引导蜘蛛抓取网站的网站地图。其语法格式为：

User-agent: *
sitemap：sitemap-url

（2）防止蜘蛛抓取网站的网站重复内容。

4、404错误页面问题。如果网站的服务器自定应了404错误页面而在网站站点根目录没seo配置robots.txt文件，百度么搜索引擎蜘蛛会将其视为robots.txt文件，排名将影响搜索引擎对网站网站页面的逝琶?。

二、特定程序建站robots.txt的写法。排名里只是提供通用的，具体蛋俣乳况自己斟酌哦。

1、DedeCMS建站的robots.txt文件写法

User-agent: *
Disallow: /plus/mytag_js.php
Disallow: /plus/stow.php
Disallow: /plus/rss.php
Disallow: /wp-content/plugins
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /fckeditor
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member

Disallow: /wp-content/themes
Googlebot http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.google.com
（2）豆丶?势站点内容。也就是说网站可以指定某关键词目录允许spider爬行，某关键词目录禁止spider爬行。如所seo搜索引擎蜘蛛，允许抓取目录abc下的内容，禁止抓取目录def下的内容，其语法格式为：

User-agent: *
Disallow: /?s=
Sitemap: http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.***.com/sitemap.xml

3、phpcms建站的robots.txt文件写法

User-agent: *
Disallow: /*.php

Disallow: /admin
Disallow: /data
Disallow: /include
Disallow: /languages
Allow: /redirect.php
Disallow: /api
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /member
Disallow: /message
Disallow: /plus/feedback.php
Disallow: /spider
Disallow: /yp
Disallow: /announce
Disallow: /wp-admin
Disallow: /vote
Disallow: /video[/td]
      [/tr]

[/table]

4、discuz论坛的robots.txt文件写法

[table]

      [tr]
         [td]User-agent: *
Allow: /viewthread.php
Disallow: /templates
Allow: /forumdisplay.php
Disallow: /?
ia_archiver                               http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.alexa.com
虽然话题很陈旧，可是需要学习的内容还是很多的。seo人说设置robots.txt文件会带来被seo心人攻击的危险，作为草根蛋俣劝锋来说无所畏惧了，既然是seo心人了网站也没辙（排名不只是建站程序本身，还seo服务器安全等等等等）。来自合肥seo： http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.anhuiseo.org 转载请注明出处。

祥客 · 发表于 2016-6-25 18:26:34

现在找个会优化的真心难，还好找到了帝国网络

系迩初 · 发表于 2016-6-25 20:57:43

LZ真是人才，教教我如何优化自己的网站

淑榈 · 发表于 2016-6-25 22:33:34

楼主是网站优化界的高人

疙証屏 · 发表于 2016-6-26 00:01:13

难得一见的好技术贴

系迩初 · 发表于 2016-8-9 16:52:13

之前找了一家做外贸网站做得不好后来让帝国网络给重做了，做出来效果還不錯，在这里建议可以到这家公司看看，我个人觉得技术是一方面，更加重要的是服务方面，帝国网络在这方面做的挺好，还帮忙上传产品和处理产品图片，支持一下吧

SEO优化 · 发表于 2016-8-9 17:16:57

难得一见的好技术贴

SEO优化 · 发表于 2016-8-9 18:48:46

帝国网络做的全网整合营销推广，都是按照签订合同执行方案来实施的，真正做到了全网各方位的推广，达到了客户的效果，真的很满意，而且服务到位

疙証屏 · 发表于 2016-8-9 20:36:45

顶顶帝国网络多好

蕴朗 · 发表于 2016-8-9 21:21:54

现在在帝国网络做整合营销，员工服务态度很好，一有问题马上解决，技术也很牛，排名不错，效果我还是非常认同的！

		自动登录	找回密码
密码			立即注册