网站地图包含了我们网站所有的有效页面,如果网站的层次结构比较深,蜘蛛很难抓取到,网站地图可以方便搜索引擎蜘蛛抓取网站页面,通过抓取网站页面,清晰了解网站的架构;网站地图还可以为用户访问网站内容提供有效引导,方便用户更好访问网站。
一、网站地图格式网站地图的格式通常有 .html和.xml两种格式,.html是一中锚文本形式,里面包含网站的的文本链接和分类介绍。.xml是一种代码的格式,包含网站链接和更新时间,数据的更新频率等,这种地图主要就是给搜索引擎去看的。通常百度蜘蛛喜欢html格式地图,谷歌喜欢xml格式地图,我们可以都准备两种格式地图。
例如:搜狐,淘宝的网站地图,你都可以在网站底部看到,不过他们的网站地图都更大,层次分类明确。
xml格式地图:
<url>
<loc>http://www.xiaomseo.com</loc>
你的网站链接
<lastmod>2013-01-01</lastmod>
指该条链接最新一次更新时间,类型为日期或日期时间,格式为YYYY-MM-DD的日期或者格式为YYYY-MM-DDThh:mm:ss的日期时间(请注意日期与时间之间以“T”分隔)
<changefreq>always</changefreq>
指该条链接的更新频率:always、hourly、daily、weekly、monthly、yearly、never
</url>
注意:每个XML数据文件包含的网址不得超过 5 万个,且单个文件大小不得超过 10 MB。其中网站链接是必填内容,其它的非必填。
二、什么时候使用网站地图1、网站层次结构比较深
网站结构:首页-栏目页-二级栏目-文章页,这种是四层,我们可以通过面包屑导航查看一个网站的层次。网站内容很多,首页和栏目页不能完全展现你的内容,用户需要点击多次,才能看到想看的内容;对于蜘蛛来说爬行的难度会增大这时候可以做网站地图辅助来抓取。
2、网站内容有更新
对已经发表的网站的文章内容做调整,栏目页首页微调时也需要更新网站地图,以提醒蜘蛛来抓取更新。
三、网站地图的制作网站地图可以在线制作,也可以用用软件生成。
- 在线制作工具:小爬虫网站 http://www.sitemap-xml.org/
- 地图制作软件:SitemapX,Sitemap Generator,爱占SEO工具包
- 自动制作地图插件:1.WordPress--Baidu Sitemap Generator(百度),Google XML Sitemaps(谷歌);2. 织梦CMS--google_sitemap.php
- 手动修改添加
地图制作是会生成html和xml两种格式,我们把生成的文件命名为sitemap.html和sitemap.xml,通过FTP工具上传到网站的根目录。
注意:
- 网站地图通过软件生成可能会有出现错误,比如说你过滤里动态链接,生成时有动态链接出现,检查路径是否统一;
- 网站地图只是辅助蜘蛛来抓取,并不是提交了地图就会收录你的网页。
四、网站地图如何提交1.放置在robots.txt文件
在引擎爬虫进来抓取网页的时候,会首先查看robots.txt,如果首先把sitemap写进robots.txt里那么在效率上会大大提高,从而获得搜索引擎的好感,搜索引擎蜘蛛会自动抓取地图内链接。
具体格式:
Sitemap: 您的域名/Sitemap.xml ,注意:首字母S大写,冒号英文状态下,冒号和你的地图链接之间有空格。
2.提交sitemap给百度
在百度站长平台工具里有介绍,可以定期将网站链接放到Sitemap中,然后将Sitemap提交给百度,百度会周期性的抓取检查您提交的Sitemap,对其中的链接进行处理。