当搜索引擎爬行网站的时候，网站制作者知道网站的逻辑顺序，但搜索引擎机器人爬行网站的时候，整个网站对他了来说只是一堆代码，毫无逻辑，造成站点蜘蛛在爬行网站一段时间后放弃该站点，在新站建设一段时间以后，我们认识到不是所有的页面都被蜘蛛爬行过。
    我们应该做的：增加网站地图不是所有的网站地图都对搜索引擎是友好的，只有当搜索引擎能看懂你的网站地图的时候，它才会爬行，我们优化网站地图的时候目的是让所有的搜索引擎都能看懂你的网站地图，一个被普遍认同的网站地图一般是sitemap.xml。例如上海seo的网站地图地址是http://shanghai-seo.org/sitemap.xml 另一个选择是URL名单，包括与一个URL的一个文本文件每条线和被保存作为urllist.txt的文件。 如果有站点的录影，能递交有录影的sitemap。 同一件事适用于提供geo代码数据、样品和新闻的站点。 谷歌可能也用RSS 2.0，Atom 1.0和mRSS作为sitemaps。有一些网站已动态的网页来制作sitemaps。 Xml文件时有限制的，当每XML sitemap有50,000个以上的URL，要求标注sitemaps一个整个站点。

     在12月，谷歌使递交sitemap更加容易。 您必须不再指定文件类型。 谷歌将查出文件类型并且适当地处理它。

     上海seo  http://www.shanghai-seo.org