网站结构对于网站优化最大的影响应该在两个方面:一个是关于网站收录情况的,好的目录层次结构能够帮助蜘蛛更好更快的抓取网站内部所有页面,另外一个是关于用户体验的,在与用户交互上可能会带来很多不好的体验,所以我们要解决的就是这两个问题,然后就能做好网站目录层次的SEO工作.
    以小型的网站为例一般分为三层:首页》栏目页》内容页.按照宽度优先遍历的抓取策略来看,搜索引擎蜘蛛会考虑的抓取方法是先抓取下面的首页A,然后抓取栏目B和栏目C,在抓取栏目B下面的内容页D和E,最后抓取内容页F.这种抓取策略是一种很高效的网页抓取方法,是根据每个层次网页重要性来进行网页抓取排序的,排在队首的网页URL首先被抓取,而衡量网页重要性就要根据PageRank算法来计算.
    这样的抓取策略有个前提条件就是先要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列,而这个过程对于网站内部页面收录是非常不利的,因为内部页面的重要性显然要低得多,即使被放入等待抓取队列的位置也比较靠后.搜索引擎也考虑了其他的抓取策略来进行补充,虽然这些策略都是针对全网的,但是个人认为还是很适合站内的网页抓取的.