很久以前，搜索引擎的爬虫（机器人）大部分时间都会递归地抓取某个网站（通过你提交的网站首页网址，然后通过网页上发现的链
接抓取这些链接所指向的网页，周而复始）。但现在不是那么回事了，搜索引擎的爬虫抓取时会有多个进入点，并且每个进入点都同
样重要，然后再从这些进入点向外扩散，进行抓取。
1. 使网站结构扁平化
如果你的网站能够建立一个理想的、扁平的链接层次，那么可以实现通过3次点击就访问100万个页面页，和通过4次点击就访问100万
页面的效果。
2.从“强力的”页面链接到需要链接的页面
应该知道有很多外链的“强力”页面（指排名高、外链多的页面，易IT注）的涟漪性效应，并且充分利用这种效应。把这种页面看
作是目录（或分类）页面，并通过它们链接到网站的其他页面。
同样，你以后也可以将这种页面当作着陆页，帮助提高你想用户访问页面的流量。
3.减少“死胡同”和低价值页面
那些在链接图上边缘的页面价值很低。确认网站上没有那些让PageRank降低的页面。通常这样的页面是PDF、图片和其他文件。你
可以用301重定向将这些文件重定向到包含（嵌入或包含下载链接）这些文件内容的页面，并且页面上有返回网站其他部分的链接。
4.创作值得链接的分类或导航页面
如果你能制作这样值得链接和引人注目的页面，它们会获得更高的PageRank和更优先的抓取率。同时这些PageRank和抓取优先级会通
过页面上的链接传递到网站的其他页面（给搜索引擎一个网站上所有页面都很重要的信号）。
5.将不重要的页面排除在爬虫抓取路径之外,减少不必要的导航级别（或内容页面），并且将爬虫导向真正需要PageRank的网址。
