Matt Cutts:Google用头请求HEAD request来确定页面类型吗?
Eric Enge:对于不知道的人而言,有很多不同的方法来抓取和检查页面的内容。如果你做一个GET请求,就是说你在向服务器要求返回内容。如果你做一个HEAD请求,就是说你在向服务器要求返回内容是否更新。做HEAD请求的话服务器只能回答是或者否,实际上不发送内容。乍一看,对于搜索引擎来说,HEAD请求可以让它只抓取上次抓取到现在修改过的内容。
但是大多数web服务器要给出哪些页面修改了的话要做大量的工作,所以我们发现,实际上GET请求更有效。但有时候也会用HEAD请求,如果图片的抓取,因为图片要比网页大的多。
在抓取HTML网页或文本内容时,我们会用GET而不是HEAD。当web服务器能够告诉哦我们哪些网页修改过时,我们会用If-Modified-Since之类的标记。当然还有其他好的方法可以抓取网页,但HEAD请求在抓取HTML时实际上并不节省带宽,我们只用它抓取图片内容。
Matt Cutts:在视频抓取时也会用,对吧?
Eric Enge:对,但我们会再检查校对一下。