网站内容被Alexa蜘蛛删除

最近在摸索一个新的seo的方法,所以做了一个简单的网站测试一下。由于只是测试,网站程序写的很简单,没有考虑的很仔细,够用即可。可今天回家后突然发现,网站数据库中很多内容都被删除了。第一反应就是网站数据库被攻击了。可是看了同一服务器下的其他网站的数据,发现没有问题啊。也就是说数据库并没有出现问题,但是数据却被删除了。

排除了数据库出现问题的情况,我想到了网站的简易后台。因为只是自己手动写的简易程序,所以没有对后台设置登录帐号和密码。而网站前台并没有后台的链接,所以访问者如果不知道后台的url地址,是不能访问到后台的。所以,从理论上来说,后台不设登录帐号和密码也是安全的。但数据库数据却被删除了,说明可能是简易后台的url地址被访问者知道了,所以有人登入了后台,删除了数据。我的网站上有统计工具,如果有人登入后台的话,统计工具是能够统计到的。我赶紧看了一下统计工具,发现昨天和今天都没人访问过网站后台的url。也就是说数据被访问者登入后台删除的可能也被排除了。

那么到底是什么原因使得网站数据被删除了呢?没办法了,我把网站日志下载下来,看看能不能发现些什么。打开日志一看,哦,原来如此。看下面的日志记录:

204.236.226.210 – – [16/Feb/2011:03:55:19 -0500] “GET /admin8/examples/delproduct.php?url=tower-crane HTTP/1.0″ 200 340 “-” “ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)”
204.236.226.210 – – [16/Feb/2011:03:55:23 -0500] “GET /admin8/examples/delproduct.php?url=truck HTTP/1.0″ 200 340 “-” “ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)”

原来Alexa的爬虫不知道从哪进入了网站后台,然后顺着后台的数据删除链接爬到了delproduct.php上,结果数据就被删除了。

那么Alexa爬虫是如何知道我网站的后台url的呢?没有主动提交网址,在网络上没有可以到达后台的链接。最后只有一个原因,Alexa收集了装有Alexa工具条的用户的浏览记录,并用在了alexa爬虫在网络上的爬行中。

唉,无语!

还好,这个问题解决起来比较容易,写个robots.txt文件禁止爬虫访问后台文件就可以了。但是被删除的数据已经无法恢复了!

贾定强微信

微信扫一下,或点击链接添加好友