几个月以前就用xenu(Xenu Link Sleuth 检查网站死链接的小软件-download from http://www.skycn.com/soft/9436.html)来获取www.mlbl.org的所有链接,做成google的sitempas文件(关于google sitemaps,请参阅https://www.google.com/webmasters/sitemaps/docs/zh_CN/faq.html),提交给google收录该网站。
今天想再重新用一下,更新sitemaps文件,可是运行xenu,打开检查网址按钮,输入www.mlbl.org,发现只能获取到首页的所有链接,却不能获取到该网站的所有链接,打开每个链接的属性看了下,里面的这个网页的链接全部是空!纳闷!最后想了个办法:
1. 将获取到的链接生成报告,将有用的网址拷贝到一个txt文件。
2. 再运行xenu,打开检查网址列表按钮。
3. 选择txt文件,运行,
全部链接都出来了!
Notes:
1.xenu中貌似测试,有登录会员的网站的不能覆盖所有链接(我只有第一次成功了后来就再也没有重现过)。
2.xenu中的缓存太麻烦。(它会自动记录你的url和url internal)