现在好多人都是很盲目的去分析日志，只是为了分析目的而去分析日志，没有明确自己分析日志的目的是什么。推荐大家使用的工具是shell，几条命令就能搞定的事
1，查看蜘蛛日志的各个维度
抓取量，不重复抓取量，抓取字节数量，响应吗
2，对网站结构进行细分
可以细分为首页，列表页，详情页。知道每种页面的规则，
例如 首页规则 /
目录规则 /\s
a目录详情页 /a/\d{3}.html
咨询列表 /new/\d{3-4}.html
知道各类页面的规则后就可以对日志进行细分了，例如首页的抓取量,不重复抓取量，响应吗， 详情页的抓取量,不重复抓取量，响应吗。 经过一段时间的积累想要的数据就出来，这时你已经可以知道自己网站每个地方的表现情况了，核心内容抓取变少的话，自己去调整把。这样也可以清楚知道那类页面出现问题，可以及时的去了解他。
还有响应码的处理，其实日志分析写的不好，主要的还是想强调不要为了分析日志而分析，要有目标性的去分析，例如你想知道自己核心页面的为啥流量不好，哪得知道该类页面收录如何，排名如何，点击率如何。这时如果收录不佳，开始分析是不是页面质量问题，还是抓取不高的问题。有目标性去分析，利用细分来找出原因。。
转自SEO前线，由[url=http://blog.sina.com.cn/lianlanglenghen]烟台SEO[/url]整理发布。 |
自动化资料下载
自动化产品
