a simple distributed spider in Java.

Java编写的一个简单分布式爬虫.支持模板插件化，以xml形式或java编码形式编写。

dependency:com.meiya.base.mipatch download from https://github.com/matuobasyouca/e-shark-k;

依赖com.meiya.base.mipatch 移步 https://github.com/matuobasyouca/e-shark-k;

第一步： 安装java环境与mysql数据库（任务、日志、结果存储）

第二步： 编译代码

第三步： 修改config下的config.ini文件 user、pwd、url、driver分别为数据库连接相关字段

saveOneTable=0表示会根据域名不同存储在不同的表中（tieba.baidu.com） saveOneTable=1表示全部存储在conversation表中。

第四步： 可以启动服务端以及客户端了。 服务端： java com.zhangwoo.spider.server.TaskCenter 任务中心 java com.zhangwoo.spider.server.ResultCenter 结果中心

客户端： java com.zhangwoo.spider.client.process.SpiderProcess 客户端可以传入两个参数 java com.zhangwoo.spider.client.process.SpiderProcess TaskCenterIp ResultCenterIp 如果TaskCenterIp和ResultCenterIp相同，只需要传一个就可以了。

第五步： 从服务端访问 http://localhost:30090/spider/可以查看状态

添加任务： http://localhost:30090/spider/managerTask.jsp 填写任务名称和任务地址就能够添加一个任务。 只要有插件支持就可以解析并返回结果入库。 测试任务可以使用：http://www.haha365.com/fqxh/