jfinal_jsoup_meinvtuJFinal+JSoup 开发的爬虫

去年，做了几个JFinal项目，大量使用了Java爬虫去全网抓取数据，清洗筛选后入库，成为本地结构化数据。

Java中JSOUP做HTML解析是最好的工具，没有之一。

之前听过一句话，大体意思就是

我们所能访问的网页本身就是一个数据宝藏，天然的对外数据接口。

只要我们能拿到网页的Html代码，就可以拿到网站的公开数据。

利用JSoup针对直接加载显示数据的网页，也可以轻松拿到Html代码，后面的操作类似JQuery的API，有这类似的DOM操作形式。

还可以扩展爬虫的能力，分布式，多线程，异步，定时任务执行，总之，了解和核心使用方法，剩下的都是怎么玩儿的事儿了！

项目视频演示地址：

https://www.bilibili.com/video/av54760586

项目截图：

1、首页

2、启动爬虫，雷达扫描

3、添加明星

4、相册主页

5、相册里的照片

6、幻灯片播放

7、大图单页

代码使用技术

• JFinal


• JFinal Undertow


• Bootstrap


• JQuery


• Layer


• JSoup


• Mysql


• Jbolt