新闻聚源网站正式上线
点击上方 月小水长 并 设为星标,第一时间接收干货推送
在发布【聚合新闻爬虫】系列之前的,我的一个动机就是因为其他新闻网站上广告太多,浏览体验不好,所以想做一个方便浏览的、聚合了其他新闻源的网站,只做导航,不做详情。经过这一周某些晚上的努力,这个网站终于和大家见面了。
它的地址如下:
https://xt98.tech:9494
先看看这个网站长什么样。
由于使用了 bootstrap 表格式自适应布局,在 PC 和移动端都有比较好的浏览体验。可见下图
手机上浏览
电脑上浏览
顾名思义,可以分源查看新闻,每隔 1 小时自动抓取各源的新闻链接,也就是 前往 按钮,但是点击 前往 是去往新闻本来的详情页的。
可以查看历史上今天发生了什么新闻,估计明年今日才能看到具体的内容,现在是我伪造的一些数据。
集成了页面埋点统计等功能,具体可以见下图。
未来会开发的一个功能,提供一些新闻的 api 接口。
最后,无论是聚源还是分源,我都做了限制只能看到最新的 200 条新闻,网站上的搜索框具有实时搜索功能,他的搜索范围是页面上的所有新闻。如果想全局搜怎么办,我留了个彩蛋,比如想看所有的关于小米的新闻,可以在浏览器上输入下面的 url。
https://xt98.tech:9494?keyword=小米
对了,本网站还具有反爬虫功能,我就直说了吧,只有 ip 反爬虫,一个 ip 限制 1 天只能浏览 200 次本站点,超了网页后会显示什么呢?
欢迎小伙伴积极尝试。
还明确一点,使用代理池即可绕过爬虫,但是绕过又能怎么样呢哈哈哈,本站点,没有分页功能!!!
如果想搞垮我的网站另说,服务器是阿里云最低配,经不起折腾。
最后贴一下,本项目参考的开源项目。
爬虫参考:https://github.com/Python3Spiders/AllNewsSpider
前端参考:https://github.com/lufficc/flask_ishuhui
这样一个方便快捷的网站,能不能进进你的收藏夹呢?