新闻聚源网站正式上线

月小水长

共 1060字,需浏览 3分钟

 · 2021-04-07


月小水长
一个编码者、思考者

    点击上方 月小水长 并 设为星标,第一时间接收干货推送

这是 月小水长 的第 70 篇原创干货

在发布【聚合新闻爬虫】系列之前的,我的一个动机就是因为其他新闻网站上广告太多,浏览体验不好,所以想做一个方便浏览的、聚合了其他新闻源的网站,只做导航,不做详情。经过这一周某些晚上的努力,这个网站终于和大家见面了。

它的地址如下:

https://xt98.tech:9494
(需要在浏览器中打开~

先看看这个网站长什么样。

由于使用了 bootstrap 表格式自适应布局,在 PC 和移动端都有比较好的浏览体验。可见下图


手机上浏览


电脑上浏览


再来说说这个网站有什么功能。
  1. 顾名思义,可以分源查看新闻,每隔 1 小时自动抓取各源的新闻链接,也就是 前往 按钮,但是点击 前往 是去往新闻本来的详情页的。

  2. 可以查看历史上今天发生了什么新闻,估计明年今日才能看到具体的内容,现在是我伪造的一些数据。

  3. 集成了页面埋点统计等功能,具体可以见下图。



  4. 未来会开发的一个功能,提供一些新闻的 api 接口

  5. 最后,无论是聚源还是分源,我都做了限制只能看到最新的 200 条新闻,网站上的搜索框具有实时搜索功能,他的搜索范围是页面上的所有新闻。如果想全局搜怎么办,我留了个彩蛋,比如想看所有的关于小米的新闻,可以在浏览器上输入下面的 url。


https://xt98.tech:9494?keyword=小米


对了,本网站还具有反爬虫功能,我就直说了吧,只有 ip 反爬虫,一个 ip 限制 1 天只能浏览 200 次本站点,超了网页后会显示什么呢?

欢迎小伙伴积极尝试。

还明确一点,使用代理池即可绕过爬虫,但是绕过又能怎么样呢哈哈哈,本站点,没有分页功能!!!

如果想搞垮我的网站另说,服务器是阿里云最低配,经不起折腾。

最后贴一下,本项目参考的开源项目。


爬虫参考:https://github.com/Python3Spiders/AllNewsSpider

前端参考:https://github.com/lufficc/flask_ishuhui


这样一个方便快捷的网站,能不能进进你的收藏夹呢?

浏览 37
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报