Node-cnblogs-spider基于 Node 实现的爬虫

spider_cnblogs

spider_cnblogs 是专门爬取博客园的文章并自动将文章转成 .md 存储至本地的爬虫。

安装

npm install node-cnblogs-spider --save

使用

var ncs = require('node-cnblogs-spider')

ncs([

    http://xxxx, 

    http://xxxx 

])

示例

依赖

to-markdown 将html转md

cheerio 类似于Sizzle的nodejs的实现

bluebird 是对es6种Promise方法的封装与ose展库

文档

• [译] NodeJS 错误处理最佳实践


• Nodejs异步异常处理domain


• 使用Promise尽量脱离回调地狱，使得代码可读性更高


• html转md格式的包还是有缺陷的,不然完美展现出.md


• 生成本地文件使用的是stream实现，效率更高。但是要注意文件的命名规范。

License

MIT