Colly简单快速的 Web 爬虫框架
Colly 是一个采用 Go 语言编写的 Web 爬虫框架,旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过 Colly ,你可以轻松从网站中提取结构化的数据,然后进行数据挖掘、处理或归档。
项目特性
-
清晰明了的 API
-
快速(单个内核上的请求数大于1k)
-
管理每个域的请求延迟和最大并发数
-
自动 cookie 和会话处理
-
同步/异步/并行抓取
-
高速缓存
-
自动处理非 Unicode 编码
-
支持 Robots.txt
-
支持 Google App Engine
-
通关环境变量进行配置
-
可扩展
示例
func main() { c := colly.NewCollector() // Find and visit all links c.OnHTML("a[href]", func(e *colly.HTMLElement) { e.Request.Visit(e.Attr("href")) }) c.OnRequest(func(r *colly.Request) { fmt.Println("Visiting", r.URL) }) c.Visit("http://go-colly.org/") }
评论
BeetleFly简单的web框架
BeetleFly是一个简单的Java实现的Web框架。使用Beetlefly构建web程序,不用任何配置:Beetlefly在服务程序加载时,自动扫描各个Action,并将它们注入到Guice容器。
BeetleFly简单的web框架
0
MonkRuby的Web快速开发框架
Monk是一个用Ruby开发的用于Web开发的胶水框架,真正模块化的开发流程,开发速度超快。安装和使用:$sudogeminstallmonk$monkinitmyapp使用Monk开发的应用的目录结
MonkRuby的Web快速开发框架
0
LazyJJava Web快速框架
LazyJ是一个开发基于Java的web程序的快速框架,它提供了接口来替换标准的ServletAPI,另外还包括一个快速的模板引擎、数据库连接池以及基于数据库的session存储、内容和数据缓存模块以
LazyJJava Web快速框架
0