ScaldingCascading 的 Scala API
Scalding 是一个 Scala 库简化了 Hadoop MapReduce 作业开发。基于 Cascading 构建。Scalding 跟 Pig 类似,但提供更紧密的 Scala 集成。
Hadoop 是一个统计词(counting words)的分布式系统。这里看 Scalding 如何实现统计词:
package com.twitter.scalding.examples import com.twitter.scalding._ class WordCountJob(args: Args) extends Job(args) { TypedPipe.from(TextLine(args("input"))) .flatMap { line => tokenize(line) } .groupBy { word => word } // use each word for a key .size // in each group, get the size .write(TypedTsv[(String, Long)](args("output"))) // Split a piece of text into individual words. def tokenize(text : String) : Array[String] = { // Lowercase each word and remove punctuation. text.toLowerCase.replaceAll("[^a-zA-Z0-9\\s]", "").split("\\s+") } }
评论
Scala IDEEclipse的Scala插件
ScalaIDE是一个Eclipse插件,提供Scala集成开发工具。主要的功能包括:同一个项目中混合编辑Scala/Java文件;Scala编辑器支持语法高亮显示,代码自动完成,错误标记,链到定义处
Scala IDEEclipse的Scala插件
0
ScredisRedis 的 Scala 客户端
Scredis是一个Redis的Scala客户端开发包。基于Akka构建,特点是Reactive、非堵塞以及超级快。示例代码:import scredis._import scala.util.{ S
ScredisRedis 的 Scala 客户端
0
MemcontinuationedMemcached的Scala客户端
Memcontinuationed是Scala的异步memcached客户端。Memcontinua
MemcontinuationedMemcached的Scala客户端
0
CasbahMongodb 的 Scala 驱动
Casbah是Mongodb官方的Scala驱动程序包。项目工件:casbah-commonscasbah-querycasbah-corecasbah-gridfs
CasbahMongodb 的 Scala 驱动
0
intellij-scalaIDEA 的 Scala 插件
intellij-scala 是 IntelliJ IDEA 集成开发环境用来开发 Scala 应用
intellij-scalaIDEA 的 Scala 插件
0
intellij-scalaIDEA 的 Scala 插件
intellij-scala是IntelliJIDEA集成开发环境用来开发Scala应用程序的插件。
intellij-scalaIDEA 的 Scala 插件
0