Kraps-RPC从 Spark 中分离出的 RPC 框架
Kraps-rpc 是一个从 Spark 分离出来的 RPC 框架，基于 Spark 2.1版本，你可以把它看作 spark-rpc，其中 spark 这个词是反转的（kraps）。 这个模块主要用于研究 Spark 如何在 RPC 中工作。Spark 包含许多分布式组件，例如驱动程序、主控、执行程序、块管理器等，它们通过 RPC 进行通信。在 Spark 项目中，功能被封装在 Spark-core 模块中。Kraps-rpc 将核心 RCP 部分与其分离，不包括安全性和流式下载功能。
依赖树：
[INFO] +- org.apache.spark:spark-network-common_2.11🏺2.1.0:compile [INFO] | +- io.netty:netty-all🏺4.0.42.Final:compile [INFO] | +- org.apache.commons:commons-lang3🏺3.5:compile [INFO] | +- org.fusesource.leveldbjni:leveldbjni-all🏺1.8:compile [INFO] | +- com.fasterxml.jackson.core:jackson-databind🏺2.6.5:compile [INFO] | +- com.fasterxml.jackson.core:jackson-annotations🏺2.6.5:compile [INFO] | +- com.google.code.findbugs:jsr305🏺1.3.9:compile [INFO] | +- org.apache.spark:spark-tags_2.11🏺2.1.0:compile [INFO] | \- org.spark-project.spark:unused🏺1.0.0:compile [INFO] +- de.ruedigermoeller:fst🏺2.50:compile [INFO] | +- com.fasterxml.jackson.core:jackson-core🏺2.8.8:compile [INFO] | +- org.javassist:javassist🏺3.21.0-GA:compile [INFO] | +- org.objenesis:objenesis🏺2.5.1:compile [INFO] | \- com.cedarsoftware:java-util🏺1.9.0:compile [INFO] | +- commons-logging:commons-logging🏺1.1.1:compile [INFO] | \- com.cedarsoftware:json-io🏺2.5.1:compile [INFO] +- org.scala-lang:scala-library🏺2.11.8:compile [INFO] +- org.slf4j:slf4j-api🏺1.7.7:compile [INFO] +- org.slf4j:slf4j-log4j12🏺1.7.7:compile [INFO] | \- log4j:log4j🏺1.2.17:compile [INFO] +- com.google.guava:guava🏺15.0:compile
更多细节，可参考：深入解析Spark中的RPC
评论