MMLSpark用于 Apache Spark 的深度学习库

联合创作 · 2023-09-26 04:18

MMLSpark ,即 Microsoft Machine Learning for Apache Spark ,是微软开源的一个针对 Apache Spark 的深度学习和数据可学工具,为大型映像和文本数据库快速创建强大、可缩放性能优越的预测和分析模型。

MMLSpark 可与 Microsoft Cognitive Toolkit (CNTK,微软认知工具包) 和 OpenCV (计算机视觉库)无缝集成,允许:

  • 流入和预处理图像数据

  • 使用预先定型的深度学习模型特征化图像和文本

  • 使用隐式特征化对分类和回归模型进行定型和评分

示例:

...
import mmlspark
# Initialize CNTKModel and define input and output columns
cntkModel = mmlspark.CNTKModel() \
                    .setInputCol("images").setOutputCol("output") \
                    .setModelLocation(modelFile)
# Train on dataset with internal spark pipeline
scoredImages = cntkModel.transform(imagesWithLabels)
...
浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报