微软开源用于Spark的微软深度学习库MMLSpark

作者：Beining 2017-10-26 13:54:49人工智能 深度学习 Spark 微软开源了MMLSpark，用于Apache Spark的开源库的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。用于虽然SparkML可以建立可扩展的深度机器学习平台，绝大多数开发者的学习精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的微软重复性工作。

[[207730]]

微软开源了MMLSpark，开源库用于Apache Spark的用于的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。深度

微软发现，学习虽然SparkML可以建立可扩展的微软机器学习平台，绝大多数开发者的开源库精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的用于重复性工作。

以UCI的深度成人收入普查数据集举例，使用其他项目预测收入：

 

如果直接使用SparkML，学习每一列都需要单独处理，整理为正确的数据类型;在MMLSpark中只需要两行代码：

model = mmlspark.TrainClassifier(model=LogisticRegression(), labelCol=” income”).fit(trainData) 
 
predictions = model.transform(testData)  

深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类，但是DNN模型的训练需要专业人员方可进行，与SparkML的整合也十分不易。MMLSpark提供了方便的Python API，可以方便地训练DNN算法。MMLSpark可以方便地使用现有模型进行分类任务、在分布式GPU节点上进行训练、以及使用OpenCV建立可扩展的图像处理管线。

以下3行代码可以从微软认知工具集中初始化一个DNN模型，从图像中抽取特征：

cntkModel = CNTKModel().setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”) 
 
featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’]) 
 
model = TrainClassifier(model=LogisticRegression(),labelCol=”labels”).fit(featurizedImages)  

MMLSpark已经发布到Docker Hub上，使用下面的命令即可在单机部署：

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark 

MMLSpark使用MIT协议授权。

责任编辑：庞桂玉 来源： 36大数据 深度学习SparkMMLSpark

(责任编辑：知识)