Spark将机器学习与GPU加速机制纳入自身

译文 作者：核子可乐译 2016-10-31 10:34:13服务器 存储 Spark 此次推出的将机器U加新功能——即GPU加速与多套深度学习库集成——在理论上能够实现Apache Spark在任意位置的安装工作。不过Databricks方面表示，学习其版本目前仍处于调整阶段，速机身这是制纳为了避免资源争用情况给功能的实际使用带来复杂性影响

【51CTO.com快译】

Databricks公司通过简化对GPU加速型机器学习方案的访问支持自家云Spark服务。

[[174832]]

 

作为Apache Spark内存内大数据项目的入自支持与开发合作厂商，Databricks公司已经对其自家Apache Spark云实现方案进行两轮支持升级，将机器U加旨在让更多IT用户享受其便利。学习

此次推出的速机身新功能——即GPU加速与多套深度学习库集成——在理论上能够实现Apache Spark在任意位置的安装工作。不过Databricks方面表示，制纳其版本目前仍处于调整阶段，入自这是将机器U加为了避免资源争用情况给功能的实际使用带来复杂性影响。

Apache Spark本身并不具备开箱即用的学习GPU加速功能，且需要设置一套系统对此加以支持，速机身这意味着用户需要面对多种复杂组件。制纳有鉴于此，入自Databrick公司决定承担起相关难题。

Databricks方面还宣称，其将降低节点间的资源争用数量，从而***程度保证Spark的运作能够充分发挥GPU集群的性能优势。这一思路与麻省理工学院的Milk库看起来非常类似，后者同样利用加速机制并发处理应用，旨在确保与内存相关的操作以批量方式进行，最终实现对系统缓存资源的***化利用。Databricks公司的设置能够保证各项GPU操作之间不会相互导致冲突乃至中断。

另一项能够显著节约时间的举措在于直接访问多种主流机器学习库，这意味着Spark将可作为数据源起效。其中包括Databricks自家的TensorFrames库，其允许将TensorFlow库与Spark相配合，同时实现GPU加速能力。

Databricks 公司已经在推文中表示，其基础设施能够充分利用Spark的自身优势。其建立起免费级服务，用以吸引那些仍对深度使用Spark抱有警惕心理的客户，包括为其提供完整产品中的部分功能。根据InfoWorld网站此前发布的评测报告，Databricks的免费产品确实相当出色且易于上手。

 

不过市场竞争仍然相当激烈，特别是考虑到Databricks需要面对像微软(拥有Azure机器学习方案)、IBM以及Amazon这样的巨头级对手。因此，其必须找到保持并扩大服务受众规模的可行途径，并专注于打造自身独特的服务产品。除了添加机器学习与GPU加速等功能之外，Databricks还需要在发展计划中确保新特性能够切实带来便利——而非提升复杂程度。

原文标题：Spark picks up machine learning, GPU acceleration，原文作者：Serdar Yegulalp

【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】

责任编辑：云中子 来源： 51cto GPU,机器学习

(责任编辑：休闲)