BigDL有什么特性

本篇内容介绍了“BigDL有什么特性”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

特性:

  • 丰富的深度学习支持。BigDL 模仿 Torch,提供对深度学习的全方位支持,包括数值计算(通过Tensor)和高层次神经网络。此外,用户可以使用  BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。

  • 极其高的性能。为了达到高性能,BigDL 在每个 Spark 任务中使用 Intel MKL和多线程编程。因此,它比单节点 Xeon 上的开箱即用的  Caffe、Torch 或 TensorFlow 快几个数量级。

  • 有效地横向扩展。 BigDL 可以通过利用 Apache Spark 以及高效实施同步 SGD, 全面减少 Spark  上的通信,有效地向外扩展,以“大数据规模”执行数据分析。

使用场景:

  • 你想要在在大数据云(Hadoop/Spark)分析(存储在如 HDFS、HBase、Hive上的)海量数据。

  • 你想向你的大数据(Spark)程序和/或工作流添加深度学习功能(训练或者预测)。

  • 你想利用已有的 Hadoop/Spark  集群来运行深度学习程序,然后可以与其他工作负载动态共享(例如,ETL、数据仓库、功能引擎、经典机器学习、图像分析等)。

“BigDL有什么特性”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注蜗牛博客网站,小编将为大家输出更多高质量的实用文章!

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:niceseo99@gmail.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

评论

有免费节点资源,我们会通知你!加入纸飞机订阅群

×
天气预报查看日历分享网页手机扫码留言评论电报频道链接