常梦网 常梦网

QingCloud推出Spark即服务

时间: 2024-05-29  热度:

Spark 是继Hadoop之后新一代的大数据分布式处理平台。它是一个基于内存的、容错型的分布式计算引擎。与Hadoop MapReduce相比,Spark的计算速度要快100倍。即便同样采用硬盘计算,Spark也比MapReduce快10倍。Spark卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有核心问题,使得Spark迅速成为当前最为热门的大数据基础平台。

Spark 提供了多语言支持,如Scala、Python、Java、R等,支持交互式操作。它在RDD(Resilient Distributed Datasets,一个容错的、并行的数据结构) 基础之上提供了Spark Streaming流式计算,结构化数据处理组件Spark SQL,机器学习库 MLlib 以及图计算GraphX等功能。

然而,对于一个快速发展中的开源项目来说,Spark的生产环境并不是一件容易的事情。有鉴于此,8月25日,青云QingCloud正式推出Spark即服务平台。具体而言,青云QingCloud提供的Spark服务有如下特征:

青云QingCloud CEO 黄允松(Richard Huang)表示,Spark服务的发布标志着QingCloud完整的大数据基础平台已初步建立,接下来QingCloud还会陆续发布一系列大数据相关服务,如Hadoop、Cassandra、Hive、HBase和Storm等。未来,大数据、数据库、缓存和对象存储将同IaaS组件一起构成QingCloud完整的数据产品生态圈,提供一站式的计算、存储和数据处理服务,更好地帮助用户实现数据的价值。

相关阅读