快捷搜索:

未来的企业数据云定义数据管理将迎来新模式

(文章滥觞:千家网)

跟着谋略机技巧,传感器技巧以及互联网技巧的成长,人类的数据总量已经达到了前所未有的规模。数据充斥着每小我的日常生活,企业天天都面临着治理数据以及应用数据的寻衅。今朝,存储数据的载体、数据的处置惩罚技巧以及数据的应用的要领措施都在赓续的演进,企业用户对数据代价的预期也赓续增添。企业用户期望经由过程数据快速带来商业代价,同时对数据的安然,数据隐私与合规等要求越来越高。

以前的十年里,用户需求主要集中在办理高效的存储,并且能够同时处置惩罚大年夜规模数据。经由过程散播式的要领把数据分散在不合的办事器上,以分而治之的要领来并发处置惩罚数据,避免收集传输带来的耗损和延迟等。Hadoop 在以前十年里办理用户需求的同时也在赓续自我演进。Cloudera’s Distribution Including Apache Hadoop(CDH)作为浩繁 Hadoop 分支的一种,获得了企业用户广泛的认可和应用。

未来十年里,现有的数据治理应用架构与办理规划面临新的诸多寻衅。例如宏大年夜集群规模支配光阴长,企业实际利用中短缺高效数据隐私与安然治理,数据劫难规复能力弱,多云及混杂云跨云治理繁琐等。都必要在现有技巧架构根基长进行延展从而来应对这些新的寻衅。Cloudera 的全新 CDP 产品便是为了赞助用户应对未来的新寻衅。

Cloudera 在 Hadoop 根基架构下成长出的商业版 CDH,是第一代架构的代表,主要关注在本地支配云上集中同位的存储和谋略以及大年夜型共享集群;Cloudera 觉得的第二代架构,主要关注在公有云上的存储与谋略解耦和多集群,例如 Amazon EMR;Cloudera 今朝提出的平台规划 CDP 被觉得是第三代架构,主要关注在多云以及混杂云上的存储与谋略解耦,多租户以及容器化的 SaaS 体验。

去年年头?年月,Cloudera 正式完成与 Hortonwork 的合并,新公司采纳 Cloudera 品牌,新数据平台将 HDP(Hortonworks 数据平台)和 CDH(Cloudera DistribuTIon Hadoop)的功能进行结合,加入安然管理客栈,支持百分百开源,同时支持国际主流的五大年夜公有云平台,这意味着Cloudera 开始周全转变为一家数据云公司。在任何云上面,不管是在公有云、私有云,混杂云,照样公有云上的任何一朵云,都可以来运行 Cloudera 的数据平台。

供给全数据生命周期支持,不光是供给 Hadoop 技巧本身的支持,还供给在全部数据生命周期所有应用到的对象和平台,包括数据采集IoT、数据阐发、BI、数据仓库、机械进修、数据科学等。在数据安然和管理上,提出了共享的数据体验架构,实现存储层和谋略层的解耦,更好的治理源数据,同时实现数据存储分离。对数据的安然、管理、血缘和审计方面,供给了零丁的 SDX 对象。

Cloudera 的云数据平台软件 CDP可以为企业从数据计谋上供给完备的办事,其多云和混杂云的统一平台办理规划,可以实现快速支配,并机动适用于企业各自的云应用策略,节约资源同时实现快速上线。全数据生命周期的支持可以让企业加倍高效的应用数据和掘客数据,提升企业数据代价。同时数据安然管理为散播各类云上的数据供给有效治理。是以,现在的 CDP,既能供给多云与混杂云的统一平台办理规划,又可以支持企业全数据生命周期中提升数据代价,还能实现企业云上的数据安然管理。

企业在应用云的策略上,平日会根据其营业特征选择公有云或私有云,有的企业也会选择公有云 + 私有云,并构建混杂云情况。Cloudera 在多云以及混杂云的应用方面提出了很多新的理念和实践。

对公有云来说,原生云办事商建立了相关的工具存储标准,但私有云今朝并没有对应的标准。Cloudera 经由过程主推 Ozone 为私有云供给未来的工具存储标准。Ozone 是 Cloudera 在 2019 年创建并引入的一个 Hadoop 子项目,是一个开源的工具存储项目。引入 Ozone 是为了能够彻底办理 HDFS 文件数量的限定的弱点。今朝很多企业用户在支配大年夜规模集群的时刻,都必要应用 HDFS 联邦,而 HDFS 联邦在实际利用中也存在各类问题,并不是最佳的办理规划,跟着集群规模赓续的增长,局限性也日益凸起。

结合 CDP 存储跟谋略分离的观点,Cloudera 将 Ozone 定位为私有云的数据存储引擎。Ozone 可以被理解为私有云里面的“S3”,所稀有据都是寄放在Ozone 里面,而分离的谋略集群都是经由过程源数据,收集远程处置惩罚。未来筹划中,Hive、Spark、Impala 等一系列的处置惩罚引擎都邑跟 Ozone 集成。

同时私有云版上跟公有云版进行映射,从而使存储的接口和谋略引擎都可以在 Ozone 上实施。由此不只可以满意用户应用工具存储接口的需求,而且可以机动的去分配谋略资本,为开拓带来便捷。

从不合云的应用上讲,CDP 供给公有云、Data Center和私有云版本,并供给体验相同的各类数据办事。例如流式处置惩罚、Hive 批量处置惩罚、Spark 和即时查询等,用户在私有云情况里面,可以得到跟公有云一样的体验。用户应用 CDP 在自己搭建支配的云和应用 CDP 在原生云办事商的公有云时,CDP都邑供给统一的用户界面和相同的应用的要领,避免了用户重复进修,同时大年夜大年夜节约了运维集群的光阴。

开源是软件技巧立异的潮流,险些所有最新的技巧都因此开源的形式在传播和推广。同时开源会成绩技巧的多样化,一个百花齐放社区的文化可以持续赓续的成长。Cloudera 也会借助开源强大年夜的立异能力,赓续提升对用户的办事。

Cloudera 拥有 700 多个研发工程师,此中大年夜概 300 名阁下的 committers,同时其系列产品在举世几千个大年夜型客户颠末广泛的验证,用户的问题可以获得快速办理。是以企业用户订阅 Cloudera 的企业版产品,不必要建立各自的技巧团队进行平台底层研发和日常掩护,让企业最大年夜限度的节省平台资源投入。

用户订阅本色上是购买 Cloudera 所供给的办事,应用户能够开释出掩护软件版本所需的大年夜量宝贵的工程师资本,也不必担心转换平台供应商所带来的资源投入,令用户能将更多资本投入在能孕育发生更多收入的利用和产品办事上。

Cloudera 开拓了诸多开源项目,这些项目已经成为行业标准,然则没有一家公司可以成为立异独一滥觞。经由过程投资Spark,Kbernetes和Kafka等开源项目,经由过程订阅办事,用户可以得到可持续成长的经久架构。经由过程更开放包涵的商业策略,Cloudera最大年夜限度的发挥开源社区立异的原动力,持续为客户供给更好的办事。

(责任编辑:fqj)

您可能还会对下面的文章感兴趣: