地  址:江苏省南京市玄武区玄武湖
电  话:4008-888-888
邮  箱:9490489@qq.com
商  务QQ:2832830888
免费的建网站平台:金山云容器引擎实际 为更多大数据用户赋能
作者:管理员    发布于:2020-05-22 05:37   文字:【】【】【
金山云容器引擎实际 为更多大数据用户赋能 跟着云原生技能的加快普及,Kuberes渐渐成为IT技能架构的基石,并推进着各行业技能架构的转型晋级。

跟着云原生技能的加快普及,Kuberes渐渐成为IT技能架构的基石,并推进着各行业技能架构的转型晋级。在《InfoQ 编辑部开年聊聊2020 年值得重视的十大技能趋势》报导中,写到其间一个趋势是容器化加快席卷根底架构。

今天,大家就分享下金山云容器引擎在大数据平台的应用实际。

大数据平台拥抱Kuberes 金山云容器引擎应需而生

众所周知,Hadoop的呈现加快大数据技能的应用推行,跟着应用场景的不断丰厚,近几年也涌现出多款优良的核算框架,如Spark、Flink等。此前在大数据散布式调理平台中,我们普遍采用是Yarn,可是跟着应用场景丰厚和范围放大,平台渐渐败露出一些问题,如资源阻隔压制较弱、监控信息不完善、弹性扩展能力弱、GPU支撑不足等。

跟着容器化的疾速开展,大数据原本的Hadoop Yarn散布式使命调理模式,正在被基于Kuberes的技能架构所取代。容器仰仗轻量秒级布置、一次构建、到处运转的高大上风,推进了快捷、主动化的事件流程,同时Kuberes提供的强壮编排能力以及繁荣开展的社区生态,为大数据容器化提供了便捷的平台。

大数据体系原生支撑on Kuberes,例如Spark 从官方2.3版本初步就能无需任何批改间接运转在 Kuberes 上,这是一个里程碑式的工作,标明了未来技能架构的开展方向。

容器引擎是金山云推出的Kuberes效劳产物,基于原生的Kuberes进行开发和适配,无缝交融了金山云生态的别的根底资源和产物效劳。

现在,金山云容器引擎掩盖干流应用的多版本Kuberes,支撑一键式创立,多可用区高可用布置,同时提供旧版本的一键晋级功用,继续包庇用户资产;集成云平台能力,如网络方案(Flannel和Canal)、耐久化存储(块存储和文件存储)、平安(多租户阻隔和主机加固)等;影象库房支撑对Docker hub、gcr.io影象加快,高速内网下载影象,11个9的牢靠性保证;在管束台支撑Kuberes 的软件确保理东西Helm,提供金山云官方Helm Chart,支撑在线可视化布置Helm应用。

此外,金山云容器引擎大幅贬低了Kuberes的利用门槛和综组成本,让用户开发团队更专心本身事务。

统一治理、弹性伸缩 为用户发明更多代价

因为大数据应用的杂乱性,会利用多品种型的机型当做Work节点,如使用云主机应答疾速的流量扩容、使用云物理效劳器提供无性能损耗能力、使用云GPU效劳器的大范围线程和高速核算力上风等等,来成全核算的须要。

金山云容器引擎提供混合集群的统一治理效劳,在一个集群能够完成多品种型节点的统一治理,经过Label的设置能够完成对全体资源的统一调理布置,防止了多个集群的利用,一方面大幅贬低了利用本钱,另外一方面有用晋升治理功率。

大数据事务对核算的须要是动静的,而且动摇较大,金山云容器引擎支撑Cluster AutoScaler完成集群事件节点的弹性伸缩,节减开销。现在,金山云容器引擎自身免费对外提供利用,同时提供免费的企业级容器影象库房效劳,用户仅需付出所利用资源的费用,事件节点支撑预支费包年包月、按日配置付费、按小时配置计费等活络的计费策略挑选。

全体框架图

大数据云平台使用容器引擎集群、云物理机集群、云效劳器集群构建大数据管束平台和同享效劳资源池,为用户提供租户阻隔、平安牢靠的大数据托管效劳。

大数据平台在容器引擎的布置方案如上图所示:

1、在endpoint容器引擎集群中布置微效劳架构,如:数据治理(元数据治理、数据权限、数据质量、数据地图等)、数据效劳、数据采集,同享的组件mysql ,redis等根底效劳。

2、在online/offline容器引擎集群中布置的大数据组hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等,现在hive、hbase等用的是HDFS存储,而zookeeper、ElasticSearch、kafka用的是NFS、KS3存储。

现在,金山云大数据平台已利用容器引擎平台布置在线和离线的事务,支撑海量数据办理,在整个过程两边团队堆集了丰厚的大数据利用经验,继续在spark on kuberes的动静资源、kube-scheduler调理策略等方面进行优化,晋级产物功用,并赋能更遍及的大数据有关用户,为用户发明更多代价。

当做CNCF基金会黄金会员之一,金山云致力于推进基于容器技能的云原出产品方案落地实际。现在,金山云已经过CNCF Kuberes效劳提供商认证,容器引擎已经过CNCF Kuberes共鸣性认证以及容器解决方案认证和可信云Kuberes认证。此外,金山云领有CNCF CKA、CKAD认证的高档技能专家团队,为用户提供专业的产物和效劳支撑。

Copyright © 2002-2020 制作网页_国外最好的免费建站_免费h5页面制作网站_团购网站建设_免费动画制作网站 版权所有 (网站地图
地址:江苏省南京市玄武区玄武湖 电话:4008-888-888
邮箱:9490489@qq.com QQ:2832830888