经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
Hadoop节点规模为什么不如Laxcus?
来源:cnblogs  作者:laxcus  时间:2021/5/6 17:32:33  对本文有异议

  还是昨天,另一个头条网友提问,Hadoop节点规模为什么不如Laxcus?和昨天那篇《Laxcus管理几十万台服务器,是怎么做到的?》的提问有点异曲同工,现在顺着上篇的思路再回应一下,建议没看过昨天那篇的先去看看,这样容易理解。

  还是从这三个角度来解释:

  1. 多域并行集群

  2. 松耦合架构

  3. 基于DFL人工智能模型的自适应机制

  这三个角度实际对应的是:多集群、单集群、单集群下的节点。

  多域并行集群。就是将多个子域集群并联起来,由主域集群进行管理,通过并行加大集群规模。Hadoop目前还是单集群结构,而Laxcus能够提升三个量级。

  松耦合架构。是借助“异步+弱依赖”的策略,在单集群范围内大幅增加节点并行规模。以采用Power8芯片的核心节点为例,在有大规模并行存储计算和应用软件运行参与的压力测试下,单集群节点稳定运行数量在1000 - 5000之间,所以说可控范围非常大。

  基于DFL人工智能模型的自适应机制。这是一种AI算法,作用在单节点上,能够在上级集群不参与情况下,实现节点实现自治管理,保证单台服务器稳定运行不超载。

  所以这样下来,集群管理工作的流程就是:首先通过多域并行集群分散集群管理压力,再通过松耦合架构增加单集群可管理节点数量,进一步使用DFL自适应机制保证节点稳定运行减少宕机概率,并且由于人工智能介入集群管理,还可以大幅降低管理人员工作压力,减少误判误操作现象 。三者效果叠加,即保证了Laxcus节点数量远超Hadoop,又保证集群稳定运行。

  目前Hadoop仍然使用Yarn的Resource Manager管理节点,设计上没有Laxcus这么复杂,也没有节点自治的概念,节点规模低于Laxcus是可以理解的。

 

  另外说明一下,Laxcus和Hadoop是两个层面的产品。

  Laxcus是面向计算机集群和云环境设计的集群操作系统,是运行分布式应用软件的平台,所有基础模块和云端刚需全部一站式实现和集成,比如数据库、大数据、AI、应用容器、安全服务都已经集成在里面。完全不依赖第三方软件。

  而Hadoop属于大数据,处理的都是大数据业务,采用模组设计,目前参与的团队组织已经有几十个,产品线非常庞杂,而且有大量重叠,使用的时候,需要用户自己去组装这些模块,象搭积木一样。况且大数据在Laxcus里面只是一个子集,二者无论设计、技术、应用方向,都不是一个层面的产品。

原文链接:http://www.cnblogs.com/laxcus/p/14689821.html

 友情链接:直通硅谷  点职佳

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号