大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。

手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。

工具部署呢,比如Ambari或Cloudera Manger。(当前两大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具来,可以说是一键操作,难点都在工具Ambari或Cloudera Manger本身部署上。

比较项目手工方式工具方式
难易度难,几乎不可能成功简单,易行
兼容性自己解决组件兼容性问题自动安装兼容组件
组件支持数支持全部组件支持常用组件
优点对组件和集群管理深刻简单、容易、可行
缺点太复杂,不可能成功屏蔽太多细节,妨碍对组件理解
工具名所属机构开源性社区支持性易用性、稳定性市场占有率
Cloudera MangerCloudera商用不支持易用、稳定
AmbariHortonwork开源支持较易用、较稳定较高

常见的情况是,Cloudera Manger 去部署CDH, Ambari去部署HDP,当然,两者也可以互相,也可以去部署Apache Hadoop

Cloudera Manager安装之利用parcels方式安装3节点集群(包含最新稳定版本或指定版本的安装)(添加服务)
Ambari安装之部署3个节点的HA分布式集群

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐