向外扩展的架构,可以经济的存储所有公司的数据供以后使用,节省的费用是非常惊人的。
Ⅲ灵活性更好
Hadoop能够使企业访问新的数据源,并可以分析不同类型的数据,从这些数据中产生价值,这意味着企业可以利用Hadoop的灵活性从社交媒体、电子邮件或点击流量等数据源获得宝贵的商业价值。
Ⅳ处理速度更快
Hadoop拥有独特的存储方式,用于数据处理的工具通常在与数据相同的服务器上,从而导致能够更快的处理器数据。如果处理大量的非结构化数据,Hadoop能够在几分钟内处理TB级的数据,而不是像以前都需要以小时为单位。
Ⅴ容错能力更强
Hadoop的一个关键优势就是它的容错能力,Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。。当数据被发送到一个单独的节点,该数据也被复制到集群的其它节点上,这意味着在故障情况下,存在另外的副本可供使用。
第 9 页 共 40 页
④ ZDM平台安装界面截图: ⅠZDM平台登陆界面
用户名密码登陆后,可以看到如下的首页。
第 10 页 共 40 页
Ⅱ系统管理界面
在系统管理界面中,“用户管理”和“角色管理”中,可以定义角色(管理员、操作员等)、添加用户、修改用户密码等。此外,在“资源管理”页面中,可以为每一个用户指定允许安装的组件或者模块。
Ⅲ组件安装界面
在“组件安装”界面中,具有以下功能:基础信息配置(主机名映射)、Hadoop组件安装、Spark组件安装、数据挖掘工具安装、集群监控及HUE安装。以下逐一进行介绍。
ⅰ 基础信息配置
基础信息配置,也即主机名映射,在初次安装Hadoop集群前需要配置各服务器的IP地址与主机名的映射。点击“配置”按钮后,系统会在后台完成以下配置。
修改各服务器的主机名,完成映射。 完成各服务器之间的SSH互信。 完成各服务器java JDK环境配置。
第 11 页 共 40 页
ⅱ Hadoop基础组件
在Hadoop基础组件页面,可以点击各个Hadoop基础组件的图标,完成相应组件的安装及配置。
说明:由于组件之间有相互依赖关系,因此,如果某个组件的前序依赖组件没有安装,系统会提示用户安装前序依赖组件。
ⅲ Spark基础组件安装
第 12 页 共 40 页