3b2b8cc8182e453610661ed9ad51f01dc28157a7.docx
《3b2b8cc8182e453610661ed9ad51f01dc28157a7.docx》由会员分享，可在线阅读，更多相关《3b2b8cc8182e453610661ed9ad51f01dc28157a7.docx（185页珍藏版）》请在冰豆网上搜索。
大数据平台运维手册
大数据平台
运维手册
范例清单
6.1.创建用户24
6.2.授予用户Alice在InceptorSQL1中创建数据库的权限28
6.3.授予用户Alice在InceptorSQL1中对某个数据库的权限29
6.4.授予用户Alice在InceptorSQL1中对某张表的权限31
6.5.添加用户组34
6.6.创建角色36
6.7.授予角色sales在InceptorSQL1中创建数据库的权限40
6.8.授予角色sales在InceptorSQL1中对某个数据库的权限40
6.9.授予角色sales在InceptorSQL1中对某张表的权限42
1.简介
1.1.大数据平台介绍
大数据平台（简称TDH）是国内首个全面支持Spark和SQL2003语言解析的Hadoop商业发行版，也是国内落地案例最多的商业版本，是国内外领先的高性能平台，比开源基于HadoopMapReduce计算框架的版本快10x~100x倍。
TDH应用范围覆盖各种规模和不同数据量的企业，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理GB到PB的数据，并且在每个数量级上，都能比现有技术提供更快的性能；企业客户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。
星环的大数据平台TDH包含五个组成部分:
大数据平台Hadoop企业版，大数据平台Inceptor分布式内存分析引擎，大数据平台Hyperbase分布式实时在线数据处理引擎，大数据平台Stream流处理引擎和大数据平台Discover机器学习引擎，五个产品组件构成了完整的大数据平台。
在统一的分布式存储之上数据平台上通过大数据平台YARN提供统一的资源管理调度，结合LDAP与Kerberos提供完备的权限管理控制，不同的部门以及使用租户可以按需创建计算集群访
问其授权数据，包括基于Spark计算框架的SQL类统计分析应用与数据挖掘类应用，或者基于MapReduce计算框架的应用。
同时，平台通过使用Hyperbase结合Inceptor，为用户提供基于SQL的高并发的查询以及分析能力。
在数据导入与交换方面，数据平台提供多样的数据导入与交换形式，包括Flume提供海量数据文件的聚合汇总到HDFS的功能，FTPOverHDFS提供文件通过FTP传入HDFS的通道，Sqoop提供与关系型数据库的数据交换以及Kafka消息队列集群接收实时流数据。
此外，TDH数据平台提供实时的流处理能力，通过消息队列Kafka接收实时数据流，做到数据不丢不重，通过大数据平台Stream基于SparkStreaming提供类似与批处理系统的计算能力、健壮性、扩展性的同时，将数据时延降低至秒级甚至毫秒级。
1.2.大数据平台Manager介绍
大数据平台Manager是星环信息技术有限公司为TDH开发的平台管理软件。
通过大数据平台Manager，您可以通过浏览器来安装、部署、监控和管理整个TDH集群。
大数据平台Manager赋予大数据平台运维人员经营者企业级标准的平台管理能力，经营者可以藉此提高平台运维性能，提高服务质量并降低运营成本。
运维人员可以轻松地部署和集中操作整个的TDH集群。
应用程序自动执行安装过程中，部署时间从几周减少到几分钟，大数据平台Manager可以为您提供群集范围内的实时视图的节点运行和服务;提供了一个单一节点的中央控制台;制定配置的更改和全范围的报告和诊断工具来帮助您优化性能和利用率；可以实时报警异常情况。
新一代的大数据平台Manager采用了扁平化风格和可视化界面来展示TDH集群服务状态个指标等。
2.使用前的准备
大数据平台Manager软件采用浏览器的方式管理整个集群。
客户端软硬件需要以下配置。
2.1.客户端硬件配置
客户端PC必须具备以下最低配置硬件
•1颗2核心x86指令集CPU的PC台式机或笔记本
•2GB以上内存
•1个300G以上的硬盘
•1个千兆网卡或无线网卡
2.2.软件环境要求
客户端支持以下操作系统。
操作系统
版本
Windows
WindowsXP,Windows7,Windows8orabove
Linux
RedhatorSuseLinuxDesktopversion
AppleMacOS
10.8.1或以上
Google
ChromeOS36.0.x
2.3.支持的浏览器
您需要通过网页浏览器使用大数据平台Manager，管理平台支持以下浏览器
浏览器
版本
GoogleChrome（推荐）
36.0.1985.143及以上
FireFox
36.0及以上
AppleSafari
7.0.2及以上
InternetExplorer（不推荐）
不支持
3.系统检查
在开始使用TDH集群前，您需要对您的系统进行以下检查。
3.1.管理员服务器IP，端口及账号权限检查
在使用大数据平台Manager前你需要知道您在安装TDH过程中所预设的大数据平台ManagerIP地址及端口号，大数据平台Manager管理员的用户名及密码，这些值如下：
•大数据平台Manager的IP是您集群管理节点的IP，默认端口是8180。
•大数据平台Manager初始的管理员用户名是admin，密码是admin。
3.2.管理员服务器空间检查
大数据平台Manager在运行过程中会产生日志和数据库数据，因此在安装大数据平台Manager的服务器需要预留100GB空间给日志和数据库。
4.开始集群管理
TDHManager是TDH集群图形化管理应用程序。
通过TDHManager可视性来控制Hadoop集群。
你可以轻松地部署、安装、监控和集中操作整个的TDH集群。
如下所示，TDHManager承载管理控制台、Web服务器和应用程序逻辑。
它是负责安装软件、配置、启动和停止服务以及管理的群集服务在其运行。
TDHManager由以下几部分组成:
•集群代理：
在集群中的每台主机上都必须安装代理。
它负责启动和停止进程，安装、卸载配置、报警以及监视主机。
（TDH安装时候会自动安装）
•数据库：
存储系统的配置和监视日志信息。
通常有多个逻辑数据库运行在一个或多个数据库服务器。
例如，TDH可以监控守护进程使用不同的逻辑数据库。
•客户端：
TDHManager会提供一个接口，用于客户端与服务器进行交互。
管理控制台是基于
Web的用户界面，管理员通过用户界面管理群集。
TDHManager的心跳机制:
TDHManager采用心跳通信机制同所管理的集群保持通讯。
默认情况下代理每10秒发送心跳
信号到管理服务器。
为减少用户等待时间，可以在改变状态增加频率。
心跳通讯机制可以定期把集群服务器的现有状态汇报给TDHManager服务器。
TDH管理服务器会汇总哥哥代理的信息整体展现给用户。
如果TDHManager不能收到代理的通讯或某项服务启动失败。
比如一个进程无法启动，服务器就将标记为失败后的启动命令并在管理界面上报警。
4.1.TDHManager的基本操作
4.1.1.启动和停止TDHManager
•登陆大数据平台-master所在机器，使用以下命令启动TDHManager。
service大数据平台-managerstart
•登陆大数据平台-master所在机器，使用以下命令停止TDHManager。
service大数据平台-managerstop
4.1.2.终止TDHManager进程
1.查找进程号
jps|grep大数据平台Manager
2.使用kill命令终止TDHManager进程
4.1.3.重启大数据平台-manager和agent
•重启大数据平台-manager
service大数据平台-managerrestart
•重启agent
service大数据平台-manager-agentrestart
4.1.4.TDHManager登入和登出
系统的登入（login）
打开客户端浏览器（推荐使用googlechrome），输入安装好的管理节点IP或DNS地址，比如
http:
//192.168.1.10:
8180/（192.168.1.10是manager_IP地址,端口号是8180），输入用户名和密码。
初次登入时候必须以admin的身份登录，admin的默认密码是admin。
首次登陆后，您需要接受大数据平台最终用户协议：
系统的登出（logout）
点击用户界面右上角的登入用户名显示下拉式菜单，点击“登出”菜单登出系统。
其操作如下图。
4.1.5.TDHManager语言选择
点击用户界面右上角的用户名显示下拉菜单，点击“首选项”进入语言选择界面，如下图。
利用“用户首选项”界面中的“语言”菜单栏选择适合的语言，如下图所示。
TDHManager目前支持中文、英文两种语言。
4.1.6.TDHManager用户信息登记和更新
点击用户界面右上角的用户名显示下拉菜单，点击“用户信息”。
在“用户简介”页面中，可以查看当前用户的全名、电子邮件、部门、所属组、角色等信息，如下图所示。
在用户简介下面有两个选项：
编辑信息、更改密码。
点击编辑信息，弹出“编辑信息”界
面，用户可在上面编辑用户名、全名、电子邮件、部门、描述等信息；点击“更改密码”，弹出“编辑信息”页面，用户可在上面编辑新密码。
如下图所示。
5.创建集群服务
5.1.创建集群
在主界面的右边有一系列隐藏菜单，从上往下分别为“NEW”、集群一、集群二等，点击“NEW”,进入创建集群向导，开始创建集群。
您需要给您的集群设置一个名字。
输入集群名字后点击“下一步”。
您在这个页面添加/删除/修改机柜。
将鼠标移到机柜的名字和描述上可以对机柜的名字和描述进行修改。
完成后点击“下一步”。
在这一步向您的集群添加节点。
点击“添加节点”会弹出下面窗口：
您可以按照提示在窗口中搜索节点：
点击“搜索”，大数据平台Manager会搜索您输入的节点：
点击“继续”。
并提供SSH访问权限并输入您管理节点的密码：
输入密码后，点击“完成”。
节点便添加完成。
如果我们只有一个机柜，大数据平台Manager自动将所有的节点分配给了默认机柜。
如果您有多个机柜，您可以点击“分配机柜”来分配机柜。
（如果您的集群中有6个以上的节点，那么您必须配置机架信息，方便以后的运维和服务配置）
5.2.集群服务的添加、删除
将鼠标移至主页面任意集群左侧的“+”号上，点击弹出的“+服务”，进入服务添加向导页面。
点击“下一步”，选择想要添加的服务，再点击“下一步”。
为选择的服务指定其依赖的服务，点击“下一步”。
为选择的服务分配角色，默认已按推荐方法配置，修改时先选左侧菜单的一个角色，再在中间面板上为该角色分配节点。
结束后点击“下一步”。
配置选中的服务，包括属性、基础参数、自定义参数，资源分配。
结束后点击“下一步”。
出现“基础参数”页面，核对无误后点击“下一步”，弹出“安装确认”窗口，点击“确认”开始安装服务。
6.管理菜单
将鼠标移到大数据平台Manager页面上方的
上会出现管理菜单：
通过管理菜单您可以对集群整体进行各项管理。
本章对这些管理进行详细介绍。
6.1.节点管理
在管理菜单中点击“节点”：
您将进入节点管理页面：
6.1.1.添加节点
点击节点管理页面右上角的“+”，进入“添加节点”页面：
“添加节点”页面有三个标签页：
选择集群、编辑机柜和分配节点。
1.选择集群
选择所要操作的集群，点击下一步。
2.编辑机柜
在“编辑机柜”标签页中可以进行下面操作：
a.点击“添加机柜”可以向集群中添加新机柜；
b.将鼠标移至要删除的机柜上，点击出现的“删除”按钮将其删除；
c.点击任意机柜名及其描述，可对其进行编辑。
d.机柜编辑完成后，点击“下一步”进入“分配节点”标签页。
3.分配节点
在分配节点标签页可以进行下面操作：
a.添加节点
点击界面上的
可以添加新节点，系统会弹出下面窗口，在这个窗口可以搜索要添加的节点并提供这些节点的访问权限：
在“搜索节点”标签页中输入IP地址搜索您想要添加的节点，如果Manager搜索到这个节点，它的IP会出现在列表中。
完成搜索后点击“继续”，为Manager提供访问新增节点的SSH访问权限：
节点便添加成功。
b.分配新增节点的机柜
如果您只有一个机柜，Manager自动将新增节点分配给了默认机柜。
如果您有多个机柜，您可以勾选新增节点，然后点击
来分配机柜（如果您的集群中有6个以上的节点，那么您必须配置机架信息，方便以后的运维和服务配置）。
c.删除新增节点
如果您想要放弃添加新增节点，可以勾选新增节点，然后点击
将其删除。
4.节点分配完成后，点击“下一步”，Manager会开始向节点上安装所需程序，安装成功后点击“完成”，节点便安装成功：
6.2.用户管理
点击管理菜单中的“用户”：
进入用户管理界面：
在用户管理界面中您可以管理用户、用户组和用户角色。
6.2.1.管理用户
点击页面右侧的
，进入用户管理页面：
用户管理页面中显示了当前集群和Manager中所有的用户。
在该页面，您可以进行用户管理操作，包括添加、删除和编辑用户。
添加用户
点击
来添加一个新用户。
Manager会弹出下面的窗口，您需要在这里输入新用户的信息：
其中，“用户名”、“用户名全名”、“用户组”、“密码”、“确认密码”和“用户类
型”是必须信息。
“用户名”将被用来登陆Manager或者访问集群服务；“用户名全名”虽然必须提供，但是目前没有特殊功能，在未来版本的TDH中会用于更好地管理集群用户。
“用户类型”中：
•管理代表该用户组将是管理类型的用户组，管理类型的组只能在Manager中使用。
•集群集群则代表该用户组将是集群类型的用户组，集群类型的用户组既可以在Manager中使用，也可以在TDH集群中使用。
例6.1.创建用户
创建Carol用户：
删除用户
编辑用户
在用户管理界面的用户列表中勾选一个用户，然后点击
便可以将其删除。
在用户管理界面中点击一个用户，会进入这个用户的编辑界面，例如下面是集群用户Carol的用户编辑界面：
下面是Manager用户David的用户编辑界面：
在用户编辑界面中，您可以：
•修改用户信息
•设置用户密码
•修改用户所属组
•修改用户角色
•锁定或解锁用户
•编辑用户权限（限集群用户）
•生成Keytab文件（限集群用户）
修改用户信息
点击用户编辑界面的
，Manager会弹出下面窗口：
在该窗口中，您可以修改该用户的邮件、用户名全名、部门和描述。
注意，不可修改用户名。
设置用户密码
点击用户编辑界面的
，Manager会弹出下面窗口让您设置用户密码：
修改用户所属组
点击用户编辑界面的
，Manager会弹出下面窗口：
这个窗口中，左边一栏是Manager（如果该用户是Manager用户）或集群（如果该用户是集群用户）中所有的组；右边一栏是该用户已经加入的组。
将用户添加进组
在左栏中勾选想要将用户添加进去的组，然后点击
，勾选中的组会出现在右栏中，表示添加成功。
将用户移出组
在右栏中勾选想要将用户移出的组，然后点击
，勾选中的组会从右栏中消失，表示移出成功。
修改用户角色
点击用户编辑界面的
，Manager会弹出下面窗口：
这个窗口中，左边一栏是Manager（如果该用户是Manager用户）或集群（如果该用户是集群用户）中所有的角色；右边一栏是该用户已经有的角色。
赋予角色
在左栏中勾选想要赋予给用户的角色，然后点击
，勾选中的角色会出现在右栏中，表示赋予成功。
收回角色
在右栏中勾选想要将从用户处收回的角色，然后点击
，勾选中的角色会从右栏中消失，表示收回成功。
锁定或解锁用户
点击
会将用户锁定，用户被锁定后，将不能再登陆Manager或集群。
要解锁用户，可以在被锁定用户的编辑页面点击
。
编辑权限（限集群用户）
虽然Manager类型的用户也有
选项，但是我们建议不对Manager类型的用户进行权限设置操作。
点击一个集群用户的用户编辑页面的
会进入该用户的权限设置窗口，如下：
页面右上显示了当前的Inceptor服务，页面上显示的是用户在该Inceptor服务中的权限。
如果您的集群上有多个Inecptor服务，您可以点击下图中红框标出的部分切换Inceptor服务：
在这个页面中，您可以对该用户在集群上的Inceptor服务中的权限，在该页面可以进行所有InceptorSQL用户授权语句能够执行的操作。
下面我们举一些例子。
在页面上的操作都需要点击页面下方的
才会生效。
例6.2.授予用户Alice在InceptorSQL1中创建数据库的权限
InceptorSQL中授予Alice创建数据库权限的语句为：
GRANTCREATETOUSERAlice;
在Alice的权限设置页面，您仅需要勾选页面中的“CREATEDATABASE”，便可达到和上
面语句相同的效果：
勾选后，点击页面下方的
动：
让改动生效。
Manager会弹出下面的窗口要求确认改
例6.3.授予用户Alice在InceptorSQL1中对某个数据库的权限
下面的InceptorSQL语句授予用户Alice对数据库hr的权限：
GRANTCREATEONDATABASEhrTOUSERAlice;
GRANTSELECTONDATABASEhrTOUSERAlice;
授予用户Alice在hr中建表的权限
授予用户Alice在hr中执行SHOWTABLES的权限。
下面是如何在用户权限界面进行等效操作：
1.点击
，在下拉菜单中点击数据库hr：
2.这时，数据库hr会出现在列表中：
3.
此时，您只需要勾选hr对应的勾选框来授予Alice在hr中建表的权限，勾选
hr对应的勾选框来授予Alice在hr中执行SHOWTABLES的权限。
4.如果您要收回用户Alice的权限，只需要取消勾选便可。
对应的InceptorSQL操作为：
REVOKE（CREATE|SELECT）ONDATABASEhrFROMUSERAlice;
5.如果您要收回用户Alice对hr的全部权限，您也可以直接点击hr对应的将hr从列
表中直接删除。
6.要使操作生效，您需要点击页面下方的
。
例6.4.授予用户Alice在InceptorSQL1中对某张表的权限
以下InceptorSQL语句授予用户Alice对在数据库hr中的test表的权限：
GRANT（INSERT|SELECT|UPDATE|DELETE|ALL）ONhr.testTOUSERAlice;
下面是如何在用户权限界面进行等效操作：
1.点击
，在下拉菜单中点击数据库hr：
2.这时
右边会出现
，点击它，在下拉菜单中点击表test：
3.现在，hr中的表test会出现在列表中：
您只要勾选各项权限对应的勾选框便可以完成授权操作。
4.要收回权限，只需取消勾选。
对应的InceptorSQL操作为：
REVOKE（INSERT|SELECT|UPDATE|DELETE|ALL）ONhr.testFROMUSERAlice;
5.如果您要收回用户Alice对test的全部权限，您也可以直接点击test对应的
将test从列表中直接删除。
6.要使操作生效，您需要点击页面下方的
。
生成Keytab文件（限集群用户）
点击集群用户编辑界面的
，该用户的Keytab文件便会自动下载到本地。
6.2.2.管理用户组
点击页面右侧的
，进入用户组管理页面：
页面上会显示当前集群和Manager中所有的用户组的列表。
用户组管理包括添加、删除和编辑用户组。
添加用户组
点击
添加一个新的用户组。
Manager会弹出下面窗口，您需要提供新增用户组的信息：
其中“组名”和“用户类型”为必须信息。
“用户类型”中：
•管理代表该用户组将是管理类型的用户组，管理类型的组只能在Manager中使用。
•集群集群则代表该用户组将是集群类型的用户组，集群类型的用户组既可以在Manager中使用，也可以在TDH集群中使用。
例6.5.添加用户组
添加一个名为Sales的集群用户组：
删除用户组
在用户组列表中选中一个组，然后点击
可以将选中的组删除。
编辑用户组
在用户组列表中点击一个用户组可以进入该用户组的编辑界面，对用户组进行编辑。
下面是一个名为Sales用户组的编辑页面：
编辑组
点击
可以对用户组本身进行编辑；点击
可以对用户组中的用户进行编辑。
对组本身的编辑只能修改组的描述：
编辑用户
编辑完成后点击
保存修改。
对组中用户的编辑包括将用户移入和移出用户组。
将用户移入用户组
勾选“可选用户”列表中的一个或多个用户，点击
，选中用户即被加入该组。
将用户移出用户组
勾选“已加入该组的用户”列表中的一个或多个用户，点击
，选中用户即被移出该组。
6.2.3.管理用户角色
点击页面右侧的
，进入用户角色页面：
添加角色
页面上显示了当前Manager和集群上所有的角色以及它们的类型、权限和描述。
在这个页面，您可以进行用户角色管理操作，包括添加、编辑和删除用户角色。
点击
可以添加一个新角色。
Manager会弹出下面窗口：
您需要在这个窗口提供新增角色的信息。
其中“角色名”和“用户类型”为必须信息。
“用户类型”中：
•管理代表该角色将是管理类型的角色，管理类型的角色只能在Manager中使用。
•集群集群则代表该角色将是集群类型的角色，集群类型的角色既可以在Manager中使用，也可以在TDH集群中使用。
填写完信息后点击
完成添加。
例6.6.创建角色
添加sales角色：
删除角色
编辑角色
在用户角色页面的角色列表中勾选一个角色，然后点击
，即可以删除选中的角色。
点击角色管理页面中的一个角色，可以进入该角色的编辑页面。
例如下面是角色sales的编辑页面：
在角色编辑界面中，您可以：
•修改角色描述
•编辑角色下的用户
•编辑角色权限（限集群角色）
修改角色描述
在角色编辑页面中点击
，Manager会弹出下面窗口，在该窗口中您可以修改角色的描述。
注意，角色名不能修改。
编辑角色下的用户
在角色编辑页面中点击
，Manager会弹出下面窗口：
升级会员 