一、概述
Hue是一个开源的ApacheHadoopUI系统linux通配符,最早是由ClouderaDesktop演变而至,由Cloudera贡献给开源社区,它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来剖析处理数据,比如操作HDFS上的数据,运行MapReduceJob等等。
Hue官方网站:
官方文档:
GitHub:
二、Hue构架
从总体上来讲,Hue应用采用的是B/S构架,该web应用的后台采用python编程语言别写的。大体上可以分为三层,分别是后端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC的方法调用。
从上图可以看出,Hue几乎可以支持所有大数据框架,包含有HDFS文件系统对的页面(调用HDFSAPIlinux 分区,进行增删改查的操作)centos ant,有HIVEUI界面(使用HiveServer2,JDBC形式联接,可以在页面上编撰HQL句子,进行数据剖析查询),YARN监控及Oozie工作流任务调度页面等等。Hue通过把这种大数据技术栈整合在一起,通过统一的WebUI来访问和管理,极大地增强了大数据用户和管理员的工作效率。这儿总结一下Hue支持什么功能:
三、Hue安装1)安装数据源
这儿以Hive为主实验,如何安装hive,可以参考我之前的文章:大数据Hadoop之——数据库房Hive
启动HDFS和HiveMetastore服务
# 启动HDFS
$ start-dfs.sh
# 启动hive Metastore
$ nohup hive --service metastore &
$ ss -atnlp|grep 9083
# 启动hiveserver2
$ nohup hiveserver2 > /dev/null 2>&1 &
$ jobs -l
# 启动有点慢,可以稍等一段时间再查看端口
$ ss -antlp|grep 11000
2)安装docker
# 安装yum-config-manager配置工具
$ yum -y install yum-utils
# 设置yum源
$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker-ce版本
$ sudo yum install -y docker-ce
# 启动
$ sudo systemctl start docker
# 开机自启
$ sudo systemctl enable docker
# 查看版本号
$ sudo docker --version
# 查看版本具体信息
$ sudo docker version
# Docker镜像源设置
# 修改文件 /etc/docker/daemon.json,没有这个文件就创建
# 添加以下内容后,重启docker服务:
{
"registry-mirrors": ["http://hub-mirror.c.163.com"]
}
$ sudo systemctl restart docker
3)通过Docker快速安装
好多安装方法,可以参考GitHub上的说明,还有快速安装数据源的方法:#getting-started
$ docker run -it -p 8888:8888 gethue/hue:latest
$ docker ps|grep hue
$ netstat -tnlp|grep 8888
WEBUI::8888/
创建超级用户
支持好多联接器
【温馨提示】如果端口不是默认的端口就必须更改,由于hue.ini上面配置的都是各个组件默认的端口,就拿hive来说就不是默认端口,这儿得更改hue.ini配置文件。联接脏器网文档
# hive_server_port=11000
$ docker exec -it -- amazing_faraday /bin/bash
$ sed -i s/hive_server_port=10000/hive_server_port=11000/ /usr/share/hue/desktop/conf/hue.ini
# 修改完配置重启服务
$ docker restart amazing_faraday
3)通过CM安装集成到CDH
CM和CDH安装文档:
大数据Hadoop之——ClouderaHadoop环境布署
CMWEBUI访问(帐号/密码)::7180/
1、添加服务
2、将Hue服务添加到CDH
3、自定义角色分配
4、数据库设置
依照之前装CM时初始化数据库的设置来配置
5、安装完成
6、启动hue服务
7、创建帐户
4)官方demo演示
帐号/密码:demo/demo
四、Hue简单使用
HueWEBUI::8888/
1)通过Hue操作HDFS
【温馨提示】如果须要在其它用户目录先更改创建文件就必须授权或则创建相对于的用户去登入访问
2)通过Hue操作Impala
关键字不分辨大小写
show databases;
use test2022;
show tables;
3)通过Hue操作Hive
show databases;
【温馨提示】这里联接的beeline的hiveserver2服务,端口10000。
Hue的基础部份就到了centos ant,若果男子伴有疑惑欢迎给我留言或则私信,后续内容更精彩,请耐心等待~