【hive学习笔记】

1. hive概念解读hive是基于Hadoop的数据仓库基础构架它可以利用简单的SQL语句来查询、分析、存储在Hadoop的H D F S 中的数据且能将SQL语句转换成Hadoop的MapReduce程序从而使数据进入MapReduce框架实行我们发出的对数据进行处理的要求count、sum利用hive在DBeaverEE中进行SQL语句的编写再将windows系统上结构化的数据即纯数据 预先约定的分隔规则上传到H D F S 上便可将windows系统上结构化的数据映射成为一张数据库表利用hive在DBeaverEE中提供SQL查询功能还能将SQL语句转变成MapReduce任务来执行。综上所述Hive的优点是学习成本低让数据人员可以通过SQL语句来调用Hadoop的MapReduce统计使MapReduce变得简单不必开发专门的MapReduce应用程序。因此hive十分适合对数据仓库进行统计分析。2.配置DBeaverEE连接hive1.在根目录opt下/opt创建logs目录2.编写脚本启动hive相关服务在在Linux 的opt下启动my_shell中编写hive脚本编写内容如下echo “启动metastore服务中… ”nohup /opt/soft/hive/bin/hive --service metastore /opt/logs/hive.log 21 echo “启动hiveserver2服务中…”nohup /opt/soft/hive/bin/hive --service hiveserver2 /opt/logs/hive.log 21 if [ $? -eq 0 ]thenecho “服务启动中… 请等待大约2分钟 再使用 dbeaver 客户端连接 hive”elseecho “启动失败,请前往日志 /opt/logs/hive.log 查看”fi3.先在Linux 的opt下启动my_shell中的hdfs 集群和 yarn 集群4.再启动Linux 的opt下启动my_shell中的hive集群注如果需要关闭启动的程序可以先用jps进行查询再执行kill-9 进程id的指令