HBase 2.5.4 伪分布式部署实战Ubuntu 22.04 单机 3 进程配置与验证1. 环境准备与前置条件在Ubuntu 22.04上部署HBase伪分布式环境前需要确保以下组件已正确安装Java 8HBase 2.5.4需要JDK 1.8或更高版本SSH免密登录伪分布式模式下进程间通信需要Hadoop可选如需使用HDFS作为存储后端1.1 安装JDKsudo apt update sudo apt install openjdk-11-jdk -y验证安装java -version1.2 配置SSH免密登录ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys测试SSH连接ssh localhost2. HBase 2.5.4安装与配置2.1 下载并解压HBasewget https://archive.apache.org/dist/hbase/2.5.4/hbase-2.5.4-bin.tar.gz tar -zxvf hbase-2.5.4-bin.tar.gz -C /opt sudo ln -s /opt/hbase-2.5.4 /opt/hbase2.2 配置环境变量编辑~/.bashrc文件export HBASE_HOME/opt/hbase export PATH$PATH:$HBASE_HOME/bin使配置生效source ~/.bashrc3. 伪分布式模式核心配置3.1 修改hbase-env.shvim $HBASE_HOME/conf/hbase-env.sh关键配置项export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64 export HBASE_MANAGES_ZKtrue # 使用HBase内置Zookeeper export HBASE_PID_DIR/var/hbase/pids3.2 配置hbase-site.xmlconfiguration property namehbase.rootdir/name valuehdfs://localhost:9000/hbase/value /property property namehbase.cluster.distributed/name valuetrue/value /property property namehbase.unsafe.stream.capability.enforce/name valuefalse/value /property property namehbase.zookeeper.property.dataDir/name value/home/$(whoami)/hbase/zookeeper/value /property /configuration3.3 配置regionserversecho localhost $HBASE_HOME/conf/regionservers4. 启动与验证4.1 启动HDFS可选如果使用HDFS作为存储后端start-dfs.sh4.2 启动HBase集群start-hbase.sh4.3 验证进程状态使用jps命令检查关键进程jps正常应看到以下3个核心进程HMasterHRegionServerHQuorumPeer4.4 Web UI访问HMaster UI:http://localhost:16010RegionServer UI:http://localhost:160305. 基本操作测试5.1 进入HBase Shellhbase shell5.2 创建测试表create test_table, cf1, cf25.3 数据操作示例put test_table, row1, cf1:col1, value1 scan test_table get test_table, row16. 常见问题排查6.1 端口冲突问题常见冲突端口及解决方案端口号服务解决方案16000HMaster RPC检查是否已有HBase实例运行16020RegionServer修改hbase-site.xml中的配置2181Zookeeper确保没有独立Zookeeper在运行6.2 日志文件位置关键日志路径$HBASE_HOME/logs/ ├── hbase-$(whoami)-master-$(hostname).log └── hbase-$(whoami)-regionserver-$(hostname).log6.3 启动失败排查步骤检查Java环境变量验证SSH免密登录查看日志文件中的ERROR信息确认端口未被占用检查HDFS状态如果使用7. 性能优化建议7.1 内存配置调整编辑hbase-env.shexport HBASE_HEAPSIZE4G export HBASE_REGIONSERVER_OPTS-Xmx8G -Xms8G7.2 重要参数调优在hbase-site.xml中添加property namehbase.hregion.memstore.flush.size/name value134217728/value !-- 128MB -- /property property namehbase.hstore.blockingStoreFiles/name value10/value /property7.3 系统级优化# 增加最大文件打开数 echo $(whoami) soft nofile 65536 | sudo tee -a /etc/security/limits.conf echo $(whoami) hard nofile 65536 | sudo tee -a /etc/security/limits.conf # 调整内核参数 echo vm.swappiness 0 | sudo tee -a /etc/sysctl.conf sudo sysctl -p8. 安全关闭流程停止HBasestop-hbase.sh停止HDFS如果使用stop-dfs.sh验证进程是否完全退出jps
HBase 2.5.4 伪分布式部署实战：Ubuntu 22.04 单机 3 进程配置与验证
HBase 2.5.4 伪分布式部署实战Ubuntu 22.04 单机 3 进程配置与验证1. 环境准备与前置条件在Ubuntu 22.04上部署HBase伪分布式环境前需要确保以下组件已正确安装Java 8HBase 2.5.4需要JDK 1.8或更高版本SSH免密登录伪分布式模式下进程间通信需要Hadoop可选如需使用HDFS作为存储后端1.1 安装JDKsudo apt update sudo apt install openjdk-11-jdk -y验证安装java -version1.2 配置SSH免密登录ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys测试SSH连接ssh localhost2. HBase 2.5.4安装与配置2.1 下载并解压HBasewget https://archive.apache.org/dist/hbase/2.5.4/hbase-2.5.4-bin.tar.gz tar -zxvf hbase-2.5.4-bin.tar.gz -C /opt sudo ln -s /opt/hbase-2.5.4 /opt/hbase2.2 配置环境变量编辑~/.bashrc文件export HBASE_HOME/opt/hbase export PATH$PATH:$HBASE_HOME/bin使配置生效source ~/.bashrc3. 伪分布式模式核心配置3.1 修改hbase-env.shvim $HBASE_HOME/conf/hbase-env.sh关键配置项export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64 export HBASE_MANAGES_ZKtrue # 使用HBase内置Zookeeper export HBASE_PID_DIR/var/hbase/pids3.2 配置hbase-site.xmlconfiguration property namehbase.rootdir/name valuehdfs://localhost:9000/hbase/value /property property namehbase.cluster.distributed/name valuetrue/value /property property namehbase.unsafe.stream.capability.enforce/name valuefalse/value /property property namehbase.zookeeper.property.dataDir/name value/home/$(whoami)/hbase/zookeeper/value /property /configuration3.3 配置regionserversecho localhost $HBASE_HOME/conf/regionservers4. 启动与验证4.1 启动HDFS可选如果使用HDFS作为存储后端start-dfs.sh4.2 启动HBase集群start-hbase.sh4.3 验证进程状态使用jps命令检查关键进程jps正常应看到以下3个核心进程HMasterHRegionServerHQuorumPeer4.4 Web UI访问HMaster UI:http://localhost:16010RegionServer UI:http://localhost:160305. 基本操作测试5.1 进入HBase Shellhbase shell5.2 创建测试表create test_table, cf1, cf25.3 数据操作示例put test_table, row1, cf1:col1, value1 scan test_table get test_table, row16. 常见问题排查6.1 端口冲突问题常见冲突端口及解决方案端口号服务解决方案16000HMaster RPC检查是否已有HBase实例运行16020RegionServer修改hbase-site.xml中的配置2181Zookeeper确保没有独立Zookeeper在运行6.2 日志文件位置关键日志路径$HBASE_HOME/logs/ ├── hbase-$(whoami)-master-$(hostname).log └── hbase-$(whoami)-regionserver-$(hostname).log6.3 启动失败排查步骤检查Java环境变量验证SSH免密登录查看日志文件中的ERROR信息确认端口未被占用检查HDFS状态如果使用7. 性能优化建议7.1 内存配置调整编辑hbase-env.shexport HBASE_HEAPSIZE4G export HBASE_REGIONSERVER_OPTS-Xmx8G -Xms8G7.2 重要参数调优在hbase-site.xml中添加property namehbase.hregion.memstore.flush.size/name value134217728/value !-- 128MB -- /property property namehbase.hstore.blockingStoreFiles/name value10/value /property7.3 系统级优化# 增加最大文件打开数 echo $(whoami) soft nofile 65536 | sudo tee -a /etc/security/limits.conf echo $(whoami) hard nofile 65536 | sudo tee -a /etc/security/limits.conf # 调整内核参数 echo vm.swappiness 0 | sudo tee -a /etc/sysctl.conf sudo sysctl -p8. 安全关闭流程停止HBasestop-hbase.sh停止HDFS如果使用stop-dfs.sh验证进程是否完全退出jps
