从零到一DolphinScheduler 3.x 集群部署实战与避坑指南1. 环境准备与基础配置在开始部署DolphinScheduler集群之前我们需要确保所有节点满足基本运行条件。以下是关键环境检查清单操作系统建议使用CentOS 7/Ubuntu 18.04等主流Linux发行版JDK 1.8所有节点需安装相同版本的JDK并配置JAVA_HOME数据库MySQL 5.7/PostgreSQL 8.2.15生产环境建议使用主从架构ZooKeeper 3.4.6建议3节点以上集群部署网络确保节点间SSH互通防火墙开放必要端口重要提示所有节点时间必须同步建议配置NTP服务时间偏差超过30秒可能导致ZooKeeper集群异常。1.1 系统用户与权限配置创建专用部署用户是生产环境的最佳实践# 在所有节点执行 sudo useradd -m dolphinscheduler echo dolphinscheduler:your_password | sudo chpasswd配置sudo免密权限echo dolphinscheduler ALL(ALL) NOPASSWD: ALL | sudo tee /etc/sudoers.d/dolphinscheduler sudo chmod 0440 /etc/sudoers.d/dolphinscheduler1.2 SSH互信配置在部署节点生成密钥并分发su - dolphinscheduler ssh-keygen -t rsa -P -f ~/.ssh/id_rsa ssh-copy-id dolphinschedulernode1 ssh-copy-id dolphinschedulernode2 # 其他节点同理验证SSH连通性ssh node1 hostname date ssh node2 hostname date2. 集群化部署实战2.1 软件包分发与解压将DolphinScheduler安装包分发到所有节点for node in node1 node2 node3; do scp apache-dolphinscheduler-3.x.x-bin.tar.gz dolphinscheduler$node:~ ssh dolphinscheduler$node tar -zxvf ~/apache-dolphinscheduler-3.x.x-bin.tar.gz -C ~/ done2.2 配置文件详解核心配置文件位于bin/env/目录install_env.sh- 集群拓扑定义# 集群节点IP列表 ipsnode1,node2,node3 # 主节点配置建议至少2个 mastersnode1,node2 # 工作节点配置可指定分组 workersnode1:default,node2:default,node3:hadoop-group # 告警服务器 alertServernode1 # API服务器 apiServersnode2dolphinscheduler_env.sh- 环境变量配置# JDK路径所有节点需一致 export JAVA_HOME/usr/java/jdk1.8.0_291 # 数据库配置生产环境建议单独部署 export DATABASEmysql export SPRING_DATASOURCE_URLjdbc:mysql://db-host:3306/dolphinscheduler?useUnicodetruecharacterEncodingUTF-8 export SPRING_DATASOURCE_USERNAMEds_user export SPRING_DATASOURCE_PASSWORDsecure_password # ZooKeeper集群配置 export REGISTRY_ZOOKEEPER_CONNECT_STRINGnode1:2181,node2:2181,node3:21812.3 数据库初始化执行数据库准备脚本mysql -hdb-host -uds_user -psecure_password -e CREATE DATABASE dolphinscheduler DEFAULT CHARSET utf8mb4 bash tools/bin/upgrade-schema.sh常见问题若遇到Unknown system variable transaction_isolation错误需在JDBC连接串添加useSSLfalseallowPublicKeyRetrievaltrue3. ZooKeeper集群集成3.1 推荐配置参数在conf/zoo.cfg中添加优化参数# 基础配置 tickTime2000 initLimit10 syncLimit5 dataDir/data/zookeeper clientPort2181 # 集群节点配置 server.1node1:2888:3888 server.2node2:2888:3888 server.3node3:2888:3888 # 性能优化参数 maxClientCnxns500 minSessionTimeout4000 maxSessionTimeout40000 syncEnabledtrue autopurge.snapRetainCount5 autopurge.purgeInterval243.2 关键监控指标通过zkCli.sh检查集群状态echo stat | nc localhost 2181 echo mntr | nc localhost 2181 | grep -E zk_avg_latency|zk_outstanding_requests4. 服务部署与验证4.1 一键部署执行bash bin/install.sh部署完成后检查服务状态服务类型检查命令预期结果MasterjpsMasterServerWorkerjpsWorkerServerAPI Servercurl -I http://node2:12345HTTP 200Alert Servernetstat -tunlpgrep 500524.2 常见问题排查问题1Worker节点未注册检查项# 在ZooKeeper节点执行 zkCli.sh ls /dolphinscheduler/nodes/worker解决方案确认conf/worker.properties中分组配置正确检查Worker日志logs/worker-server.log是否有连接异常问题2任务卡在提交成功状态检查Master节点资源# 检查Master负载 uptime free -h # 检查任务队列 zkCli.sh ls /dolphinscheduler/tasks_queue优化建议调整conf/master.properties中的master.exec.threads数量增加master.exec.task.num参数值5. 生产环境优化建议5.1 性能调优参数在conf/common.properties中添加# Master调度配置 master.dispatch.task.num10 master.exec.threads100 master.exec.task.num20 # Worker执行配置 worker.exec.threads50 worker.heartbeat.interval10 worker.max.cpuload.avgCPU核心数*2 worker.reserved.memory2.0 # 单位GB5.2 高可用架构设计推荐的多机房部署方案机房A - Master1 Worker1 ZK1 - API Server1 机房B - Master2 Worker2 ZK2 - Alert Server 机房C - Worker3 ZK3 - API Server25.3 监控集成方案Prometheus监控指标配置- job_name: dolphinscheduler metrics_path: /actuator/prometheus static_configs: - targets: [node1:12345, node2:12345] labels: group: api-server - targets: [node1:5678, node2:5678] labels: group: master-server关键监控指标告警规则- alert: MasterTaskQueueFull expr: dolphinscheduler_master_task_queue_size 1000 for: 5m labels: severity: critical annotations: summary: Master任务队列积压 (instance {{ $labels.instance }}) description: 任务队列大小已达到 {{ $value }}请及时扩容6. 版本升级策略6.1 平滑升级步骤停止所有Worker节点bash bin/stop-worker.sh滚动升级Master节点每次一个# 单个节点操作 bash bin/stop-master.sh cp -r conf/ /tmp/ds-conf-backup/ # 替换新版本文件 bash bin/start-master.sh升级数据库Schemabash tools/bin/upgrade-schema.sh最后升级Worker和API节点6.2 回滚方案恢复旧版本二进制文件回退数据库需提前备份-- 使用升级前的备份恢复 mysql -hdb-host -uds_user -p dolphinscheduler backup_before_upgrade.sql按原顺序重启服务7. 安全加固措施7.1 网络隔离建议服务类型开放端口访问控制建议Master5678仅Worker节点访问Worker1234,50051仅Master和API节点访问API Server12345限制管理IP段ZooKeeper2181,2888,3888仅集群内部通信7.2 认证加密配置在conf/application-api.properties中启用HTTPSserver.ssl.enabledtrue server.ssl.key-storeconf/keystore.p12 server.ssl.key-store-passwordyour_password server.ssl.key-store-typePKCS12API访问令牌安全设置# 生成高强度随机令牌 openssl rand -base64 32 | head -c 32 api-token.secret8. 日常运维技巧8.1 日志分析命令查找任务执行失败原因# 根据任务实例ID查找日志 grep -r TaskInstanceId:123456 logs/worker-server.log # 统计错误类型 awk /ERROR/ {print $6} logs/master-server.log | sort | uniq -c | sort -nr8.2 数据库维护脚本定期清理历史数据-- 保留30天内的记录 DELETE FROM t_ds_process_instance WHERE state7 AND end_time DATE_SUB(NOW(), INTERVAL 30 DAY); -- 优化表空间 OPTIMIZE TABLE t_ds_task_instance;8.3 备份恢复方案全量备份命令# 数据库备份 mysqldump -hdb-host -uds_user -p dolphinscheduler ds_backup_$(date %F).sql # 配置文件备份 tar -zcvf ds_conf_$(date %F).tgz conf/ install_path/9. 典型故障处理9.1 ZK连接超时问题现象日志中出现Connection loss错误解决方案检查ZK集群健康状态echo mntr | nc zk1 2181 | grep zk_server_state调整ZK客户端参数# 在conf/common.properties中增加 zookeeper.session.timeout40000 zookeeper.connection.timeout300009.2 任务积压处理应急措施动态增加Worker线程数# 修改所有Worker节点的conf/worker.properties worker.exec.threads100 # 滚动重启Worker bash bin/stop-worker.sh bash bin/start-worker.sh临时调整任务优先级UPDATE t_ds_command SET priority1 WHERE command_type5 AND priority3;10. 扩展与集成10.1 与Hadoop生态集成在conf/common.properties中配置# YARN ResourceManager地址 yarn.resourcemanager.addresshttp://yarn-rm:8088 # HDFS配置 fs.defaultFShdfs://namenode:8020 hadoop.security.authenticationkerberos hadoop.security.authorizationtrue10.2 自定义告警插件开发步骤实现org.apache.dolphinscheduler.alert.plugin.AlertPlugin接口打包JAR放到lib/plugin/alert/目录在UI界面配置告警实例10.3 API自动化示例Python调用示例import requests API_URL http://ds-api:12345/dolphinscheduler TOKEN your_api_token def trigger_workflow(project, workflow): headers {token: TOKEN} params { projectName: project, processDefinitionName: workflow } resp requests.post(f{API_URL}/projects/{project}/executors/start-process-instance, headersheaders, jsonparams) return resp.json() # 调用示例 print(trigger_workflow(ETL, daily_import))11. 性能基准测试11.1 集群容量评估节点规模日均任务量推荐配置小型1万2Master3Worker(8C16G)中型1-5万3Master5Worker(16C32G)大型5万5Master10Worker(32C64G)11.2 压力测试方法使用内置工具模拟任务提交# 启动测试工具 bash tools/bin/stress-test.sh --master node1:5678 \ --worker-group default \ --thread-count 50 \ --task-count 1000监控关键指标# Master任务处理速率 watch -n 1 curl -s http://node1:5678/actuator/metrics/dolphinscheduler.master.task.dispatch.rate | jq .measurements[0].value # Worker线程池使用率 ssh worker1 curl -s http://localhost:1234/actuator/metrics/dolphinscheduler.worker.thread.pool.usage | jq .measurements[0].value12. 最佳实践总结经过多个生产环境部署经验我们总结出以下黄金法则配置标准化所有节点保持相同的目录结构和配置文件版本容量规划Master节点CPU核心数建议≥16Worker节点根据任务类型配置监控全覆盖至少监控ZK连接数、任务队列深度、Worker负载三项指标变更管理任何配置修改都采用滚动更新方式灾备演练定期测试Master故障转移和数据库恢复流程对于关键业务工作流建议设置合理的任务超时时间配置多级告警通知启用工作流优先级设置定期检查任务依赖关系# 环境检查一站式脚本 #!/bin/bash check_zk() { echo stat | nc localhost 2181 | grep Mode } check_ds() { curl -s http://localhost:12345/actuator/health | jq -r .status } echo ZK Status: $(check_zk) echo DS Health: $(check_ds)
从零到一：DolphinScheduler 3.x 集群部署实战与避坑指南（含Zookeeper配置）
从零到一DolphinScheduler 3.x 集群部署实战与避坑指南1. 环境准备与基础配置在开始部署DolphinScheduler集群之前我们需要确保所有节点满足基本运行条件。以下是关键环境检查清单操作系统建议使用CentOS 7/Ubuntu 18.04等主流Linux发行版JDK 1.8所有节点需安装相同版本的JDK并配置JAVA_HOME数据库MySQL 5.7/PostgreSQL 8.2.15生产环境建议使用主从架构ZooKeeper 3.4.6建议3节点以上集群部署网络确保节点间SSH互通防火墙开放必要端口重要提示所有节点时间必须同步建议配置NTP服务时间偏差超过30秒可能导致ZooKeeper集群异常。1.1 系统用户与权限配置创建专用部署用户是生产环境的最佳实践# 在所有节点执行 sudo useradd -m dolphinscheduler echo dolphinscheduler:your_password | sudo chpasswd配置sudo免密权限echo dolphinscheduler ALL(ALL) NOPASSWD: ALL | sudo tee /etc/sudoers.d/dolphinscheduler sudo chmod 0440 /etc/sudoers.d/dolphinscheduler1.2 SSH互信配置在部署节点生成密钥并分发su - dolphinscheduler ssh-keygen -t rsa -P -f ~/.ssh/id_rsa ssh-copy-id dolphinschedulernode1 ssh-copy-id dolphinschedulernode2 # 其他节点同理验证SSH连通性ssh node1 hostname date ssh node2 hostname date2. 集群化部署实战2.1 软件包分发与解压将DolphinScheduler安装包分发到所有节点for node in node1 node2 node3; do scp apache-dolphinscheduler-3.x.x-bin.tar.gz dolphinscheduler$node:~ ssh dolphinscheduler$node tar -zxvf ~/apache-dolphinscheduler-3.x.x-bin.tar.gz -C ~/ done2.2 配置文件详解核心配置文件位于bin/env/目录install_env.sh- 集群拓扑定义# 集群节点IP列表 ipsnode1,node2,node3 # 主节点配置建议至少2个 mastersnode1,node2 # 工作节点配置可指定分组 workersnode1:default,node2:default,node3:hadoop-group # 告警服务器 alertServernode1 # API服务器 apiServersnode2dolphinscheduler_env.sh- 环境变量配置# JDK路径所有节点需一致 export JAVA_HOME/usr/java/jdk1.8.0_291 # 数据库配置生产环境建议单独部署 export DATABASEmysql export SPRING_DATASOURCE_URLjdbc:mysql://db-host:3306/dolphinscheduler?useUnicodetruecharacterEncodingUTF-8 export SPRING_DATASOURCE_USERNAMEds_user export SPRING_DATASOURCE_PASSWORDsecure_password # ZooKeeper集群配置 export REGISTRY_ZOOKEEPER_CONNECT_STRINGnode1:2181,node2:2181,node3:21812.3 数据库初始化执行数据库准备脚本mysql -hdb-host -uds_user -psecure_password -e CREATE DATABASE dolphinscheduler DEFAULT CHARSET utf8mb4 bash tools/bin/upgrade-schema.sh常见问题若遇到Unknown system variable transaction_isolation错误需在JDBC连接串添加useSSLfalseallowPublicKeyRetrievaltrue3. ZooKeeper集群集成3.1 推荐配置参数在conf/zoo.cfg中添加优化参数# 基础配置 tickTime2000 initLimit10 syncLimit5 dataDir/data/zookeeper clientPort2181 # 集群节点配置 server.1node1:2888:3888 server.2node2:2888:3888 server.3node3:2888:3888 # 性能优化参数 maxClientCnxns500 minSessionTimeout4000 maxSessionTimeout40000 syncEnabledtrue autopurge.snapRetainCount5 autopurge.purgeInterval243.2 关键监控指标通过zkCli.sh检查集群状态echo stat | nc localhost 2181 echo mntr | nc localhost 2181 | grep -E zk_avg_latency|zk_outstanding_requests4. 服务部署与验证4.1 一键部署执行bash bin/install.sh部署完成后检查服务状态服务类型检查命令预期结果MasterjpsMasterServerWorkerjpsWorkerServerAPI Servercurl -I http://node2:12345HTTP 200Alert Servernetstat -tunlpgrep 500524.2 常见问题排查问题1Worker节点未注册检查项# 在ZooKeeper节点执行 zkCli.sh ls /dolphinscheduler/nodes/worker解决方案确认conf/worker.properties中分组配置正确检查Worker日志logs/worker-server.log是否有连接异常问题2任务卡在提交成功状态检查Master节点资源# 检查Master负载 uptime free -h # 检查任务队列 zkCli.sh ls /dolphinscheduler/tasks_queue优化建议调整conf/master.properties中的master.exec.threads数量增加master.exec.task.num参数值5. 生产环境优化建议5.1 性能调优参数在conf/common.properties中添加# Master调度配置 master.dispatch.task.num10 master.exec.threads100 master.exec.task.num20 # Worker执行配置 worker.exec.threads50 worker.heartbeat.interval10 worker.max.cpuload.avgCPU核心数*2 worker.reserved.memory2.0 # 单位GB5.2 高可用架构设计推荐的多机房部署方案机房A - Master1 Worker1 ZK1 - API Server1 机房B - Master2 Worker2 ZK2 - Alert Server 机房C - Worker3 ZK3 - API Server25.3 监控集成方案Prometheus监控指标配置- job_name: dolphinscheduler metrics_path: /actuator/prometheus static_configs: - targets: [node1:12345, node2:12345] labels: group: api-server - targets: [node1:5678, node2:5678] labels: group: master-server关键监控指标告警规则- alert: MasterTaskQueueFull expr: dolphinscheduler_master_task_queue_size 1000 for: 5m labels: severity: critical annotations: summary: Master任务队列积压 (instance {{ $labels.instance }}) description: 任务队列大小已达到 {{ $value }}请及时扩容6. 版本升级策略6.1 平滑升级步骤停止所有Worker节点bash bin/stop-worker.sh滚动升级Master节点每次一个# 单个节点操作 bash bin/stop-master.sh cp -r conf/ /tmp/ds-conf-backup/ # 替换新版本文件 bash bin/start-master.sh升级数据库Schemabash tools/bin/upgrade-schema.sh最后升级Worker和API节点6.2 回滚方案恢复旧版本二进制文件回退数据库需提前备份-- 使用升级前的备份恢复 mysql -hdb-host -uds_user -p dolphinscheduler backup_before_upgrade.sql按原顺序重启服务7. 安全加固措施7.1 网络隔离建议服务类型开放端口访问控制建议Master5678仅Worker节点访问Worker1234,50051仅Master和API节点访问API Server12345限制管理IP段ZooKeeper2181,2888,3888仅集群内部通信7.2 认证加密配置在conf/application-api.properties中启用HTTPSserver.ssl.enabledtrue server.ssl.key-storeconf/keystore.p12 server.ssl.key-store-passwordyour_password server.ssl.key-store-typePKCS12API访问令牌安全设置# 生成高强度随机令牌 openssl rand -base64 32 | head -c 32 api-token.secret8. 日常运维技巧8.1 日志分析命令查找任务执行失败原因# 根据任务实例ID查找日志 grep -r TaskInstanceId:123456 logs/worker-server.log # 统计错误类型 awk /ERROR/ {print $6} logs/master-server.log | sort | uniq -c | sort -nr8.2 数据库维护脚本定期清理历史数据-- 保留30天内的记录 DELETE FROM t_ds_process_instance WHERE state7 AND end_time DATE_SUB(NOW(), INTERVAL 30 DAY); -- 优化表空间 OPTIMIZE TABLE t_ds_task_instance;8.3 备份恢复方案全量备份命令# 数据库备份 mysqldump -hdb-host -uds_user -p dolphinscheduler ds_backup_$(date %F).sql # 配置文件备份 tar -zcvf ds_conf_$(date %F).tgz conf/ install_path/9. 典型故障处理9.1 ZK连接超时问题现象日志中出现Connection loss错误解决方案检查ZK集群健康状态echo mntr | nc zk1 2181 | grep zk_server_state调整ZK客户端参数# 在conf/common.properties中增加 zookeeper.session.timeout40000 zookeeper.connection.timeout300009.2 任务积压处理应急措施动态增加Worker线程数# 修改所有Worker节点的conf/worker.properties worker.exec.threads100 # 滚动重启Worker bash bin/stop-worker.sh bash bin/start-worker.sh临时调整任务优先级UPDATE t_ds_command SET priority1 WHERE command_type5 AND priority3;10. 扩展与集成10.1 与Hadoop生态集成在conf/common.properties中配置# YARN ResourceManager地址 yarn.resourcemanager.addresshttp://yarn-rm:8088 # HDFS配置 fs.defaultFShdfs://namenode:8020 hadoop.security.authenticationkerberos hadoop.security.authorizationtrue10.2 自定义告警插件开发步骤实现org.apache.dolphinscheduler.alert.plugin.AlertPlugin接口打包JAR放到lib/plugin/alert/目录在UI界面配置告警实例10.3 API自动化示例Python调用示例import requests API_URL http://ds-api:12345/dolphinscheduler TOKEN your_api_token def trigger_workflow(project, workflow): headers {token: TOKEN} params { projectName: project, processDefinitionName: workflow } resp requests.post(f{API_URL}/projects/{project}/executors/start-process-instance, headersheaders, jsonparams) return resp.json() # 调用示例 print(trigger_workflow(ETL, daily_import))11. 性能基准测试11.1 集群容量评估节点规模日均任务量推荐配置小型1万2Master3Worker(8C16G)中型1-5万3Master5Worker(16C32G)大型5万5Master10Worker(32C64G)11.2 压力测试方法使用内置工具模拟任务提交# 启动测试工具 bash tools/bin/stress-test.sh --master node1:5678 \ --worker-group default \ --thread-count 50 \ --task-count 1000监控关键指标# Master任务处理速率 watch -n 1 curl -s http://node1:5678/actuator/metrics/dolphinscheduler.master.task.dispatch.rate | jq .measurements[0].value # Worker线程池使用率 ssh worker1 curl -s http://localhost:1234/actuator/metrics/dolphinscheduler.worker.thread.pool.usage | jq .measurements[0].value12. 最佳实践总结经过多个生产环境部署经验我们总结出以下黄金法则配置标准化所有节点保持相同的目录结构和配置文件版本容量规划Master节点CPU核心数建议≥16Worker节点根据任务类型配置监控全覆盖至少监控ZK连接数、任务队列深度、Worker负载三项指标变更管理任何配置修改都采用滚动更新方式灾备演练定期测试Master故障转移和数据库恢复流程对于关键业务工作流建议设置合理的任务超时时间配置多级告警通知启用工作流优先级设置定期检查任务依赖关系# 环境检查一站式脚本 #!/bin/bash check_zk() { echo stat | nc localhost 2181 | grep Mode } check_ds() { curl -s http://localhost:12345/actuator/health | jq -r .status } echo ZK Status: $(check_zk) echo DS Health: $(check_ds)
