1. 为什么需要ETL任务状态通知做过数据处理的同学都知道ETL任务经常在半夜跑批。想象一下你早上到公司打开电脑发现昨晚的任务失败了而业务部门已经在催数据了——这种场景是不是很熟悉这就是为什么我们需要自动通知功能。我在金融行业做数据仓库时曾经因为一个ETL任务失败没及时发现导致当天报表全部延迟。从那以后我就养成了给所有关键任务配置邮件通知的习惯。用QQ邮箱来做通知有个很大的优势几乎每个人手机上都装了QQ邮箱客户端消息能第一时间推送到手机上。2. QQ邮箱SMTP服务配置详解2.1 获取QQ邮箱授权码很多新手在这里容易踩坑。QQ邮箱的密码不是你的登录密码而是一个专门的授权码。我刚开始用的时候也纳闷明明密码输对了怎么还报错。具体操作步骤登录QQ邮箱网页版点击顶部设置→账户找到POP3/IMAP/SMTP服务区域点击生成授权码会发送短信验证把生成的16位字符复制保存这个只显示一次建议存到密码管理器注意授权码相当于应用专用密码如果泄露记得立即重新生成。我建议每个ETL环境用不同的授权码方便后续权限管理。2.2 SMTP服务器参数配置在Kettle里配置邮件发送时这些参数最容易出错服务器地址smtp.qq.com端口465SSL或587TLS必须勾选使用安全连接(SSL)实测下来465端口最稳定。有次客户环境只能用587端口发现必须同时勾选TLS选项才能正常发送。建议先在邮件客户端比如Outlook里测试通过再配置到Kettle里。3. Kettle邮件组件实战配置3.1 基础邮件发送设置在作业里添加发送邮件步骤关键字段这样填收件人多个地址用分号隔开发件人必须是你的QQ邮箱全称含qq.com服务器前面说的smtp.qq.com认证用户名完整邮箱地址密码刚才生成的授权码我习惯在主题里加入变量${Internal.Job.Name}和${Internal.Job.Start.Date}这样收到邮件就知道是哪个任务、什么时候跑的。比如【ETL告警】${Internal.Job.Name} 于 ${Internal.Job.Start.Date} 执行失败3.2 添加任务日志附件光知道任务失败还不够关键是看日志。配置方法在转换里添加写日志步骤日志文件路径建议包含日期变量比如/logs/订单同步_${Internal.Job.Start.Date}.log在邮件步骤的附件选项卡添加这个日志文件路径有个小技巧如果日志文件太大可以先用过滤行步骤只提取ERROR级别的日志再作为附件发送。我写过一个正则表达式能自动提取堆栈信息的关键行需要的话可以私信我。4. 高级通知策略4.1 根据状态发送不同内容简单的成功/失败通知太粗糙了。我现在的做法是成功时只发简短通知附件带数据量统计失败时标红警告附件带完整日志警告时如数据量异常黄色提醒附带关键指标实现方法是用Kettle的条件判断步骤分流配合邮件步骤的只有当输入为真时执行选项。具体条件可以判断${Internal.Job.Result}变量的值。4.2 定时汇总报告除了即时通知我还会配置每日/每周汇总报告。实现方案用获取系统信息记录每次任务状态写入数据库的状态表定时作业用SQL聚合数据生成HTML格式的报告邮件这个方案需要点开发工作量但真的很实用。我们团队现在每天早上都能收到前夜的ETL执行概览包含成功数、失败数、平均耗时等关键指标。5. 常见问题排查5.1 连接超时问题如果遇到连接SMTP服务器超时按这个顺序检查服务器防火墙是否放行465端口telnet smtp.qq.com 465测试网络代理设置Kettle的启动参数里可能需要配置代理QQ邮箱的SMTP服务是否被禁用网页版邮箱设置里查看有次客户现场的问题特别诡异最后发现是他们内网DNS解析有问题。解决办法是在hosts文件里强制指定smtp.qq.com的IP。5.2 中文乱码处理附件日志出现乱码时试试这些方法在写日志步骤里指定编码为UTF-8邮件主题添加编码声明?UTF-8?B?Base64编码的主题在Kettle启动脚本添加-Dfile.encodingUTF-8参数我收集了几种常见乱码场景的解决方案整理成了一个对照表。比如GBK乱码和UTF-8乱码的表现形式不同解决方法也不一样。6. 安全注意事项虽然QQ邮箱很方便但要注意授权码不要写在ktr/kjb文件里建议用Kettle的密码管理功能生产环境建议单独申请一个通知专用邮箱不要用个人邮箱敏感信息如数据库密码要先脱敏再写日志设置合理的邮件发送频率避免被当成垃圾邮件我曾经遇到过因为任务死循环导致一分钟发了几百封邮件结果QQ邮箱被临时封禁。现在都会在作业里加等待步骤控制发送频率。最后分享一个真实案例某次数据仓库迁移后所有ETL任务的通知邮件都发不出去。后来发现是新环境缺少Java的SSL证书。解决办法是手动导入QQ邮箱的SSL证书到Java的cacerts文件。这个坑我花了三小时才排查出来希望你们别遇到。
kettle篇：利用QQ邮箱实现ETL任务状态自动通知
1. 为什么需要ETL任务状态通知做过数据处理的同学都知道ETL任务经常在半夜跑批。想象一下你早上到公司打开电脑发现昨晚的任务失败了而业务部门已经在催数据了——这种场景是不是很熟悉这就是为什么我们需要自动通知功能。我在金融行业做数据仓库时曾经因为一个ETL任务失败没及时发现导致当天报表全部延迟。从那以后我就养成了给所有关键任务配置邮件通知的习惯。用QQ邮箱来做通知有个很大的优势几乎每个人手机上都装了QQ邮箱客户端消息能第一时间推送到手机上。2. QQ邮箱SMTP服务配置详解2.1 获取QQ邮箱授权码很多新手在这里容易踩坑。QQ邮箱的密码不是你的登录密码而是一个专门的授权码。我刚开始用的时候也纳闷明明密码输对了怎么还报错。具体操作步骤登录QQ邮箱网页版点击顶部设置→账户找到POP3/IMAP/SMTP服务区域点击生成授权码会发送短信验证把生成的16位字符复制保存这个只显示一次建议存到密码管理器注意授权码相当于应用专用密码如果泄露记得立即重新生成。我建议每个ETL环境用不同的授权码方便后续权限管理。2.2 SMTP服务器参数配置在Kettle里配置邮件发送时这些参数最容易出错服务器地址smtp.qq.com端口465SSL或587TLS必须勾选使用安全连接(SSL)实测下来465端口最稳定。有次客户环境只能用587端口发现必须同时勾选TLS选项才能正常发送。建议先在邮件客户端比如Outlook里测试通过再配置到Kettle里。3. Kettle邮件组件实战配置3.1 基础邮件发送设置在作业里添加发送邮件步骤关键字段这样填收件人多个地址用分号隔开发件人必须是你的QQ邮箱全称含qq.com服务器前面说的smtp.qq.com认证用户名完整邮箱地址密码刚才生成的授权码我习惯在主题里加入变量${Internal.Job.Name}和${Internal.Job.Start.Date}这样收到邮件就知道是哪个任务、什么时候跑的。比如【ETL告警】${Internal.Job.Name} 于 ${Internal.Job.Start.Date} 执行失败3.2 添加任务日志附件光知道任务失败还不够关键是看日志。配置方法在转换里添加写日志步骤日志文件路径建议包含日期变量比如/logs/订单同步_${Internal.Job.Start.Date}.log在邮件步骤的附件选项卡添加这个日志文件路径有个小技巧如果日志文件太大可以先用过滤行步骤只提取ERROR级别的日志再作为附件发送。我写过一个正则表达式能自动提取堆栈信息的关键行需要的话可以私信我。4. 高级通知策略4.1 根据状态发送不同内容简单的成功/失败通知太粗糙了。我现在的做法是成功时只发简短通知附件带数据量统计失败时标红警告附件带完整日志警告时如数据量异常黄色提醒附带关键指标实现方法是用Kettle的条件判断步骤分流配合邮件步骤的只有当输入为真时执行选项。具体条件可以判断${Internal.Job.Result}变量的值。4.2 定时汇总报告除了即时通知我还会配置每日/每周汇总报告。实现方案用获取系统信息记录每次任务状态写入数据库的状态表定时作业用SQL聚合数据生成HTML格式的报告邮件这个方案需要点开发工作量但真的很实用。我们团队现在每天早上都能收到前夜的ETL执行概览包含成功数、失败数、平均耗时等关键指标。5. 常见问题排查5.1 连接超时问题如果遇到连接SMTP服务器超时按这个顺序检查服务器防火墙是否放行465端口telnet smtp.qq.com 465测试网络代理设置Kettle的启动参数里可能需要配置代理QQ邮箱的SMTP服务是否被禁用网页版邮箱设置里查看有次客户现场的问题特别诡异最后发现是他们内网DNS解析有问题。解决办法是在hosts文件里强制指定smtp.qq.com的IP。5.2 中文乱码处理附件日志出现乱码时试试这些方法在写日志步骤里指定编码为UTF-8邮件主题添加编码声明?UTF-8?B?Base64编码的主题在Kettle启动脚本添加-Dfile.encodingUTF-8参数我收集了几种常见乱码场景的解决方案整理成了一个对照表。比如GBK乱码和UTF-8乱码的表现形式不同解决方法也不一样。6. 安全注意事项虽然QQ邮箱很方便但要注意授权码不要写在ktr/kjb文件里建议用Kettle的密码管理功能生产环境建议单独申请一个通知专用邮箱不要用个人邮箱敏感信息如数据库密码要先脱敏再写日志设置合理的邮件发送频率避免被当成垃圾邮件我曾经遇到过因为任务死循环导致一分钟发了几百封邮件结果QQ邮箱被临时封禁。现在都会在作业里加等待步骤控制发送频率。最后分享一个真实案例某次数据仓库迁移后所有ETL任务的通知邮件都发不出去。后来发现是新环境缺少Java的SSL证书。解决办法是手动导入QQ邮箱的SSL证书到Java的cacerts文件。这个坑我花了三小时才排查出来希望你们别遇到。
