20TB 零误差迁移，存储成本减半：天合富家的 2.6→3.3 进化记

小T导读作为分布式光伏领域的领军企业天合富家的光伏数据量从最初的每日百万级飙升至千万级。原有基于 MongoDB 的架构在面对海量时序数据时彻底“卡壳”——查询慢、存储贵难以支撑业务增长。转机来自 TDengine TSDB凭借高压缩比与毫秒级查询性能成功实现数据零延迟入库、存储成本减半。后续天合富家又全面升级至 3.3 版本为其构建零碳生态体系提供了高性能、可扩展、可信赖的数据底座持续驱动企业在分布式能源数字化道路上加速前行。为何选择 TDengine TSDB作为全球领先的光伏智慧能源整体解决方案提供商自 2018 年至 2022 年间我们的光伏系统每日数据量从百万级跃升至千万级。随着数据规模的指数式增长对存储与实时计算能力提出了更高要求原有基于 MongoDB 的架构已难以支撑业务发展。MongoDB 作为一种文档型 NoSQL 数据库在处理多样化数据格式的大数据场景中具备很强的灵活性尤其在 IoT 数据采集与分析领域应用广泛。然而对于我们这样的场景MongoDB 的特性却与需求存在一定错位主要体现在以下三方面传感器上传的数据均为结构化数据结构基本不变若缺乏严格的数据校验机制MongoDB 的非结构化特性反而容易造成数据污染查询性能不足即便建立索引也难以在 TB 级数据量中实现快速检索采用文档方式存储压缩率较低存储成本升高。在这种背景下TDengine TSDB 作为新一代时序数据库凭借以下优势吸引了我们的关注采用“超级表 子表”的建模方式大幅提升时序数据压缩率结合预计算与缓存机制实现亿级数据的毫秒级查询响应支持多级存储可将历史数据迁移至低速磁盘显著降低存储成本兼容标准 SQL极大简化了应用开发与系统集成工作。综合考量存储成本、读写性能及实施难度等多方面因素我们最终选择将数据库替换为 TDengine TSDB。时序数据处理技术架构光伏时序数据的主要应用场景集中在我司的能源管理系统中涵盖数据采集、接入、存储、处理与应用等模块为企业提供从实时监控、数据分析、运维管理到能源优化与安全管理的全流程数字化支撑。采集端通过 TCP 协议上报光伏组件、逆变器、电池等设备的运行数据经过数据清洗后以结构化格式暂存于 Kafka仅保留近期时间数据。数据写入应用从 Kafka 消费后将其写入 TDengine TSDB 进行持久化存储。随后系统对数据进行计算如当日发电量、实时功率等并将降采样结果存入结果库以支持后续的统计分析与可视化展示。虽然采集端的数据可以直接写入 TDengine TSDB但是考虑到整体架构的稳定性我们仍然保留了 Kafka。这样的设计为系统提供了一个实时数据的冗余缓冲区不仅在一定周期内实现了数据的高可用存储也为后续处理环节预留了维护窗口从而显著提升整体架构的可靠性与可用性。项目实施初期采用的是 TDengine TSDB 2.6 版本部署了 3 个数据库节点。数据采集与处理应用通过 RESTful 连接到 TDengine TSDB 集群集群采用高效云盘与普通云盘相结合的多级存储架构在兼顾性能的同时有效控制了整体存储成本。TDengine 应用效果经过半年的项目实施包括采集设备改造、应用开发及数据库适配能源管理系统顺利上线运行。系统实现了千万级数据每日的零延迟入库数据分析如设备日发电量统计响应时间控制在秒级以内。与此同时通过高效云盘与普通云盘的分层存储方案整体存储成本降低了约 50%。该系统的成功投产为我司业务发展提供了有力的支撑。TDengine 3.0 升级经验分享随着业务的持续扩张系统面临两大挑战一是接入设备数量不断增长导致子表数量的创建达到千万级别二是元数据体量激增造成数据库启动缓慢维护窗口不断延长。为解决这些问题我们于 2024 年决定将 TDengine TSDB 升级至 3.3 企业版。该版本拥有快速的启动速度及更为海量的数据管理能力支持亿级时间线数据库“秒级”启动多级存储支持对象存储进一步降低存储成本。由于系统需在不停机的情况下完成版本升级我们与 TDengine 专业服务团队进行了深入沟通最终确定采用 taosX 数据同步迁移工具并结合 镜像集群 程序双写 的方案完成升级。具体步骤如下通过云服务工具将现有的 2.6 集群镜像复制创建一个新集群修改写入应用实现对 2.6 集群与 3.3 集群的双写以确保最新数据的一致性使用 taosX 迁移工具将历史数据从镜像集群无缝迁移至 3.3 集群。在数据库升级的同时我们也同步进行了应用层的升级与适配工作。由于 TDengine TSDB 3.0 及以上版本功能更为丰富我们主要完成了以下优化根据 3.3 版本的语法特性对原有查询语句进行了优化与改写调整查询条件适配 OSS对象存储服务访问场景优化数据访问方式升级至新的 JDBC 连接器与通信协议。OSS 全称 Object Storage Service对象存储服务是云服务商提供的海量、可扩展、高可靠性存储服务主要用于存储图片、视频、文档等非结构化数据。相比于高效云盘OSS 的价格降低至少 60%。升级后的运行表现经过数据迁移与严格校验我们成功将近 20TB 的数据零误差迁移至新集群全程业务无中断。借助应用层的优化与适配系统在新集群上实现了高效、稳定运行。为进一步提升数据库集群的高可用性我们在集群前端部署了负载均衡服务器并通过合理的负载均衡策略精细化控制不同应用的资源占用。在确保系统高可用的同时也实现了各应用间的有效隔离与性能优化。通过使用多级存储的对象存储功能我们将大量的历史数据迁移到了对象存储上本地磁盘占用量降低了约 50%进一步压缩了整体存储成本。自 2022 年合作至今伴随 TDengine TSDB 从 2.6 版本迭代至 3.3 版本我们始终认为这款时序数据库虽非完美无缺却凭借对能源行业业务场景的深度适配已成为与天合富家需求高度契合的技术工具。作为一家致力于“提供智能清洁能源解决方案构建零碳生活与零碳生产新生态”的企业天合富家在迈向零碳目标的过程中依托 TDengine TSDB 稳定的时序数据存储能力与高效的分析性能为能源管理、设备监控等核心业务提供了坚实的数据底座也为公司实现零碳生态落地注入了持续的技术动力。关于天合富家天合富家能源股份有限公司成立于 2016 年 10 月是一家专注于分布式能源市场的系统解决方案提供商。作为分布式光伏行业领军企业天合富家围绕品牌、产品、服务三大核心战略建立了以产品研发、市场销售、安装售后、智能运维为一体的完整体系构建了数字化、全渠道的生态网络。天合富家以原装为基本战略持续创新不断提升产品与服务体验致力于打造智慧分布式能源第一品牌为客户提供最佳的清洁能源体验。关于 TDengineTDengine 专为物联网IoT平台、工业大数据平台设计。其中TDengine TSDB 是一款高性能、分布式的时序数据库Time Series Database同时它还带有内建的缓存、流式计算、数据订阅等系统功能TDengine IDMP 是一款AI原生工业数据管理平台它通过树状层次结构建立数据目录对数据进行标准化、情景化并通过 AI 提供实时分析、可视化、事件管理与报警等功能。