文章目录前言一、 核心组件与技术框架定位1. 基础生态与存储层2. 数据采集与同步层3. 数据计算与查询层4. 实时OLAP分析层二、 架构选型与配合使用指南1. 经典“湖仓一体”架构2. 离线批处理与历史数仓场景3. 极简实时分析与大屏监控场景4. 高并发实时点查与状态存储场景5. 总结建议前言大数据Big Data大数据Big Data是指无法用传统数据处理工具处理的大规模数据集合具有数据量大、数据类型多、数据生成速度快、数据价值密度低等特点。大数据的处理技术包括分布式存储和计算、数据清洗和转换、数据分析和可视化等。分布式存储和计算是通过多台计算机协同工作来处理大规模数据如Hadoop、Spark等数据清洗和转换是对大数据进行预处理如数据去重、数据转换等数据分析和可视化是对大数据进行分析和展示如机器学习、数据可视化等。大数据的设计和实现需要考虑数据源、数据质量、性能、数据安全等因素。一、 核心组件与技术框架定位1. 基础生态与存储层Hadoop生态大数据的“地基”提供提供分布式存储HDFS、计算资源调度YARN、 分布式计算框架(MapReduce) 的基础设施。HBase构建在HDFS之上的分布式NoSQL数据库专为海量数据的随机、低延迟实时读写而设计。Hudi数据湖存储格式为数据湖提供ACID事务、数据版本回溯和增量处理能力解决传统数据湖难以更新的问题。2. 数据采集与同步层Flume分布式日志收集、聚合和传输系统适合将海量日志实时移动到HDFS或HBase中。DataX异构数据源离线同步工具采用插件化架构高效实现MySQL、HDFS、Hive等之间的批量数据同步。DS (DolphinScheduler)分布式可视化工作流任务调度平台用于管理复杂的大数据任务依赖与定时调度。3. 数据计算与查询层Spark基于内存的分布式计算框架性能远超传统MapReduce是离线ETL、复杂批量计算和机器学习的首选。Flink高性能分布式流处理框架支持真正的流批一体和Exactly-Once语义是实时计算、实时数仓的核心引擎。Hive基于Hadoop的数据仓库工具将SQL转换为MapReduce/Spark任务适合大规模历史数据的离线分析。4. 实时OLAP分析层Doris高性能MPP架构的实时分析数据库支持高并发、亚秒级响应兼容MySQL协议适合多维报表和即席查询。ClickHouse以极致查询性能著称的列式存储数据库在单表海量数据分析和日志检索场景下表现卓越但并发和多表Join能力相对较弱。二、 架构选型与配合使用指南现代企业大数据架构正从传统的Lambda架构向湖仓一体Lakehouse和流批一体演进。以下是主流场景的选型与配合方案1. 经典“湖仓一体”架构90%中大型企业的首选架构组合Kafka Flink Spark Hudi/Iceberg Doris。配合方式通过Flink CDC或DataX将业务数据实时同步至KafkaFlink进行实时流计算并写入Hudi数据湖Spark负责离线ETL与复杂机器学习任务最终将加工好的高价值数据导入Doris支撑前端高并发的BI报表和即席查询。优势统一存储、批流一体避免了多套系统的数据冗余和口径不一致。2. 离线批处理与历史数仓场景架构组合DataX/Flume HDFS Hive/Spark DolphinScheduler。配合方式使用DataX或Flume将数据批量采集到HDFS通过DolphinScheduler调度Hive或Spark任务进行T1的数据清洗与聚合分析。适用对实时性要求不高、数据量极大的历史报表生成和离线数据挖掘。3. 极简实时分析与大屏监控场景架构组合Kafka Flink ClickHouse/Doris。配合方式如果业务以实时日志分析、埋点监控为主且极少进行复杂的多表关联可直接将Kafka中的数据通过Flink清洗后写入ClickHouse若需要高并发和复杂Join则写入Doris。适用实时风控、实时大屏、用户行为秒级监控。4. 高并发实时点查与状态存储场景架构组合Flink HBase。配合方式Flink处理实时数据流将需要频繁更新或毫秒级点查的状态数据如用户画像、实时库存写入HBase对外提供高QPS的API查询服务。5. 总结建议在技术选型时应以业务需求为导向。对于大多数希望兼顾实时与离线、降低运维复杂度的企业推荐采用Spark离线 Flink实时 Hudi湖存储 DorisOLAP查询的组合并使用DolphinScheduler进行统一的任务调度从而构建一个高效、统一的现代大数据平台。
19. 大数据-技术生态
文章目录前言一、 核心组件与技术框架定位1. 基础生态与存储层2. 数据采集与同步层3. 数据计算与查询层4. 实时OLAP分析层二、 架构选型与配合使用指南1. 经典“湖仓一体”架构2. 离线批处理与历史数仓场景3. 极简实时分析与大屏监控场景4. 高并发实时点查与状态存储场景5. 总结建议前言大数据Big Data大数据Big Data是指无法用传统数据处理工具处理的大规模数据集合具有数据量大、数据类型多、数据生成速度快、数据价值密度低等特点。大数据的处理技术包括分布式存储和计算、数据清洗和转换、数据分析和可视化等。分布式存储和计算是通过多台计算机协同工作来处理大规模数据如Hadoop、Spark等数据清洗和转换是对大数据进行预处理如数据去重、数据转换等数据分析和可视化是对大数据进行分析和展示如机器学习、数据可视化等。大数据的设计和实现需要考虑数据源、数据质量、性能、数据安全等因素。一、 核心组件与技术框架定位1. 基础生态与存储层Hadoop生态大数据的“地基”提供提供分布式存储HDFS、计算资源调度YARN、 分布式计算框架(MapReduce) 的基础设施。HBase构建在HDFS之上的分布式NoSQL数据库专为海量数据的随机、低延迟实时读写而设计。Hudi数据湖存储格式为数据湖提供ACID事务、数据版本回溯和增量处理能力解决传统数据湖难以更新的问题。2. 数据采集与同步层Flume分布式日志收集、聚合和传输系统适合将海量日志实时移动到HDFS或HBase中。DataX异构数据源离线同步工具采用插件化架构高效实现MySQL、HDFS、Hive等之间的批量数据同步。DS (DolphinScheduler)分布式可视化工作流任务调度平台用于管理复杂的大数据任务依赖与定时调度。3. 数据计算与查询层Spark基于内存的分布式计算框架性能远超传统MapReduce是离线ETL、复杂批量计算和机器学习的首选。Flink高性能分布式流处理框架支持真正的流批一体和Exactly-Once语义是实时计算、实时数仓的核心引擎。Hive基于Hadoop的数据仓库工具将SQL转换为MapReduce/Spark任务适合大规模历史数据的离线分析。4. 实时OLAP分析层Doris高性能MPP架构的实时分析数据库支持高并发、亚秒级响应兼容MySQL协议适合多维报表和即席查询。ClickHouse以极致查询性能著称的列式存储数据库在单表海量数据分析和日志检索场景下表现卓越但并发和多表Join能力相对较弱。二、 架构选型与配合使用指南现代企业大数据架构正从传统的Lambda架构向湖仓一体Lakehouse和流批一体演进。以下是主流场景的选型与配合方案1. 经典“湖仓一体”架构90%中大型企业的首选架构组合Kafka Flink Spark Hudi/Iceberg Doris。配合方式通过Flink CDC或DataX将业务数据实时同步至KafkaFlink进行实时流计算并写入Hudi数据湖Spark负责离线ETL与复杂机器学习任务最终将加工好的高价值数据导入Doris支撑前端高并发的BI报表和即席查询。优势统一存储、批流一体避免了多套系统的数据冗余和口径不一致。2. 离线批处理与历史数仓场景架构组合DataX/Flume HDFS Hive/Spark DolphinScheduler。配合方式使用DataX或Flume将数据批量采集到HDFS通过DolphinScheduler调度Hive或Spark任务进行T1的数据清洗与聚合分析。适用对实时性要求不高、数据量极大的历史报表生成和离线数据挖掘。3. 极简实时分析与大屏监控场景架构组合Kafka Flink ClickHouse/Doris。配合方式如果业务以实时日志分析、埋点监控为主且极少进行复杂的多表关联可直接将Kafka中的数据通过Flink清洗后写入ClickHouse若需要高并发和复杂Join则写入Doris。适用实时风控、实时大屏、用户行为秒级监控。4. 高并发实时点查与状态存储场景架构组合Flink HBase。配合方式Flink处理实时数据流将需要频繁更新或毫秒级点查的状态数据如用户画像、实时库存写入HBase对外提供高QPS的API查询服务。5. 总结建议在技术选型时应以业务需求为导向。对于大多数希望兼顾实时与离线、降低运维复杂度的企业推荐采用Spark离线 Flink实时 Hudi湖存储 DorisOLAP查询的组合并使用DolphinScheduler进行统一的任务调度从而构建一个高效、统一的现代大数据平台。
